JP2018195052A - 画像処理装置、画像処理プログラム及びジェスチャ認識システム - Google Patents
画像処理装置、画像処理プログラム及びジェスチャ認識システム Download PDFInfo
- Publication number
- JP2018195052A JP2018195052A JP2017098028A JP2017098028A JP2018195052A JP 2018195052 A JP2018195052 A JP 2018195052A JP 2017098028 A JP2017098028 A JP 2017098028A JP 2017098028 A JP2017098028 A JP 2017098028A JP 2018195052 A JP2018195052 A JP 2018195052A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- divided
- recognition
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Description
図1に示すように、車両1は、ユーザによるジェスチャ操作を認識して機器2を制御するジェスチャ認識システム3を備える。本例のジェスチャ認識システム3は、画像撮影部4により撮影された画像情報Dを基にユーザのジェスチャ操作を画像認識し、そのジェスチャ操作に応じた態様に機器2を制御する。機器2は、例えば車載機器5であることが好ましい。車載機器5は、例えばセンターディスプレイ、カーナビゲーションシステム、空調装置、音量装置、オーディオ装置等がある。
図2(a),(b)に示すように、画像撮影部4は、例えば車両1が電源オン(例えばACCオンやIGオン)に操作されると、画像撮影を開始する。図2(a)は、人体の手や腕部を上方から画像撮影部4で撮影する例である。この場合、画像撮影部4は、マップランプ内に配置されるとよい。また、図2(b)は、人体の手や腕部を下方から画像撮影部4で撮影する例である。この場合、画像撮影部4は、例えばセンターコンソール等に設置されたタッチパッド付近に配置されるとよい。
(I)色が肌色の領域
(II)輝度が閾値を超える領域
(III)エッジ検出にてエッジで囲まれる領域のうち、面積が閾値以上の領域
(IV)画像撮影部4からの距離が同一と見なせる範囲内に被写体が存在する領域
画像認識部12は、抽出した領域(候補領域)Rに対し、これらにラベル付けをする。ところで、本例の場合、ユーザの腕に腕時計が装着されているので、画像情報Dは、手の付け根で腕と手が分断した画像となっている。また、中指に指輪等の装飾具が付けられているので、画像情報Dは、中指が途中で分断した画像となっている。このため、本例の領域(候補領域)Rは、手部分、腕部分、中指部分となる。よって、画像認識部12は、手部分、腕部分及び中指部分のそれぞれの画像にラベルを付ける。ここでは、手部分にラベル「L1」が付され、腕部分にラベル「L2」が付され、中指部分にラベル「L3」が付される。
ステップ101において、画像取得部11は、画像認識の対象物として人体の少なくとも一部分(本例は手及び腕部)が映り込んだ画像情報D(3次元距離情報Da)を画像撮影部4から取得する。なお、ステップ101が第1ステップに相当する。
ステップ105において、ジェスチャ制御部14は、認識対象が確かであれば、その画像を基にユーザのジェスチャ操作を判定し、その判定結果に応じた態様に機器2(車載機器5)を制御する。これにより、ユーザは、単なるハンドジェスチャを通じて、機器2を操作することが可能となる。よって、機器2の操作の利便性が向上する。
・分断された領域Rの間の距離Lが許容値以上(許容範囲以上)となる場合、これを判定から除くようにしてもよい。この場合、画像処理時に不要と想定される画像を判定から除去することが可能となるので、画像認識の処理精度を確保するのに有利となる。
・画像撮影部4の取り付け位置は、例えばインストルメントパネルなど、他の位置に変更可能である。
・画像撮影部4は、TOFカメラ(TOFセンサ)に限定されず、種々の距離画像カメラが使用可能である。
・画像情報Dは、距離情報付きの3次元情報に限定されず、2次元情報としてもよい。
・画像認識処理は、例えば画像処理、画像処理アルゴリズム、パターンマッチング、画像特徴抽出など、種々の手法が採用可能である。画像処理は、例えば画像に処理加工を施して情報を取り出す処理である。画像処理アルゴリズムは、例えば画像に対してコンピュータによる数学的な処理変換をかけて形状を特定する処理である。パターンマッチングは、例えば取得画像をテンプレートと比較して画像を認識する処理である。画像特徴抽出は、例えば画像から特徴を抽出して形状を特定する処理である。
・ジェスチャ操作は、例えばパワースライドドアの開閉操作や、車両1の自動駐車するときに使用される操作としてもよい。
・ジェスチャ認識システム3及び画像処理装置8は、車両1に適用されることに限定されず、他の機器や装置に使用してもよい。
Claims (7)
- 画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する画像取得部と、
前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、
前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部と
を備えた画像処理装置。 - 前記画像座標系の座標軸方向は、前記画像撮影部が設置される車両の前後方向に設定され、
前記画像特定部は、前記対象物に対応する領域が分断されていた場合、前記車両の前後方向を基に、前記分断されたどの領域が手及び腕部であるのかを確定する
請求項1に記載の画像処理装置。 - 前記画像撮影部は、画素ごとに物体との間の距離を表す3次元距離情報を含む前記画像情報を取得し、
前記画像認識部は、前記画像撮影部から取得した前記画像情報に含まれる前記3次元距離情報を基に、前記画像認識を実行する
請求項1又は2に記載の画像処理装置。 - 前記画像特定部は、前記分断された領域間の離れ距離を画像上で求め、当該離れ距離と閾値とを比較することにより、前記分断された領域として確定するか否かを判断する
請求項1〜3のうちいずれか一項に記載の画像処理装置。 - 前記画像特定部は、前記分断された領域が更に複数に分断していた場合、これらの分断された領域間の離れ距離が閾値未満であれば、1つの領域として処理する
請求項1〜4のうちいずれか一項に記載の画像処理装置。 - 画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する第1ステップと、
前記対象物に対応する領域を検出する画像認識処理を、前記第1ステップで取得した画像情報に対して実行する第2ステップと、
前記第2ステップで検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する第3ステップと
をコンピュータに実行させる画像処理プログラム。 - 画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部と、
前記対象物が映り込んだ画像を表す画像情報を前記画像撮影部から取得する画像取得部と、
前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、
前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部と、
前記画像特定部により特定された画像を基にユーザによるジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ制御部と
を備えたジェスチャ認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098028A JP2018195052A (ja) | 2017-05-17 | 2017-05-17 | 画像処理装置、画像処理プログラム及びジェスチャ認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098028A JP2018195052A (ja) | 2017-05-17 | 2017-05-17 | 画像処理装置、画像処理プログラム及びジェスチャ認識システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018195052A true JP2018195052A (ja) | 2018-12-06 |
Family
ID=64570323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017098028A Pending JP2018195052A (ja) | 2017-05-17 | 2017-05-17 | 画像処理装置、画像処理プログラム及びジェスチャ認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018195052A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111259883A (zh) * | 2020-01-14 | 2020-06-09 | 广东南方视觉文化传媒有限公司 | 一种图像识别装置及图像识别方法 |
CN113052816A (zh) * | 2021-03-24 | 2021-06-29 | 湖南镭目科技有限公司 | 一种炉口图像识别方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006099603A (ja) * | 2004-09-30 | 2006-04-13 | Nissan Motor Co Ltd | 人物検出装置及び方法 |
JP2011138265A (ja) * | 2009-12-28 | 2011-07-14 | Honda Motor Co Ltd | 車両周辺監視装置 |
-
2017
- 2017-05-17 JP JP2017098028A patent/JP2018195052A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006099603A (ja) * | 2004-09-30 | 2006-04-13 | Nissan Motor Co Ltd | 人物検出装置及び方法 |
JP2011138265A (ja) * | 2009-12-28 | 2011-07-14 | Honda Motor Co Ltd | 車両周辺監視装置 |
Non-Patent Citations (2)
Title |
---|
DAVID DEMIRDJIAN, 外1名: ""Driver pose estimation with 3D Time-of-Flight sensor"", 2009 IEEE WORKSHOP ON COMPUTATIONAL INTELLIGENCE IN VEHICLES AND VEHICULAR SYSTEMS, JPN6021021680, 2009, US, ISSN: 0004524220 * |
G. MCALLISTER, 外2名: ""Tracking a driver's hands using computer vision"", SMC 2000 CONFERENCE PROCEEDINGS. 2000 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN AND CYBERNETICS., JPN6021021681, 2000, US, pages 1388 - 1393, XP010524851, ISSN: 0004524221, DOI: 10.1109/ICSMC.2000.886048 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111259883A (zh) * | 2020-01-14 | 2020-06-09 | 广东南方视觉文化传媒有限公司 | 一种图像识别装置及图像识别方法 |
CN111259883B (zh) * | 2020-01-14 | 2024-03-15 | 王春艳 | 一种图像识别装置及图像识别方法 |
CN113052816A (zh) * | 2021-03-24 | 2021-06-29 | 湖南镭目科技有限公司 | 一种炉口图像识别方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11511421B2 (en) | Object recognition processing apparatus and method, and object picking apparatus and method | |
JP4625074B2 (ja) | サインに基づく人間−機械相互作用 | |
US8970696B2 (en) | Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system | |
US10997465B2 (en) | Information processing device, information processing method, and storage medium | |
US9235269B2 (en) | System and method for manipulating user interface in vehicle using finger valleys | |
KR101526426B1 (ko) | 제스처 인식 장치 및 방법 | |
CN106061802B (zh) | 用于操纵用于车辆的闭合元件的方法和装置 | |
US20110158476A1 (en) | Robot and method for recognizing human faces and gestures thereof | |
EP3035164A1 (en) | Wearable sensor for tracking articulated body-parts | |
JP2014524070A5 (ja) | ||
JP2006285370A (ja) | ハンドパターンスイッチ装置及びハンドパターン操作方法 | |
JP6141108B2 (ja) | 情報処理装置およびその方法 | |
CN107038406B (zh) | 用于分析姿态的方法 | |
JP2007164517A (ja) | 図形中心検出方法、楕円検出方法、画像認識装置、制御装置 | |
JP2018195052A (ja) | 画像処理装置、画像処理プログラム及びジェスチャ認識システム | |
CN113076836B (zh) | 一种汽车手势交互方法 | |
CN107291219B (zh) | 用户界面、运输工具和用于识别用户的手的方法 | |
KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
JP2018195053A (ja) | 画像処理装置、画像処理プログラム及びジェスチャ認識システム | |
KR101860138B1 (ko) | 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치 | |
JP2014182662A (ja) | 操作装置及び操作方法 | |
JP2015156096A (ja) | 入力装置および入力取得方法 | |
CN111158489B (zh) | 一种基于摄像头的手势交互方法及手势交互系统 | |
JP7117878B2 (ja) | 処理装置、及びプログラム | |
JP2016157457A (ja) | 操作入力装置、操作入力方法及び操作入力プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211201 |