JP2018195052A - 画像処理装置、画像処理プログラム及びジェスチャ認識システム - Google Patents

画像処理装置、画像処理プログラム及びジェスチャ認識システム Download PDF

Info

Publication number
JP2018195052A
JP2018195052A JP2017098028A JP2017098028A JP2018195052A JP 2018195052 A JP2018195052 A JP 2018195052A JP 2017098028 A JP2017098028 A JP 2017098028A JP 2017098028 A JP2017098028 A JP 2017098028A JP 2018195052 A JP2018195052 A JP 2018195052A
Authority
JP
Japan
Prior art keywords
image
unit
divided
recognition
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017098028A
Other languages
English (en)
Inventor
和洋 武智
Kazuhiro Takechi
和洋 武智
忠 関原
Tadashi Sekihara
忠 関原
絵里奈 北原
Erina Kitahara
絵里奈 北原
安利 深谷
Yasutoshi Fukaya
安利 深谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Tokai Rika Co Ltd
Original Assignee
NEC Solution Innovators Ltd
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd, Tokai Rika Co Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2017098028A priority Critical patent/JP2018195052A/ja
Publication of JP2018195052A publication Critical patent/JP2018195052A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

【課題】物体を画像認識するにあたり、画像上の対象物の簡易な特定を可能にした画像処理装置、画像処理プログラム及びジェスチャ認識システムを提供する。【解決手段】画像認識部12は、画像撮影部4が撮影した画像情報Dを画像認識処理し、画像に映り込む対象物に対応する領域を検出する。画像特定部13は、画像認識部12で検出した対象物に対応する領域が分断されていた場合、画像情報Dにおける画像座標系の座標軸方向(本例は車両1の前後方向)を基に、これら分断された領域が人体のどの部位であるのかを特定する。【選択図】図1

Description

本発明は、物体を画像認識する画像処理装置、画像処理プログラム及びジェスチャ認識システムに関する。
従来、カメラ等によって撮影された画像を画像認識することによりユーザのジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ認識システムが開発されている。撮影画像を画像認識する画像処理装置としては、特許文献1の技術が周知である。特許文献1は、被写体として腕が映り込んだ画像に基づき、前腕部から上腕部にかけて検出したエッジ点のうち、欠損箇所を人体の腕の流れに沿ってハフ変換で補完した上で、ユーザのジェスチャ操作を判定する。
特開2009−294843号公報
しかし、特許文献1は、画像に欠損が生じた場合、欠損部分をハフ変換によって補完した上で対象物を判定する。よって、画像認識処理を開始してから対象物を特定するまでの処理量が増加してしまう問題があった。
本発明の目的は、物体を画像認識するにあたり、画像上の対象物の簡易な特定を可能にした画像処理装置、画像処理プログラム及びジェスチャ認識システムを提供することにある。
前記問題点を解決する画像処理装置は、画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する画像取得部と、前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部とを備えた。
本構成によれば、画像認識処理を通じて、画像上に映る対象物に対応する領域を検出し、領域が分断されていた場合、画像情報における画像座標系の座標軸方向から、分断された領域が人体のどの部位であるのかを特定する。このため、画像認識処理により検出された領域を画像座標系の座標軸方向と単に比較する処理により、分断された領域が人体のどの部位であるのかを特定することが可能となる。よって、画像上の対象物を簡易に特定することが可能となる。
前記画像処理装置において、前記画像座標系の座標軸方向は、前記画像撮影部が設置される車両の前後方向に設定され、前記画像特定部は、前記対象物に対応する領域が分断されていた場合、前記車両の前後方向を基に、前記分断されたどの領域が手及び腕部であるのかを確定することが好ましい。この構成によれば、画像認識処理により検出された領域と車両の前後方向とを単に比較するという処理により、画像の手及び腕部を簡易に特定することが可能となる。
前記画像処理装置において、前記画像撮影部は、画素ごとに物体との間の距離を表す3次元距離情報を含む前記画像情報を取得し、前記画像認識部は、前記画像撮影部から取得した前記画像情報に含まれる前記3次元距離情報を基に、前記画像認識を実行することが好ましい。この構成によれば、3次元距離情報を含む画像情報を画像認識処理して、画像上に映る人体の一部分を立体画像で取得する。ところで、この方式の場合、例えば光の反射率が著しく高い又は低い部分を取り込むことができず、この部分が分断された領域となってしまう可能性がある。しかし、本構成の場合、仮に領域が分断されてしまっても、分断された領域が人体のどの部位であるのかが特定されるので、正しい画像認識の処理結果を得るのに有利となる。
前記画像処理装置において、前記画像特定部は、前記分断された領域間の離れ距離を画像上で求め、当該離れ距離と閾値とを比較することにより、前記分断された領域として確定するか否かを判断することが好ましい。この構成によれば、分断された領域間の離れ距離と閾値とを比較するという簡素な処理により、分断された領域として取り扱うべきか否かを容易に判定することが可能となる。
前記画像処理装置において、前記画像特定部は、前記分断された領域が更に複数に分断していた場合、これらの分断された領域間の離れ距離が閾値未満であれば、1つの領域として処理することが好ましい。この構成によれば、分断された領域が更に細かく分離していたとしても、これら分断された領域を1つの領域として認識することが可能となる。よって、より精度よく画像認識処理を行うのに有利となる。
前記問題点を解決する画像処理プログラムは、画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する第1ステップと、前記対象物に対応する領域を検出する画像認識処理を、前記第1ステップで取得した画像情報に対して実行する第2ステップと、前記第2ステップで検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する第3ステップとをコンピュータに実行させる。
前記問題点を解決するジェスチャ認識システムは、画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部と、前記対象物が映り込んだ画像を表す画像情報を前記画像撮影部から取得する画像取得部と、前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部と、前記画像特定部により特定された画像を基にユーザによるジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ制御部とを備えた。
本発明によれば、物体を画像認識するにあたり、画像上の対象物を簡易に特定することができる。
一実施形態の画像処理装置及びジェスチャ認識システムの構成図。 (a),(b)は画像撮影部の配置例を示す運転席の斜視図。 3次元距離画像図。 3次元距離画像の立体的なモデル図。 分断画像の部位確定の説明図。 画像処理時に実行されるフローチャート。
以下、画像処理装置、画像処理プログラム及びジェスチャ認識システムの一実施形態を図1〜図6に従って説明する。
図1に示すように、車両1は、ユーザによるジェスチャ操作を認識して機器2を制御するジェスチャ認識システム3を備える。本例のジェスチャ認識システム3は、画像撮影部4により撮影された画像情報Dを基にユーザのジェスチャ操作を画像認識し、そのジェスチャ操作に応じた態様に機器2を制御する。機器2は、例えば車載機器5であることが好ましい。車載機器5は、例えばセンターディスプレイ、カーナビゲーションシステム、空調装置、音量装置、オーディオ装置等がある。
画像撮影部4は、画像認識の対象物(ユーザの手及び腕部等)を撮影可能であって、例えば物体との間の3次元距離情報Daを含む画像情報Dを取得する測距式(距離画像カメラ)である。距離画像カメラは、例えばTOF(Time of Flight)カメラやTOFセンサであってもよい。距離画像カメラは、例えばカメラから赤外線を放射し、その反射光の時間遅れから距離画像、すなわち距離情報付きの画像情報Dを出力する。このように、画像情報Dは、物体との間の距離データも含めた3次元距離情報Daを有する。
ジェスチャ認識システム3は、画像撮影部4から入力する画像情報Dを画像認識処理してジェスチャ操作を検出する画像処理装置8を備える。画像処理装置8は、画像撮影部4によって撮影された画像に映るユーザの手(指先)を画像認識し、手(指先)の動きを追跡することにより、ユーザのジェスチャ操作を検出する。画像認識処理は、画像から物体(人体)を検出できる画像認識方法であれば、種々の方法が採用可能である。
ジェスチャ操作は、例えばユーザの手を用いたハンドジェスチャ操作であることが好ましい。ハンドジェスチャ操作の場合、例えば人差し指を所定の態様に動かすことにより、機器2を所定態様に制御する。ハンドジェスチャ操作は、手の動きのみを用いた操作の他に、例えば手の動きと音声とを組み合わせた操作でもよい。手の動きと音声とを組み合わせた操作の場合、例えば機器2を指差しし、具体的な操作内容を声で発することにより、機器2を制御する。
画像処理装置8は、画像撮影部4から画像情報Dを取得する画像取得部11を備える。画像取得部11は、画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部4から、対象物が写り込んだ画像を表す画像情報Dを取得する。本例の場合、画像取得部11は、画像撮影部4からユーザの手及び腕部が映った画像情報Dを取得する。
画像処理装置8は、画像取得部11が取得した画像情報Dを画像認識処理する画像認識部12を備える。画像認識部12は、画像認識の対象物に対応する領域Rを検出する画像認識処理を、画像取得部11で取得した画像情報Dに対して実行する。本例の場合、画像認識部12は、画像上に映る人体の少なくとも一部(本例は手及び腕部)の画像を認識し、手及び腕部が映った画像を抽出する。
画像処理装置8は、画像撮影部4で検出することができない反射率の物体が映り込んでいた場合、手及び腕部の向きから手及び腕部の画像を予測する手画像検出機能を備える。これは、TOFカメラの特性として、反射率が低すぎる物体(反射しない物体)や、反射率が高すぎる物体(全反射する物体)を検出することができないからである。例えば、腕に装着される腕時計は金属や革ベルトの各部分が撮影されず、手と腕部が分断された画像となってしまい、手を検出することができない可能性が生じる。本例は、これに対処する技術である。
画像処理装置8は、画像認識部12で検出した対象物に対応する領域Rが分断されていた場合に、分断された領域Rが人体のどの部位(本例は手及び腕部)であるのかを特定する画像特定部13を備える。本例の画像特定部13は、領域Rが分断されていた場合、画像情報Dにおける画像座標系(X,Y,Z軸の各座標)の座標軸方向(X軸方向、Y軸方向、Z軸方向)を基に、分断されたどの領域Rが手及び腕部であるのかを特定する。画像特定部13は、領域Rが分断されていた場合、車両1の前後方向を基に、分断されたどの領域Rが手及び腕部であるのかを確定する。
画像処理装置8は、画像認識を用いたジェスチャ操作の作動を制御するジェスチャ制御部14を備える。ジェスチャ制御部14は、画像特定部13によって手及び腕部が特定された画像を基にユーザによるジェスチャ操作を判定し、その判定結果を基に機器2を制御する。ジェスチャ制御部14は、認識したジェスチャ操作に応じた制御指令SrをボディECU15に出力し、ボディECU15を通じて機器2を制御する。
次に、図2〜図6を用いて、本発明の実施例であるジェスチャ認識システム3(画像処理装置8)の作用及び効果を説明する。
図2(a),(b)に示すように、画像撮影部4は、例えば車両1が電源オン(例えばACCオンやIGオン)に操作されると、画像撮影を開始する。図2(a)は、人体の手や腕部を上方から画像撮影部4で撮影する例である。この場合、画像撮影部4は、マップランプ内に配置されるとよい。また、図2(b)は、人体の手や腕部を下方から画像撮影部4で撮影する例である。この場合、画像撮影部4は、例えばセンターコンソール等に設置されたタッチパッド付近に配置されるとよい。
ユーザは、ジェスチャ操作によって機器2を制御する場合、運転者であれば、運転席から前方に手を伸ばし、手(人差し指)を所定態様に沿って動かす。このとき、運転席から伸ばした手は、手が車両前方に位置し、腕部が車両後方に位置する。このため、画像撮影部4は、車両前方に手が位置し、車両後方に腕部が位置した画像情報Dを取得する。画像撮影部4は、取得した3次元距離情報Daを含む画像情報Dを画像処理装置8に出力する。画像処理装置8は、画像撮影部4から出力された画像情報Dを画像取得部11で取得する。
図3及び図4に示すように、画像認識部12は、3次元距離情報Daを含む画像情報Dを画像認識処理して、画像上の物体を画像認識する。本例の場合、まず画像認識部12は、画像に映り込んだ人体らしい全ての領域(候補領域)Rを特定する処理、いわゆるラベル付けを実施する。候補領域Rの特定方法の一例として、以下の(I)〜(IV)が想定される。
(I)色が肌色の領域
(II)輝度が閾値を超える領域
(III)エッジ検出にてエッジで囲まれる領域のうち、面積が閾値以上の領域
(IV)画像撮影部4からの距離が同一と見なせる範囲内に被写体が存在する領域
画像認識部12は、抽出した領域(候補領域)Rに対し、これらにラベル付けをする。ところで、本例の場合、ユーザの腕に腕時計が装着されているので、画像情報Dは、手の付け根で腕と手が分断した画像となっている。また、中指に指輪等の装飾具が付けられているので、画像情報Dは、中指が途中で分断した画像となっている。このため、本例の領域(候補領域)Rは、手部分、腕部分、中指部分となる。よって、画像認識部12は、手部分、腕部分及び中指部分のそれぞれの画像にラベルを付ける。ここでは、手部分にラベル「L1」が付され、腕部分にラベル「L2」が付され、中指部分にラベル「L3」が付される。
続いて、図5に示すように、画像特定部13は、領域(候補領域)Rの位置関係に従って、各領域(候補領域)Rが、どのような領域であるのかを特定する。本例の画像特定部13は、画像情報Dのラベル付けが済むと、車両1の前後方向を基に、画像情報D上の手及び腕部を確定する。車両1の前後方向は、画像撮影部4をどの向きに設置するかによって一義的に決まるので、画像処理装置8(画像特定部13)には、画像座標系のどの向きが車両1の前後方向であるのかが予め入力されている。本例の場合、図5の紙面において画像座標系の上下方向をX軸とし、左右方向を画像座標系のY軸方向とすると、X軸方向が車両前後方向に設定されている。
ここで、画像特定部13は、領域Rの種類特定にあたり、分断された領域(候補領域)Rの互いの離れ距離Lを求め、この離れ距離Lと閾値Lkとを比較することにより、分断された領域(候補領域)Rとして処理すべきか否かを判断する。このとき、離れ距離Lが閾値Lk未満であれば、これら領域(候補領域)Rを、1つの領域Rとして取り扱ってもよい。この場合の離れ距離Lは、画像座標系のX−Y平面上における距離(すなわち、画像平面上の距離)、Z方向(すなわち、TOFカメラで計測した距離)のいずれでもよい。
本例の場合、領域(候補領域)Rの「ラベルL1」と「ラベルL2」は、大きく離れた画像となっている。このため、画像特定部13は、「ラベルL1」と「ラベルL2」との離れ距離Lが、閾値Lk以上となることを確認する。よって、画像特定部13は、「ラベルL1」と「ラベルL2」とが分断された領域Rであると判断する。すなわち、ラベルL1とラベルL2は、それぞれ分断画像であると判定される。
一方、領域(候補領域)Rの「ラベルL1」と「ラベルL3」とは、僅か離れた画像となっている。このため、画像特定部13は、「ラベルL1」と「ラベルL3」との離れ距離Lが、閾値Lk未満となることを確認する。よって、画像特定部13は、「ラベルL1」と「ラベルL3」とを、分断された領域Rではなく、1つの領域Rとして処理する。
画像特定部13は、ラベルL1(ラベルL3を含む)とラベルL2とに対し、これらがどの領域Rであるのかを特定する。本例の画像特定部13は、車両1の前後方向を基に、ラベルL1(ラベルL3を含む)とラベルL2が、手及び腕部のどちらであるのかを特定する。ここでは、画像特定部13は、車両前方に位置するラベルL1(ラベルL3を含む)を「手」として確定し、車両後方に位置するラベルL2を「腕部」として確定する。
なお、画像認識部12は、各領域Rの種類(手及び腕部)を特定すると、画像情報Dにおいてエッジが立つ部位を指先候補(図5に示す丸印)として認識し、これらエッジが連なる一帯の画像領域を手の平候補(図5に示す四角印)として認識し、手の平の重心位置を手の重心候補(図5に示す三角印)として認識する。
画像認識部12は、画像特定部13によって特定された領域Rが、認識対象として確かであるか否かを確認する。認識対象の確認方法としては、例えば認識対象を指とするのであれば、指の輪郭が、規定された条件を満たすか否かを判定する方法などが想定される。
画像認識部12は、認識対象が確かであれば、領域Rが人体のどの部分(手及び腕部)であるのかの判定結果を確定する。そして、画像認識部12は、以上の画像認識処理を所定サイクルで繰り返すことにより、画像上に映る手及び腕部を認識する。ジェスチャ制御部14は、以上の画像認識処理によって検出された手の動きからジェスチャ操作を判定し、そのジェスチャ操作に応じた態様に車載機器5を制御する。
図6に示すフローチャートに沿って、本例の画像処理装置8の動作のまとめを説明する。
ステップ101において、画像取得部11は、画像認識の対象物として人体の少なくとも一部分(本例は手及び腕部)が映り込んだ画像情報D(3次元距離情報Da)を画像撮影部4から取得する。なお、ステップ101が第1ステップに相当する。
ステップ102において、画像認識部12は、対象物に対応する領域(候補領域)Rを検出する画像認識処理を、画像取得部11で取得した画像情報Dに対して実行する。本例の場合、画像に映り込んだ人体らしい全ての領域Rを抽出し、これらにラベルを付ける。なお、ステップ102が第2ステップに相当する。
ステップ103において、画像特定部13は、画像認識部12で検出した対象物に対応する領域(候補領域)Rが分断されていた場合、各領域(候補領域)Rが人体のどの部分(手及び腕部)であるのかを特定する。本例の場合、車両前方に映る領域R(ラベルL1)を「手」と認識し、車両後方に映る領域R(ラベルL2)を「腕部」として認識する。なお、ステップ103が第3ステップに相当する。
ステップ104において、画像認識部12は、ステップ103で特定した領域Rが、認識対象として確かであるかを確認する。
ステップ105において、ジェスチャ制御部14は、認識対象が確かであれば、その画像を基にユーザのジェスチャ操作を判定し、その判定結果に応じた態様に機器2(車載機器5)を制御する。これにより、ユーザは、単なるハンドジェスチャを通じて、機器2を操作することが可能となる。よって、機器2の操作の利便性が向上する。
さて、本例の場合、画像認識処理を通じて、画像上に映る対象物に対応する領域Rを検出し、領域Rが分断されていた場合、画像情報Dにおける画像座標系の座標軸方向から、分断された領域Rが人体のどの部位であるのかを特定する。このため、画像認識処理により検出された領域Rを画像座標系の座標軸方向と単に比較する処理により、分断された領域Rが人体のどの部位であるのかを特定することが可能となる。よって、画像情報Dに映る対象物を容易に特定することができる。
画像座標系の座標軸方向は、画像撮影部4が設置される車両1の前後方向に設定される。画像特定部13は、対象物に対応する領域Rが分断されていた場合、車両1の前後方向を基に、分断されたどの領域Rが手及び腕部であるのかを確定する。よって、画像認識処理により検出された領域Rと車両1の前後方向とを単に比較するという処理により、画像情報Dの手及び腕部を簡易に特定することができる。
画像撮影部4は、画像ごとに物体との間の距離を表す3次元距離情報Daを含む画像情報Dを取得する。画像認識部12は、画像撮影部4から取得した画像情報Dに含まれる3次元距離情報Daを基に、画像認識を実行する。本例の場合、3次元距離情報Daを含む画像情報Dを画像認識処理して、画像上に映る手及び腕部を立体画像で取得する。ところで、この方式の場合、例えば光の反射率が著しく高い又は低い部分を取り込むことができず、この部分が分断された領域Rとなってしまう可能性がある。しかし、本例の場合、仮に領域Rが分断されてしまっても、分断された領域Rが人体のどの部位であるのかが特定されるので、正しい画像認識の処理結果を得るのに有利となる。
画像特定部13は、分断された領域Rの間の離れ距離Lを画像上で求め、この離れ距離Lと閾値Lkとを比較することにより、分断された領域Rとして確定するか否かを判断する。よって、分断された領域Rの間の離れ距離Lと閾値Lkとを比較するという簡素な処理により、分断された領域Rとして取り扱うべきか否かを容易に判定することができる。
画像特定部13は、分断された領域Rが更に複数に分断していた場合、これら分断された領域Rの間の離れ距離Lが閾値Lk未満であれば、1つの領域Rとして処理する。このため、分断された領域Rが更に細かく分離していたとしても、これら画像を1つの領域Rとして認識することが可能となる。よって、より精度よく画像認識処理を行うのに有利となる。
なお、実施形態はこれまでに述べた構成に限らず、以下の態様に変更してもよい。
・分断された領域Rの間の距離Lが許容値以上(許容範囲以上)となる場合、これを判定から除くようにしてもよい。この場合、画像処理時に不要と想定される画像を判定から除去することが可能となるので、画像認識の処理精度を確保するのに有利となる。
・分断された領域Rは、2つに限定されず、3つ以上とした場合でも、本例の判定ロジックを採用することができる。
・画像撮影部4の取り付け位置は、例えばインストルメントパネルなど、他の位置に変更可能である。
・画像撮影部4は、1つに限定されず、複数設けられてもよい。
・画像撮影部4は、TOFカメラ(TOFセンサ)に限定されず、種々の距離画像カメラが使用可能である。
・画像情報Dは、使用する画像撮影部4の種類に応じて、適宜変更してもよい。
・画像情報Dは、距離情報付きの3次元情報に限定されず、2次元情報としてもよい。
・画像認識処理は、例えば画像処理、画像処理アルゴリズム、パターンマッチング、画像特徴抽出など、種々の手法が採用可能である。画像処理は、例えば画像に処理加工を施して情報を取り出す処理である。画像処理アルゴリズムは、例えば画像に対してコンピュータによる数学的な処理変換をかけて形状を特定する処理である。パターンマッチングは、例えば取得画像をテンプレートと比較して画像を認識する処理である。画像特徴抽出は、例えば画像から特徴を抽出して形状を特定する処理である。
・画像認識の対象物は、手及び腕部に限定されず、他の人体の一部に変更してもよい。
・ジェスチャ操作は、例えばパワースライドドアの開閉操作や、車両1の自動駐車するときに使用される操作としてもよい。
・座標軸方向は、車両1の前後方向に限定されず、他の方向に適宜変更可能である。また、座標軸方向は、画像座標系のX軸方向に限らず、Y軸方向、−X軸方向、−Y軸方向に変更してもよい。
・座標軸方向は、画像座標系の軸に沿う方向に限定されず、軸(X軸やY軸)に対して傾く線としてもよい。
・ジェスチャ認識システム3及び画像処理装置8は、車両1に適用されることに限定されず、他の機器や装置に使用してもよい。
1…車両、2…機器、3…ジェスチャ認識システム、4…画像撮影部、5…車載機器、8…画像処理装置、11…画像取得部、12…画像認識部、13…画像特定部、14…ジェスチャ制御部、D…画像情報、Da…3次元距離情報、R…領域(候補領域)、L…距離、Lk…閾値。

Claims (7)

  1. 画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する画像取得部と、
    前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、
    前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部と
    を備えた画像処理装置。
  2. 前記画像座標系の座標軸方向は、前記画像撮影部が設置される車両の前後方向に設定され、
    前記画像特定部は、前記対象物に対応する領域が分断されていた場合、前記車両の前後方向を基に、前記分断されたどの領域が手及び腕部であるのかを確定する
    請求項1に記載の画像処理装置。
  3. 前記画像撮影部は、画素ごとに物体との間の距離を表す3次元距離情報を含む前記画像情報を取得し、
    前記画像認識部は、前記画像撮影部から取得した前記画像情報に含まれる前記3次元距離情報を基に、前記画像認識を実行する
    請求項1又は2に記載の画像処理装置。
  4. 前記画像特定部は、前記分断された領域間の離れ距離を画像上で求め、当該離れ距離と閾値とを比較することにより、前記分断された領域として確定するか否かを判断する
    請求項1〜3のうちいずれか一項に記載の画像処理装置。
  5. 前記画像特定部は、前記分断された領域が更に複数に分断していた場合、これらの分断された領域間の離れ距離が閾値未満であれば、1つの領域として処理する
    請求項1〜4のうちいずれか一項に記載の画像処理装置。
  6. 画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する第1ステップと、
    前記対象物に対応する領域を検出する画像認識処理を、前記第1ステップで取得した画像情報に対して実行する第2ステップと、
    前記第2ステップで検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する第3ステップと
    をコンピュータに実行させる画像処理プログラム。
  7. 画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部と、
    前記対象物が映り込んだ画像を表す画像情報を前記画像撮影部から取得する画像取得部と、
    前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、
    前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部と、
    前記画像特定部により特定された画像を基にユーザによるジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ制御部と
    を備えたジェスチャ認識システム。
JP2017098028A 2017-05-17 2017-05-17 画像処理装置、画像処理プログラム及びジェスチャ認識システム Pending JP2018195052A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017098028A JP2018195052A (ja) 2017-05-17 2017-05-17 画像処理装置、画像処理プログラム及びジェスチャ認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017098028A JP2018195052A (ja) 2017-05-17 2017-05-17 画像処理装置、画像処理プログラム及びジェスチャ認識システム

Publications (1)

Publication Number Publication Date
JP2018195052A true JP2018195052A (ja) 2018-12-06

Family

ID=64570323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017098028A Pending JP2018195052A (ja) 2017-05-17 2017-05-17 画像処理装置、画像処理プログラム及びジェスチャ認識システム

Country Status (1)

Country Link
JP (1) JP2018195052A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259883A (zh) * 2020-01-14 2020-06-09 广东南方视觉文化传媒有限公司 一种图像识别装置及图像识别方法
CN113052816A (zh) * 2021-03-24 2021-06-29 湖南镭目科技有限公司 一种炉口图像识别方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099603A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2011138265A (ja) * 2009-12-28 2011-07-14 Honda Motor Co Ltd 車両周辺監視装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099603A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2011138265A (ja) * 2009-12-28 2011-07-14 Honda Motor Co Ltd 車両周辺監視装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAVID DEMIRDJIAN, 外1名: ""Driver pose estimation with 3D Time-of-Flight sensor"", 2009 IEEE WORKSHOP ON COMPUTATIONAL INTELLIGENCE IN VEHICLES AND VEHICULAR SYSTEMS, JPN6021021680, 2009, US, ISSN: 0004524220 *
G. MCALLISTER, 外2名: ""Tracking a driver's hands using computer vision"", SMC 2000 CONFERENCE PROCEEDINGS. 2000 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN AND CYBERNETICS., JPN6021021681, 2000, US, pages 1388 - 1393, XP010524851, ISSN: 0004524221, DOI: 10.1109/ICSMC.2000.886048 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259883A (zh) * 2020-01-14 2020-06-09 广东南方视觉文化传媒有限公司 一种图像识别装置及图像识别方法
CN111259883B (zh) * 2020-01-14 2024-03-15 王春艳 一种图像识别装置及图像识别方法
CN113052816A (zh) * 2021-03-24 2021-06-29 湖南镭目科技有限公司 一种炉口图像识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
JP4625074B2 (ja) サインに基づく人間−機械相互作用
US8970696B2 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
US10997465B2 (en) Information processing device, information processing method, and storage medium
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
KR101526426B1 (ko) 제스처 인식 장치 및 방법
CN106061802B (zh) 用于操纵用于车辆的闭合元件的方法和装置
US20110158476A1 (en) Robot and method for recognizing human faces and gestures thereof
EP3035164A1 (en) Wearable sensor for tracking articulated body-parts
JP2014524070A5 (ja)
JP2006285370A (ja) ハンドパターンスイッチ装置及びハンドパターン操作方法
JP6141108B2 (ja) 情報処理装置およびその方法
CN107038406B (zh) 用于分析姿态的方法
JP2007164517A (ja) 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
JP2018195052A (ja) 画像処理装置、画像処理プログラム及びジェスチャ認識システム
CN113076836B (zh) 一种汽车手势交互方法
CN107291219B (zh) 用户界面、运输工具和用于识别用户的手的方法
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP2018195053A (ja) 画像処理装置、画像処理プログラム及びジェスチャ認識システム
KR101860138B1 (ko) 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치
JP2014182662A (ja) 操作装置及び操作方法
JP2015156096A (ja) 入力装置および入力取得方法
CN111158489B (zh) 一种基于摄像头的手势交互方法及手势交互系统
JP7117878B2 (ja) 処理装置、及びプログラム
JP2016157457A (ja) 操作入力装置、操作入力方法及び操作入力プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211201