JP2010113530A - 画像認識装置及びプログラム - Google Patents
画像認識装置及びプログラム Download PDFInfo
- Publication number
- JP2010113530A JP2010113530A JP2008285697A JP2008285697A JP2010113530A JP 2010113530 A JP2010113530 A JP 2010113530A JP 2008285697 A JP2008285697 A JP 2008285697A JP 2008285697 A JP2008285697 A JP 2008285697A JP 2010113530 A JP2010113530 A JP 2010113530A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- palm
- plane
- fingertip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】本発明の画像認識装置は、動画像の画像フレーム中の手のひら画像部分を肌色判定処理を施して手のひらのシルエット画像を抽出し、該シルエット画像における手のひらの画像部分から最小外接多角形処理及び円形抽出フィルタ処理を施して指先の画像座標を取得する指先画像座標取得部12と、動画像の世界座標及び当該世界座標の1平面に位置する基準画像平面を設定し、該基準画像平面における各指先の画像座標に対して、指先の画像座標の平面射影行列を生成する平面射影変換行列生成部15と、前記平面射影行列から基準画像平面に対する透視投影行列を生成し、動画像に含まれる手のひらの画像から前記世界座標における手のひらの姿勢情報を生成する位置姿勢算出部16とを備える。
【選択図】図1
Description
(1)肌色領域の抽出
指先画像座標取得部12は、まず、図4(a)に例示するカメラ2で撮影した画像フレームのRGB値を、HQV表色系に変換し、HQV空間内での閾値処理により肌色領域を抽出する。抽出の結果、図4(b)のような手のひらのシルエット画像が得られる。
指先画像座標取得部12は、次に、図4(b)のシルエット画像に対して、最小外接多角形を求める処理を施す。2値画像の所定の幾何形状に対して最小外接多角形を求める処理は、計算幾何学として知られる最小外接多角形処理の関数を用いるのが好適である(例えば、参考文献:奈良先端科学技術大学院大学OpenCVプログラミングブック制作チーム/著、「OpenCVプログラミングブック」、毎日コミュニケーションズ、2007年9月発行)。
(1)所定の幾何形状の外縁を所定間隔を有する複数のサンプリング点で表す。
(2)複数のサンプリング点のうち、v座標が最小の点をP0と定める。
(3)P0から見た他のサンプリング点に対して、角度の低い順(又は高い順)にP1,P2,P3,…と定める。ただし、ほぼ同じ角度に複数のサンプリング点が位置する場合は、最遠点を選定する。
(4)まず、選定したサンプリング点P0,P1,P2を直線で結ぶ。
(5)続いて、サンプリング点P1,P2,P3を結んだ場合の角度(内角)が180度以上ならP2を接点とせずに、サンプリング点P1,P3を直接結ぶ。
(6)全サンプリング点を直線で結ぶまで、次のサンプリング点に対して上記の(5)を順次繰り返す。
処理1では、指先に対応する5つの画像座標を求めた。処理2では、実際の指との対応付けを行う。
処理2の結果、手首画像座標取得部14は、得られる「中指」の画像座標、及び5つの指の「重心」の画像座標を手がかりに、手首位置を推定する。図7に示すように、「中指」の画像座標から「重心」の画像座標に向かう方向を第1探索方向(図示する「探索方向1」)とし、手のひらのシルエット画像中で第1探索方向(図示する「探索方向2」)に直交する方向を第2探索方向とする。探索の際には、可能な限り探索処理時間を軽減することを考慮したとき、「重心」の画像座標から第1探索方向に向かって、「中指」の画像座標と「重心」の画像座標の距離だけ離れた点「A」を探索出発点とするのが好適である。
一般的に、空間中の点Qの3次元位置を世界座標(Xw,Yw,Zw)、及びカメラ座標を(Xc,Yc,Zc)で与えた場合、両者の関係は式(1)で表される。
平面射影行列H’は基準画像平面RSに対する手のひらの姿勢と位置を表しているが、この平面射影行列H’から世界座標の手のひらの姿勢を直接算出するのは容易ではない。そこで、位置姿勢算出部16は、基準画像平面発生部17から供給される基準画像平面RSについて、図8(a)に示すように手のひらの基準画像平面上に仮想的な正方形を置き、その4つの頂点を平面射影行列H’で一旦射影変換し、世界座標の手のひらにおける対応する4つの頂点とカメラ画像上の投影点の座標との間の透視投影行列を求める。
2 カメラ
3 物理物体
4 手のひら
4a 手のひら部分
4b 手首近傍部分
5 衣服の袖
11 画像入力部
12 指先画像座標取得部
13 指先種別判定部
14 手首画像座標取得部
15 平面射影変換行列生成部
16 位置姿勢算出部
17 基準画像平面発生部
100 姿勢位置推定装置
101 マーカー
102 カメラ
103 物体
111 画像入力部
112 マーカー検出部
113 位置・姿勢算出部
Claims (5)
- 動画像のみから該動画像に含まれる手のひらの3次元の姿勢を推定する画像認識装置であって、
動画像の画像フレーム中の手のひら画像部分を肌色判定処理を施して手のひらのシルエット画像を抽出し、該シルエット画像における手のひらの画像部分から最小外接多角形処理及び円形抽出フィルタ処理を施して指先の画像座標を取得する指先画像座標取得部と、
動画像の世界座標及び当該世界座標の1平面に位置する基準画像平面を設定し、該基準画像平面における指先の基準座標に対して、前記指先の画像座標の平面射影行列を生成する平面射影変換行列生成部と、
前記平面射影行列から基準画像平面に対する透視投影行列を生成し、動画像に含まれる手のひらの画像から前記世界座標における手のひらの姿勢情報を生成する位置姿勢算出部と、
を備えることを特徴とする画像認識装置。 - 抽出した各指先に対応する特徴点の画像座標間の距離をそれぞれ比較して指先の種類を特定する指先種別判定部と、
前記手のひらのシルエット画像における手のひらの画像部分から、中指と各指の重心とを結ぶ線分方向に該重心から移動しながら、該線分と直交するシルエット画像成分を計数し、この計数値の減少傾向を追跡して手首近辺の特徴点の画像座標を決定する手首画像座標取得部とを更に備え、
前記平面射影変換行列生成部は、当該世界座標の1平面に位置する基準画像平面における各指先の基準座標と手首の基準座標に対して、前記手首付近の特徴点の画像座標の平面射影行列を生成することを特徴とする、請求項1に記載の画像認識装置。 - 前記平面射影変換行列生成部は、前記基準画像平面上に仮想的な正方形を設定し、前記位置姿勢算出部は、該正方形の4つの頂点に対して平面射影変換行列を用いて射影変換を施し、この射影変換で得られる4つの頂点の画像座標に基づいて基準画像平面に対する当該透視投影行列を生成し、手のひらの姿勢を推定することを特徴とする、請求項1又は2に記載の画像認識装置。
- 前記指先画像座標取得部は、処理対象の画像フレーム中から取得した各指先の画像座標が、5つの指先の画像座標として取得したか否かを判別する手段を有し、5つの指先の画像座標として取得していないと判別した場合に、当該動画像における別の画像フレームを処理対象とすることを特徴とする、請求項1〜3のいずれか一項に記載の画像認識装置。
- 動画像のみから該動画像に含まれる手のひらの3次元の姿勢を推定する画像認識装置として構成するコンピュータに、
動画像の画像フレーム中の手のひら画像部分を肌色判定処理を施して手のひらのシルエット画像を抽出し、該シルエット画像における手のひらの画像部分から最小外接多角形処理及び円形抽出フィルタ処理を施して指先の画像座標を取得するステップと、
動画像の世界座標及び当該世界座標の1平面に位置する基準画像平面を設定し、該基準画像平面における指先の基準座標に対して、前記指先の画像座標の平面射影行列を生成するステップと、
前記平面射影行列から基準画像平面に対する透視投影行列を生成し、動画像に含まれる手のひらの画像から前記世界座標における手のひらの姿勢情報を生成するステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008285697A JP4938748B2 (ja) | 2008-11-06 | 2008-11-06 | 画像認識装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008285697A JP4938748B2 (ja) | 2008-11-06 | 2008-11-06 | 画像認識装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010113530A true JP2010113530A (ja) | 2010-05-20 |
JP4938748B2 JP4938748B2 (ja) | 2012-05-23 |
Family
ID=42302043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008285697A Expired - Fee Related JP4938748B2 (ja) | 2008-11-06 | 2008-11-06 | 画像認識装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4938748B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012008936A (ja) * | 2010-06-28 | 2012-01-12 | Kddi Corp | 情報端末装置 |
JP2012160051A (ja) * | 2011-02-01 | 2012-08-23 | Kddi Corp | 情報端末装置 |
JP5308607B1 (ja) * | 2012-08-27 | 2013-10-09 | 善郎 水野 | レリーズ制御装置、レリーズ制御方法及びレリーズ制御方法を実行するプログラム |
JP2017033144A (ja) * | 2015-07-30 | 2017-02-09 | キヤノン株式会社 | 情報処理装置とその制御方法、プログラム、記憶媒体 |
JP2018195267A (ja) * | 2017-05-22 | 2018-12-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
CN109829368A (zh) * | 2018-12-24 | 2019-05-31 | 平安科技(深圳)有限公司 | 手掌特征的识别方法、装置、计算机设备及存储介质 |
CN111639562A (zh) * | 2020-05-15 | 2020-09-08 | 圣点世纪科技股份有限公司 | 一种手掌感兴趣区域的智能定位方法 |
JP7466694B2 (ja) | 2020-05-18 | 2024-04-12 | グーグル エルエルシー | 低電力セミパッシブ相対6自由度トラッキング |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09102046A (ja) * | 1995-08-01 | 1997-04-15 | Matsushita Electric Ind Co Ltd | 手形状認識方法および手形状認識装置 |
-
2008
- 2008-11-06 JP JP2008285697A patent/JP4938748B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09102046A (ja) * | 1995-08-01 | 1997-04-15 | Matsushita Electric Ind Co Ltd | 手形状認識方法および手形状認識装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012008936A (ja) * | 2010-06-28 | 2012-01-12 | Kddi Corp | 情報端末装置 |
JP2012160051A (ja) * | 2011-02-01 | 2012-08-23 | Kddi Corp | 情報端末装置 |
JP5308607B1 (ja) * | 2012-08-27 | 2013-10-09 | 善郎 水野 | レリーズ制御装置、レリーズ制御方法及びレリーズ制御方法を実行するプログラム |
JP2017033144A (ja) * | 2015-07-30 | 2017-02-09 | キヤノン株式会社 | 情報処理装置とその制御方法、プログラム、記憶媒体 |
JP2018195267A (ja) * | 2017-05-22 | 2018-12-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
CN109829368A (zh) * | 2018-12-24 | 2019-05-31 | 平安科技(深圳)有限公司 | 手掌特征的识别方法、装置、计算机设备及存储介质 |
CN109829368B (zh) * | 2018-12-24 | 2024-02-20 | 平安科技(深圳)有限公司 | 手掌特征的识别方法、装置、计算机设备及存储介质 |
CN111639562A (zh) * | 2020-05-15 | 2020-09-08 | 圣点世纪科技股份有限公司 | 一种手掌感兴趣区域的智能定位方法 |
JP7466694B2 (ja) | 2020-05-18 | 2024-04-12 | グーグル エルエルシー | 低電力セミパッシブ相対6自由度トラッキング |
Also Published As
Publication number | Publication date |
---|---|
JP4938748B2 (ja) | 2012-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
JP4938748B2 (ja) | 画像認識装置及びプログラム | |
KR102647351B1 (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
JP6464934B2 (ja) | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム | |
US9489765B2 (en) | Silhouette-based object and texture alignment, systems and methods | |
Lee et al. | Handy AR: Markerless inspection of augmented reality objects using fingertip tracking | |
JP5955406B2 (ja) | データを位置合わせする方法 | |
JP5812599B2 (ja) | 情報処理方法及びその装置 | |
JP2019501473A (ja) | 単眼カメラを用いたリアルタイム3d捕捉およびライブフィードバックのための方法およびシステム | |
US20110069888A1 (en) | Image processing apparatus and method | |
JP5898014B2 (ja) | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム | |
KR20100006324A (ko) | 복수 객체 추적 방법과 장치 및 저장매체 | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
JP6894707B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
JP5965293B2 (ja) | カメラポーズ推定装置、及びカメラポーズ推定プログラム | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
JP2018129007A (ja) | 学習データ生成装置、学習装置、推定装置、学習データ生成方法及びコンピュータプログラム | |
JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
JP6196562B2 (ja) | 被写体情報重畳装置、被写体情報重畳方法及びプログラム | |
JP2010211732A (ja) | 物体認識装置および方法 | |
Carraro et al. | Skeleton estimation and tracking by means of depth data fusion from depth camera networks | |
JP7385747B2 (ja) | 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム | |
JP2019046472A (ja) | 画像処理装置、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120131 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120223 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |