JP2017102500A - 領域抽出装置、領域抽出プログラム、及び領域抽出方法 - Google Patents

領域抽出装置、領域抽出プログラム、及び領域抽出方法 Download PDF

Info

Publication number
JP2017102500A
JP2017102500A JP2015232628A JP2015232628A JP2017102500A JP 2017102500 A JP2017102500 A JP 2017102500A JP 2015232628 A JP2015232628 A JP 2015232628A JP 2015232628 A JP2015232628 A JP 2015232628A JP 2017102500 A JP2017102500 A JP 2017102500A
Authority
JP
Japan
Prior art keywords
region
pixel
pixel group
area
represented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015232628A
Other languages
English (en)
Other versions
JP6651814B2 (ja
Inventor
厚一郎 新沼
Atsuichiro Niinuma
厚一郎 新沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015232628A priority Critical patent/JP6651814B2/ja
Priority to US15/349,488 priority patent/US10410051B2/en
Publication of JP2017102500A publication Critical patent/JP2017102500A/ja
Application granted granted Critical
Publication of JP6651814B2 publication Critical patent/JP6651814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T5/70—

Abstract

【課題】抽出対象の近くに他の物体が存在する状況でも、距離画像から抽出対象を表す領域を抽出する。
【解決手段】領域分割部１１２は、距離画像１２１内の複数の隣接画素ペアそれぞれについて、次の（１）及び（２）の処理を行うことで、距離画像を複数の領域に分割する。（１）領域分割部１１２は、隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、第１画素が属する第１画素グループと第２画素が属する第２画素グループとを含む第３画素グループを生成する。（２）領域分割部１１２は、第１画素グループが表す第１領域と第２画素グループが表す第２領域とをマージして第３画素グループが表す第３領域を生成するか否かを、第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定する。選択部１１３は、領域分割部１１２が生成した複数の領域の中から、所定の条件を満たす領域を選択する。
【選択図】図１

Description

本発明は、領域抽出装置、領域抽出プログラム、及び領域抽出方法に関する。
近年、カメラによって撮影した画像に視覚情報を付加して表示する拡張現実技術の開発が行われている。拡張現実技術では、ウェアラブル装置、タブレット端末等の情報処理装置が用いられ、ウェアラブル装置としては、カメラを装着したヘッドマウントディスプレイ（ＨＭＤ）装置等が用いられる。これらの情報処理装置の画面上では、ユーザの視野内に存在する対象物の位置に対応させて、その対象物に関する情報が表示される。
このような拡張現実技術を利用すれば、工場における保守点検、機器設置等のユーザの作業を支援することが可能である。ユーザは両手を用いて作業を行うことが多いため、タブレット端末よりも、頭部に装着可能なＨＭＤ装置の方がユーザの作業支援に適している。
ＨＭＤ装置の操作方法として、対象物に対するインタラクションを含むジェスチャが用いられることがある。ジェスチャによる操作では、ＨＭＤ装置は、画像内におけるユーザの手の動きを認識することによって、特定の操作が行われたことを検出する。この場合、手の動きを認識するために、画像から精度良く手領域を抽出することが重要になる。
距離画像を用いて手領域を抽出する技術も知られている（例えば、特許文献１〜特許文献３を参照）。画像の領域分割、平面検出、指先検出に関する技術も知られている（例えば、非特許文献１〜非特許文献６を参照）。
特開２０１４−２３８８２８号公報 特開２０１５−１１４７６２号公報 特開２０１４−１８２４４２号公報
Felzenszwalb et al.,"Efficient Graph-Based Image Segmentation", International Journal of Computer Vision, Vol. 59, No. 2, September 2004 増田 宏，"レーザ計測データに基づく形状再構成技術"，咸臨：日本船舶海洋工学会誌 第４０号，２０１２年１月 飯沼 宏成他，"３次元ハフ変換を用いた平面検出の高速化アルゴリズム"，２０１３年度精密工学会春季大会学術講演会講演論文集，２０１３年 Trevor et al.,"Efficient Organized Point Cloud Segmentation with Connected Components", Semantic Perception Mapping and Exploration, May 2013 Bhuyan et al.,"Fingertip Detection for Hand Pose Recognition", International Journal on Computer Science and Engineering, Vol. 4, No. 3, March 2012 Jang et al.,"3D Finger CAPE: Clicking Action and Position Estimation under Self-Occlusions in Egocentric Viewpoint", IEEE Transactions on Visualization and Computer Graphics, Vol. 21, No. 4, April 2015
距離画像の各画素の画素値は、距離画像センサから物体までの距離を表すため、ユーザの手の近くに他の物体が存在しない状況では、距離画像の画素のうち、閾値よりも小さい画素値を有する近距離画素からなる領域を、手領域として抽出することができる。しかし、手が壁に触れている場合等、手の近くに他の物体が存在する状況では、適切な閾値を設定することが困難であり、必ずしも手領域を抽出できるとは限らない。
カメラ及び背景が固定されていれば、２時刻の距離画像間における背景差分を用いて手領域を抽出することも可能である。しかし、ＨＭＤ装置のように、ユーザとともにカメラが移動する場合、距離画像内で背景の物体の位置が変化するため、背景差分を用いて手領域を抽出することは困難である。
なお、かかる問題は、ＨＭＤ装置の操作のために距離画像から手領域を抽出する場合に限らず、他の画像処理のために距離画像から所定領域を抽出する場合においても生ずるものである。
１つの側面において、本発明は、抽出対象の近くに他の物体が存在する状況でも、距離画像から抽出対象を表す領域を抽出することを目的とする。
１つの案では、領域抽出装置は、記憶部、領域分割部、及び選択部を含む。記憶部は、距離画像を記憶する。領域分割部は、距離画像内の複数の隣接画素ペアそれぞれについて以下の処理を行うことで、距離画像を複数の領域に分割する。
（１）領域分割部は、隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、第１画素が属する第１画素グループと第２画素が属する第２画素グループとを含む第３画素グループを生成する。
（２）領域分割部は、第１画素グループが表す第１領域と第２画素グループが表す第２領域とをマージして第３画素グループが表す第３領域を生成するか否かを、第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定する。
選択部は、領域分割部が生成した複数の領域の中から、所定の条件を満たす領域を選択する。
実施形態によれば、抽出対象の近くに他の物体が存在する状況でも、距離画像から抽出対象を表す領域を抽出することができる。
領域抽出装置の機能的構成図である。 領域抽出処理のフローチャートである。 ＨＭＤ装置の機能的構成図である。 領域抽出処理の具体例を示すフローチャートである。 平滑化フィルタを示す図である。 領域分割処理のフローチャートである。 ２つの画素グループのマージ処理を示す図である。 領域分割処理を示す図である。 手らしさの判定を省略した領域分割処理を示す図である。 手らしさの判定処理のフローチャートである。 直線を含む輪郭形状を示す図である。 指先を含む輪郭形状を示す図である。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、領域抽出装置の機能的構成例を示している。図１の領域抽出装置１０１は、記憶部１１１、領域分割部１１２、及び選択部１１３を含む。記憶部１１１は、距離画像１２１を記憶し、領域分割部１１２は、距離画像１２１を複数の領域に分割する。選択部１１３は、領域分割部１１２が生成した複数の領域の中から、所定の条件を満たす領域を選択する。
図２は、図１の領域抽出装置１０１が行う領域抽出処理の例を示すフローチャートである。まず、領域分割部１１２は、距離画像１２１内の複数の隣接画素ペアそれぞれについて以下の処理を行うことで、距離画像１２１を複数の領域に分割する（ステップ２０１）。
（１）領域分割部１１２は、隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、第１画素が属する第１画素グループと第２画素が属する第２画素グループとを含む第３画素グループを生成する。
（２）領域分割部１１２は、第１画素グループが表す第１領域と第２画素グループが表す第２領域とをマージして第３画素グループが表す第３領域を生成するか否かを、第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定する。
次に、選択部１１３は、領域分割部１１２が生成した複数の領域の中から、所定の条件を満たす領域を選択する（ステップ２０２）。
図１の領域抽出装置１０１によれば、抽出対象の近くに他の物体が存在する状況でも、距離画像から抽出対象を表す領域を抽出することができる。
図３は、図１の領域抽出装置１０１を含むＨＭＤ装置の構成例を示している。図３のＨＭＤ装置は、領域抽出装置１０１、撮像装置３０１、距離画像センサ３０２、及び表示装置３０３を含む。領域抽出装置１０１は、記憶部１１１、領域分割部１１２、選択部１１３、取得部３１１、及び取得部３１２を含み、領域分割部１１２は、分割部３２１及び判定部３２２を含む。
記憶部１１１は、距離画像１２１、映像情報３３１、画素グループ情報３３２、及び指標３３３を記憶する。距離画像１２１は、距離画像センサ３０２によって撮影され、距離画像１２１の各画素の画素値は、距離画像センサ３０２から物体までの距離を表す。距離画像センサ３０２から物体までの距離の代わりに、所定の基準点から物体までの距離を表す画素値を用いてもよい。距離画像１２１は、デプスマップと呼ばれることもある。
映像情報３３１は、撮像装置３０１によって撮影された映像を表し、複数時刻におけるフレームの画像を含む。画素グループ情報３３２は、距離画像１２１の領域分割によって生成される複数の領域それぞれに対応する画素グループを表す。指標３３３は、各領域の手らしさを示す情報である。
例えば、工場における保守点検作業において、ユーザは、電力計、圧力計、温度計等の各種計測機器が表示する計測値を確認する。そして、ユーザは、ジェスチャによって、確認結果をＨＭＤ装置に入力したり、計測値又は計測機器の画像をＨＭＤ装置に入力したりする作業を行う。
撮像装置３０１は、例えば、カラー映像を撮影するカメラであり、作業領域の映像を撮影する。取得部３１１は、撮像装置３０１から映像を取得し、映像情報３３１として記憶部１１１に格納する。距離画像センサ３０２は、レーザ光線、赤外線等を用いて各時刻における距離画像１２１を撮影する。取得部３１２は、距離画像センサ３０２から距離画像１２１を取得して、記憶部１１１に格納する。表示装置３０３は、映像情報３３１を画面に表示する。
分割部３２１は、距離画像１２１から隣接する２つの画素を隣接画素ペアとして抽出し、各隣接画素ペアの画素値の差分が閾値よりも小さい場合、それぞれの画素が属する画素グループをマージする。判定部３２２は、マージによって生成された画素グループが表す領域に対して、領域の手らしさを示す指標３３３を求め、求めた指標３３３に基づいて領域が手らしいか否かを判定する。
判定部３２２が手らしいと判定した場合、分割部３２１は、画素グループ情報３３２からマージ前の２つの画素グループを削除して、マージ後の画素グループを新たに追加する。一方、判定部３２２が手らしくないと判定した場合、分割部３２１は、マージ前の２つの画素グループを画素グループ情報３３２に残し、マージ後の画素グループは追加しない。
距離画像１２１の領域分割が終了した後、選択部１１３は、画素グループ情報３３２が表す複数の画素グループそれぞれに対応する複数の領域の中から、手領域を選択する。
ユーザの頭部に装着されるヘッドマウントモジュールは、図３のＨＭＤ装置全体を含んでいてもよく、ＨＭＤ装置の一部の構成要素のみを含んでいてもよい。例えば、撮像装置３０１、距離画像センサ３０２、及び表示装置３０３をヘッドマウントモジュールとして実装し、領域抽出装置１０１を頭部以外の身体部位に装着されるモジュールとして実装することができる。
図４は、図３の領域抽出装置１０１が行う領域抽出処理の具体例を示すフローチャートである。まず、距離画像センサ３０２は、現時刻における距離画像１２１を撮影し、取得部３１２は、撮影された距離画像１２１を記憶部１１１に格納する（ステップ４０１）。そして、分割部３２１は、平滑化フィルタ等を用いて、距離画像１２１の領域を平滑化する（ステップ４０２）。
図５は、平滑化フィルタの例を示している。図５の平滑化フィルタは、３画素×３画素のフィルタであり、中央の画素の画素値は、フィルタ内の９個の画素の各画素値に重み１／９を乗算して加算した結果に置き換えられる。このような重み付き加算を距離画像１２１の全画素に対して行うことで、距離画像１２１のノイズが低減される。
次に、分割部３２１は、平滑化された距離画像１２１の隣接する画素間の局所的特徴と、複数の画素からなる領域の形状の大局的特徴とを用いて、距離画像１２１の領域分割を行う（ステップ４０３）。そして、選択部１１３は、領域分割によって生成された複数の領域の中から、手領域を選択する（ステップ４０４）。
図６は、図４のステップ４０３における領域分割処理の例を示すフローチャートである。この領域分割処理では、２つの画素の画素値の差分が小さい隣接画素ペアから順に、それらの画素が同じ画素グループにマージされる。
距離画像１２１における画素値の差分が小さい場合、２つの画素は、３次元空間内で互いに距離が近い２点を表していると考えられる。また、既に同じ画素グループにマージされている複数の画素も、互いに距離が近い複数の点を表していると考えられる。そこで、隣接画素ペアをマージする際、それぞれの画素が属する２つの画素グループがマージされる。
このとき、局所的特徴である画素値の差分のみを用いるのではなく、マージ後の画素グループが表す領域の大局的特徴である、手らしさが評価され、手らしいと判定された場合に、マージ後の画素グループが採用される。手らしさの評価は、例えば、領域の３次元形状と輪郭形状とに基づいて行われる。
まず、分割部３２１は、距離画像１２１内の全画素をそれぞれ異なる画素グループに分類した画素グループ情報３３２を生成して、記憶部１１１に格納する（ステップ６０１）。そして、分割部３２１は、距離画像１２１内で隣接する２つの画素のすべての組み合わせを隣接画素ペアとして生成し、各隣接画素ペアの画素値の差分を計算する（ステップ６０２）。
次に、分割部３２１は、未選択の隣接画素ペアのうち、差分が最も小さい隣接画素ペアを選択し（ステップ６０３）、選択した隣接画素ペアの画素値の差分を閾値Ｔと比較する（ステップ６０４）。画素値の差分が閾値Ｔよりも小さい場合（ステップ６０４，ＹＥＳ）、判定部３２２は、隣接画素ペアの２つの画素グループをマージしたときに生成される領域が手らしいか否かをチェックする（ステップ６０５）。
マージ後の領域が手らしい場合（ステップ６０５，ＹＥＳ）、分割部３２１は、選択した隣接画素ペアのそれぞれの画素が属する２つの画素グループをマージする（ステップ６０６）。そして、分割部３２１は、画素グループ情報３３２からマージ前の２つの画素グループを削除して、マージ後の画素グループを追加する。これにより、マージ前の２つの画素グループが表す領域同士がマージされて、マージ後の画素グループが表す領域が生成される。
次に、分割部３２１は、未選択の隣接画素ペアが残っているか否かをチェックし（ステップ６０７）、未選択の隣接画素ペアが残っている場合（ステップ６０７，ＹＥＳ）、ステップ６０３以降の処理を繰り返す。
一方、画素値の差分が閾値Ｔ以上である場合（ステップ６０４，ＮＯ）、又はマージ後の領域が手らしくない場合（ステップ６０５，ＮＯ）、分割部３２１は、２つの画素グループをマージすることなく、ステップ６０７以降の処理を行う。そして、未選択の隣接画素ペアが残っていない場合（ステップ６０７，ＮＯ）、分割部３２１は、処理を終了する。
図７は、２つの画素グループのマージ処理の例を示している。距離画像７０１の各画素に割り当てられた番号は、その画素が属する画素グループのグループ番号を表す。隣接画素ペア７０２の画素値の差分が閾値Ｔよりも小さい場合、グループ番号“１”の画素グループとグループ番号“２”の画素グループとをマージした領域が手らしいか否かがチェックされる。その領域が手らしいと判定された場合、マージ前の一方の画素グループのグループ番号“２”を、他方の画素グループのグループ番号“１”に変更することで、それらの画素グループがマージされる。
ステップ６０４の閾値Ｔは、固定値であってもよく、選択した隣接画素ペアのそれぞれの画素が属する画素グループの画素数に応じて変更してもよい。例えば、非特許文献１の領域分割処理を用いた場合、閾値Ｔは、次式により設定することができる。
Ｔ＝Ｔ０＋ｋ／Ｎ （１）
式（１）のＴ０及びｋは正の定数であり、Ｎは、隣接画素ペアのそれぞれの画素が属する画素グループの画素数のうち大きい方の値を表す。例えば、画素ａ及び画素ｂが属する画素グループの画素数を、それぞれ、Ｎａ及びＮｂとすると、Ｎは、次式により求められる。
Ｎ＝ｍａｘ（Ｎａ，Ｎｂ） （２）
式（１）の閾値Ｔは、Ｎが大きいほど小さくなり、Ｎが小さいほど大きくなる。したがって、隣接画素ペアの各画素が属する領域が小さいうちは、閾値Ｔを大きく設定して、画素グループのマージを促進することができる。一方、隣接画素ペアのいずれかの画素が属する領域が大きくなると、閾値Ｔを小さく設定して、マージの判定基準をより厳しくすることができる。
図８は、領域分割処理の例を示している。距離画像８０１に対する領域分割処理の初期段階において、マージ結果８０２が示すように、少数の画素同士がマージされて、多数の小領域が生成される。次に、領域分割処理がある程度進行すると、マージ結果８０３が示すように、画素グループ同士がマージされて、より大きな領域が生成される。そして、最終的には、マージ結果８０４が示すように、距離画像８０１は、左手の手領域８１１及び右手の手領域８１２を含む、複数の領域に分割される。
図９は、図６のステップ６０５における手らしさの判定を省略した場合の領域分割処理の例を示している。この場合、距離画像９０１に対する領域分割処理の初期段階において、マージ結果９０２が示すように、手領域及び背景領域それぞれの内部で、少数の画素同士がマージされて、多数の小領域が生成される。
次に、領域分割処理がある程度進行すると、マージ結果９０３が示すように、画素グループ同士がマージされて、より大きな領域が生成される。しかし、手と背景の物体との距離が近い場合、領域分割処理がさらに進行すると、マージ結果９０４が示すように、手領域と背景領域とがマージされて、１つの領域に統合されてしまう。
ステップ６０４の局所的特徴に基づく判定のみでは、このようなマージ結果が生成される可能性が高くなる。そこで、図６の領域分割処理では、ステップ６０５の大局的特徴に基づく判定が追加されている。
図１０は、図６のステップ６０５における手らしさの判定処理の例を示すフローチャートである。図９に示したように、初期段階においては手領域及び背景領域それぞれの内部で画素グループ同士がマージされていくため、２つの画素グループをマージした領域の大きさが所定の大きさよりも小さい場合は、マージ後の領域は無条件で手らしいと判定される。一方、マージ後の領域の大きさが所定の大きさ以上である場合は、指標３３３に基づいて手らしさが判定される。
まず、判定部３２２は、隣接画素ペアのそれぞれの画素が属する画素グループの画素数を閾値Ｍと比較する（ステップ１００１）。いずれの画素グループの画素数も閾値Ｍ以上である場合（ステップ１００１，ＹＥＳ）、判定部３２２は、２つの画素グループをマージした領域の手らしさを示す指標３３３を計算する（ステップ１００２）。そして、判定部３２２は、指標３３３がマージ条件を満たすか否かをチェックする（ステップ１００３）。
指標３３３がマージ条件を満たす場合（ステップ１００３，ＹＥＳ）、判定部３２２は、マージ後の領域は手らしいと判定する（ステップ１００４）。一方、指標３３３がマージ条件を満たさない場合（ステップ１００３，ＮＯ）、判定部３２２は、マージ後の領域は手らしくないと判定する（ステップ１００５）。
また、いずれかの画素グループの画素数が閾値Ｍよりも小さい場合（ステップ１００１，ＮＯ）、判定部３２２は、マージ後の領域は手らしいと判定する（ステップ１００４）。
ステップ１００２において、判定部３２２は、例えば、以下のような指標３３３を計算する。
（ａ）領域の平面性を示す指標
領域の平面性は、領域内の画素が表す複数の点を通る曲面が平面に近いか否かを表す。３次元空間内で、手の表面は大まかには同一平面上にあるが、手の表面と物体表面とは同一平面上にないことを利用すれば、手領域と背景の物体の物体領域とを分離することが可能になる。
（ｂ）領域の輪郭形状を示す指標
領域の輪郭形状は、領域の外周上の画素が表す複数の点を通る輪郭線の形状を表す。手領域の輪郭線は、ある程度の丸みを帯びた曲線であることが多いため、輪郭形状の直線性が高過ぎる場合は、手らしくないと判定することができる。
（ｃ）マージ前後の領域における手の特徴の有無を示す指標
領域の手の特徴は、指先のような手固有の輪郭線の形状を表す。マージ前のいずれかの領域の輪郭線が手の特徴を表しており、マージ後の領域の輪郭線が手の特徴を表していない場合、マージ後の領域は手らしくないと判定することができる。
判定部３２２は、上記（ａ）〜（ｃ）のいずれかの指標を単独で用いて手らしさを判定してもよく、２つ以上の指標を組み合わせて手らしさを判定してもよい。
領域の平面性に基づいて手らしさを判定する場合、判定部３２２は、例えば、マージ後の画素グループに含まれる画素が表す３次元空間内の点の位置関係に基づいて、マージ後の領域から平面を検出する。この場合、画素グループ内の全画素が表す点のうち、平面から所定距離内に存在する点の割合を、平面性を示す指標３３３として用いることができる。そして、判定部３２２は、ステップ１００３において、指標３３３が示す割合が所定値以上である場合、マージ条件を満たすと判定し、指標３３３が示す割合が所定値よりも小さい場合、マージ条件を満たさないと判定する。
領域から平面を検出する方法としては、Random Sample Consensus（ＲＡＮＳＡＣ）に基づく平面検出方法（非特許文献２）、３次元ハフ変換に基づく平面検出方法（非特許文献３）、ラベリングに基づく平面検出方法（非特許文献４）等を用いることができる。
ＲＡＮＳＡＣに基づく平面検出方法では、画素グループ内の画素が表すＰ個の点の中から３点がランダムに選択され、３点を通る平面の方程式が計算される。そして、Ｐ個の点のうち、平面から所定距離内に存在する点の個数がカウントされる。このような平面の計算と点のカウントとを繰り返し、カウントされた点の個数が最も多い平面の方程式が、検出結果として採用される。
領域の輪郭形状に基づいて手らしさを判定する場合、判定部３２２は、例えば、マージ後の画素グループに含まれる画素が表す３次元空間内の点のうち、輪郭線上の点の位置関係に基づいて、輪郭線から直線を検出する。輪郭線から直線を検出する方法としては、ハフ変換等を用いることができる。
輪郭形状を示す指標３３３としては、検出された直線の長さ又は本数を用いることができる。直線の長さを指標３３３として用いる場合、判定部３２２は、ステップ１００３において、指標３３３が示す長さが所定値よりも短ければ、マージ条件を満たすと判定し、指標３３３が示す長さが所定値以上であれば、マージ条件を満たさないと判定する。直線の本数を指標３３３として用いる場合、判定部３２２は、指標３３３が示す本数が所定値よりも少なければ、マージ条件を満たすと判定し、指標３３３が示す本数が所定値以上であれば、マージ条件を満たさないと判定する。
また、判定部３２２は、輪郭線を複数の線分に分割し、それぞれの線分に対して直線らしさを評価してもよく、最小二乗法等を用いて各線分の直線らしさを評価してもよい。
図１１は、直線を含む輪郭形状の例を示している。領域１１０１の輪郭形状は丸みを帯びているが、領域１１０２の輪郭形状は直線性が高い。このため、領域１１０１と領域１１０２をマージすると、マージ後の輪郭形状は直線性が高くなり、手らしくないと判定される。
マージ前後の領域における手の特徴の有無に基づいて手らしさを判定する場合、判定部３２２は、例えば、マージ前後の各画素グループに含まれる画素が表す輪郭線上の点の位置関係に基づいて、輪郭線から手の特徴を検出する。手の特徴としては、例えば、指先の形状を用いることができ、指標３３３としては、マージ前後の各領域における手の特徴の有無を用いることができる。輪郭線から指先の形状を検出する方法としては、非特許文献５、非特許文献６等の指先検出方法を用いることができる。
そして、判定部３２２は、ステップ１００３において、マージ後の領域が手の特徴を有する場合、マージ条件を満たすと判定し、マージ前の領域が手の特徴を有し、マージ後の領域が手の特徴を有していない場合、マージ条件を満たさないと判定する。
図１２は、指先を含む輪郭形状の例を示している。領域１２０１の輪郭形状は指先の形状を含んでいるが、領域１２０１と領域１２０２をマージすると、マージ後の輪郭形状は指先の形状を含まなくなる。このため、マージ後の領域は手らしくないと判定される。
図４のステップ４０４において、選択部１１３は、領域分割によって生成された複数の領域のうち、例えば、以下のような条件を満たす領域を、手領域として選択する。
（ｄ）画素グループの画素数Ｑが、所定範囲内（Ｑｍｉｎ＜Ｑ＜Ｑｍａｘ）である。
（ｅ）画素グループ内の画素間の距離の平均値が、所定範囲内である。
（ｆ）領域が距離画像の下端に接している。
（ｇ）領域がステップ１００３で用いたマージ条件を満たす。
上記（ｆ）の条件を用いる理由は、ＨＭＤ装置の場合、ユーザの頭部に装着された距離画像センサ３０２とユーザの手との位置関係から、距離画像１２１の下端から上端へ向かって手が伸びていることが多いためである。図８の例では、距離画像８０１の下端に接している手領域８１１及び手領域８１２が選択される。
また、上記（ｇ）の条件を用いる理由は、図１０のステップ１００１において、マージ前の画素グループの画素数が閾値Ｍよりも小さい場合、ステップ１００３の判定がスキップされるためである。
選択部１１３は、上記（ｄ）〜（ｇ）のいずれかの条件を単独で用いて手領域を選択してもよく、２つ以上の条件を組み合わせて手領域を選択してもよい。
図１の領域抽出装置１０１及び図３のＨＭＤ装置の構成は一例に過ぎず、領域抽出装置１０１及びＨＭＤ装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３のＨＭＤ装置において、映像情報３３１を用いない場合、撮像装置３０１及び取得部３１１を省略することができる。
図２、図４、図６、図９、及び図１０のフローチャートは一例に過ぎず、領域抽出装置１０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図４の領域抽出処理において、距離画像１２１のノイズが少ない場合、ステップ４０２の処理を省略することができる。ステップ４０４において、選択部１１３は、上記（ｄ）〜（ｇ）以外の条件を用いて手領域を選択してもよい。
図１０の手らしさの判定処理のステップ１００３において、判定部３２２は、上記（ａ）〜（ｃ）以外の指標を用いて手らしさを判定してもよい。
図５の平滑化フィルタ、図７の距離画像７０１、図８の距離画像８０１、図９の距離画像９０１、図１１の領域１１０１、領域１１０２、図１２の領域１２０１、及び領域１２０２は一例に過ぎず、別の平滑化フィルタ、距離画像等を用いてもよい。
領域抽出装置１０１の抽出対象は、ユーザが手に持っているペン又は棒のように、手以外の所定の物体であってもよい。この場合、領域抽出装置１０１は、手領域の代わりに所定の物体領域を抽出する。また、領域抽出装置１０１は、距離画像から抽出した領域に基づいて手又は物体の動きを認識することで、ＨＭＤ装置に対する特定の操作が行われたことを検出してもよく、他の画像処理を行ってもよい。
図１及び図３の領域抽出装置１０１は、例えば、図１３に示すような情報処理装置（コンピュータ）を用いて実現可能である。図１３の情報処理装置は、Central Processing Unit（ＣＰＵ）１３０１、メモリ１３０２、補助記憶装置１３０３、媒体駆動装置１３０４、及びネットワーク接続装置１３０５を備える。これらの構成要素はバス１３０６により互いに接続されている。
メモリ１３０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１３０２は、図１及び図３の記憶部１１１として用いることができる。
ＣＰＵ１３０１（プロセッサ）は、例えば、メモリ１３０２を利用してプログラムを実行することにより、図１及び図３の領域分割部１１２及び選択部１１３として動作する。ＣＰＵ１３０１は、プログラムを実行することにより、取得部３１１及び取得部３１２としても動作する。
補助記憶装置１３０３は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１３０３は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１３０３にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。補助記憶装置１３０３は、図１及び図３の記憶部１１１として用いることができる。
媒体駆動装置１３０４は、可搬型記録媒体１３０７を駆動し、その記録内容にアクセスする。可搬型記録媒体１３０７は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１３０７は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。ユーザは、この可搬型記録媒体１３０７にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１３０２、補助記憶装置１３０３、又は可搬型記録媒体１３０７のような、物理的な（非一時的な）記録媒体である。
ネットワーク接続装置１３０５は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１３０５を介して受け取り、それらをメモリ１３０２にロードして使用することができる。
なお、情報処理装置が図１３のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、他の装置との通信を行う必要がない場合は、ネットワーク接続装置１３０５を省略してもよく、可搬型記録媒体１３０７を利用しない場合は、媒体駆動装置１３０４を省略してもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図１乃至図１３を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
距離画像を記憶する記憶部と、
前記距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージして前記第３画素グループが表す第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定することで、前記距離画像を複数の領域に分割する領域分割部と、
前記複数の領域の中から所定の条件を満たす領域を選択する選択部と、
を備えることを特徴とする領域抽出装置。
（付記２）
前記領域分割部は、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す曲面の平面性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記１記載の領域抽出装置。
（付記３）
前記領域分割部は、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す前記第３領域の輪郭線の形状に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記１又は２記載の領域抽出装置。
（付記４）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記領域分割部は、前記輪郭線の直線性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記３記載の領域抽出装置。
（付記５）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記領域分割部は、前記第１領域の輪郭線の形状が前記手の特徴を表しており、前記第３領域の前記輪郭線の形状が前記手の特徴を表していない場合、前記第１領域と前記第２領域とをマージしないと決定することを特徴とする付記３記載の領域抽出装置。
（付記６）
前記選択部は、前記複数の領域のうち前記距離画像の下端に接している領域を、前記所定の条件を満たす前記領域として選択することを特徴とする付記１乃至５のいずれか１項に記載の領域抽出装置。
（付記７）
距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージして前記第３画素グループが表す第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定することで、前記距離画像を複数の領域に分割し、
前記複数の領域の中から所定の条件を満たす領域を選択する、
処理をコンピュータに実行させる領域抽出プログラム。
（付記８）
前記コンピュータは、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す曲面の平面性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記７記載の領域抽出プログラム。
（付記９）
前記コンピュータは、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す前記第３領域の輪郭線の形状に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記７又は８記載の領域抽出プログラム。
（付記１０）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記コンピュータは、前記輪郭線の直線性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記９記載の領域抽出プログラム。
（付記１１）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記コンピュータは、前記第１領域の輪郭線の形状が前記手の特徴を表しており、前記第３領域の前記輪郭線の形状が前記手の特徴を表していない場合、前記第１領域と前記第２領域とをマージしないと決定することを特徴とする付記９記載の領域抽出プログラム。
（付記１２）
前記コンピュータは、前記複数の領域のうち前記距離画像の下端に接している領域を、前記所定の条件を満たす前記領域として選択することを特徴とする付記７乃至１１のいずれか１項に記載の領域抽出プログラム。
（付記１３）
距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージして前記第３画素グループが表す第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定することで、前記距離画像を複数の領域に分割し、
前記複数の領域の中から所定の条件を満たす領域を選択する、
処理をコンピュータが実行することを特徴とする領域抽出方法。
（付記１４）
前記コンピュータは、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す曲面の平面性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記７記載の領域抽出方法。
（付記１５）
前記コンピュータは、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す前記第３領域の輪郭線の形状に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記７又は８記載の領域抽出方法。
（付記１６）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記コンピュータは、前記輪郭線の直線性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記９記載の領域抽出方法。
（付記１７）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記コンピュータは、前記第１領域の輪郭線の形状が前記手の特徴を表しており、前記第３領域の前記輪郭線の形状が前記手の特徴を表していない場合、前記第１領域と前記第２領域とをマージしないと決定することを特徴とする付記９記載の領域抽出方法。
（付記１８）
前記コンピュータは、前記複数の領域のうち前記距離画像の下端に接している領域を、前記所定の条件を満たす前記領域として選択することを特徴とする付記７乃至１１のいずれか１項に記載の領域抽出方法。
１０１ 領域抽出装置
１１１ 記憶部
１１２ 領域分割部
１１３ 選択部
１２１、７０１、８０１、９０１ 距離画像
３０１ 撮像装置
３０２ 距離画像センサ
３０３ 表示装置
３１１、３１２ 取得部
３２１ 分割部
３２２ 判定部
３３１ 映像情報
３３２ 画素グループ情報
３３３ 指標
７０２ 隣接画素ペア
８０２〜８０４、９０２〜９０４ マージ結果
８１１、８１２ 手領域
１１０１、１１０２、１２０１、１２０２ 領域
１３０１ ＣＰＵ
１３０２ メモリ
１３０３ 補助記憶装置
１３０４ 媒体駆動装置
１３０５ ネットワーク接続装置
１３０６ バス
１３０７ 可搬型記録媒体

Claims (8)

  1. 距離画像を記憶する記憶部と、
    前記距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージして前記第３画素グループが表す第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定することで、前記距離画像を複数の領域に分割する領域分割部と、
    前記複数の領域の中から所定の条件を満たす領域を選択する選択部と、
    を備えることを特徴とする領域抽出装置。
  2. 前記領域分割部は、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す曲面の平面性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする請求項１記載の領域抽出装置。
  3. 前記領域分割部は、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す前記第３領域の輪郭線の形状に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする請求項１又は２記載の領域抽出装置。
  4. 前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記領域分割部は、前記輪郭線の直線性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする請求項３記載の領域抽出装置。
  5. 前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記領域分割部は、前記第１領域の輪郭線の形状が前記手の特徴を表しており、前記第３領域の前記輪郭線の形状が前記手の特徴を表していない場合、前記第１領域と前記第２領域とをマージしないと決定することを特徴とする請求項３記載の領域抽出装置。
  6. 前記選択部は、前記複数の領域のうち前記距離画像の下端に接している領域を、前記所定の条件を満たす前記領域として選択することを特徴とする請求項１乃至５のいずれか１項に記載の領域抽出装置。
  7. 距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージして前記第３画素グループが表す第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定することで、前記距離画像を複数の領域に分割し、
    前記複数の領域の中から所定の条件を満たす領域を選択する、
    処理をコンピュータに実行させる領域抽出プログラム。
  8. 距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージして前記第３画素グループが表す第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定することで、前記距離画像を複数の領域に分割し、
    前記複数の領域の中から所定の条件を満たす領域を選択する、
    処理をコンピュータが実行することを特徴とする領域抽出方法。
JP2015232628A 2015-11-30 2015-11-30 領域抽出装置、領域抽出プログラム、及び領域抽出方法 Active JP6651814B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015232628A JP6651814B2 (ja) 2015-11-30 2015-11-30 領域抽出装置、領域抽出プログラム、及び領域抽出方法
US15/349,488 US10410051B2 (en) 2015-11-30 2016-11-11 Method of extracting a region in a distance image, storage medium, and head mounted display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015232628A JP6651814B2 (ja) 2015-11-30 2015-11-30 領域抽出装置、領域抽出プログラム、及び領域抽出方法

Publications (2)

Publication Number Publication Date
JP2017102500A true JP2017102500A (ja) 2017-06-08
JP6651814B2 JP6651814B2 (ja) 2020-02-19

Family

ID=58777013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232628A Active JP6651814B2 (ja) 2015-11-30 2015-11-30 領域抽出装置、領域抽出プログラム、及び領域抽出方法

Country Status (2)

Country Link
US (1) US10410051B2 (ja)
JP (1) JP6651814B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102312334B1 (ko) * 2015-02-17 2021-10-13 삼성전자주식회사 프린팅 정보를 생성하는 디바이스 및 프린팅 정보를 생성하는 방법
JP6841075B2 (ja) * 2017-02-17 2021-03-10 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP6942566B2 (ja) * 2017-08-30 2021-09-29 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US11978158B2 (en) * 2021-07-27 2024-05-07 Raytheon Company Determining minimum region for finding planar surfaces

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05165976A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> ３次元形状の準凸部分形状分割装置
JP2011128756A (ja) * 2009-12-16 2011-06-30 Fuji Heavy Ind Ltd 物体検出装置
JP2013074303A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2013117772A (ja) * 2011-12-01 2013-06-13 Secom Co Ltd 画像監視装置
US20140254919A1 (en) * 2013-03-06 2014-09-11 Samsung Electronics Co., Ltd. Device and method for image processing
JP2015501578A (ja) * 2011-10-14 2015-01-15 オムロン株式会社 射影空間監視のための方法および装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6170696B2 (ja) 2013-03-18 2017-07-26 スタンレー電気株式会社 画像処理装置及び画像処理方法
JP6425416B2 (ja) 2013-05-10 2018-11-21 国立大学法人電気通信大学 ユーザインタフェース装置およびユーザインタフェース制御プログラム
JP6425299B2 (ja) 2013-12-10 2018-11-21 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05165976A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> ３次元形状の準凸部分形状分割装置
JP2011128756A (ja) * 2009-12-16 2011-06-30 Fuji Heavy Ind Ltd 物体検出装置
JP2013074303A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2015501578A (ja) * 2011-10-14 2015-01-15 オムロン株式会社 射影空間監視のための方法および装置
JP2013117772A (ja) * 2011-12-01 2013-06-13 Secom Co Ltd 画像監視装置
US20140254919A1 (en) * 2013-03-06 2014-09-11 Samsung Electronics Co., Ltd. Device and method for image processing

Also Published As

Publication number Publication date
US10410051B2 (en) 2019-09-10
JP6651814B2 (ja) 2020-02-19
US20170154215A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
JP6195915B2 (ja) 画像計測装置
JP6471448B2 (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20140169660A1 (en) Stereo Correspondence Smoothness Tool
JP5549605B2 (ja) 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム
US20150278167A1 (en) Automatic measure of visual similarity between fonts
JP6651814B2 (ja) 領域抽出装置、領域抽出プログラム、及び領域抽出方法
KR20160048901A (ko) 증강 현실 환경에서 평면의 범위를 결정하기 위한 시스템 및 방법
WO2015149712A1 (zh) 一种指向交互方法、装置及系统
JP5765026B2 (ja) 画像処理装置及びプログラム
JP6326847B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2012181142A (ja) ステレオ画像処理装置及びステレオ画像処理方法
JP6880618B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20210350115A1 (en) Methods and apparatus for identifying surface features in three-dimensional images
JP5870011B2 (ja) 点群解析装置、点群解析方法及び点群解析プログラム
CN106575193B (zh) 用于深度摄影系统中的图像位置选择
JP7003617B2 (ja) 推定装置、推定方法、及び推定プログラム
JP6127958B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
CN111047635B (zh) 基于深度图像的平面触摸方法、装置与触摸系统
US10796435B2 (en) Image processing method and image processing apparatus
KR20130101332A (ko) 삼각형 메쉬로 표현된 3차원 물체를 ＤｏＳｕｒｆａｃｅ 표현 방법으로 변환하는 시스템 및 그 방법
JP4870721B2 (ja) 画像特徴抽出装置、画像特徴抽出方法、プログラム、及び記録媒体
JP4986934B2 (ja) 図形領域抽出装置、図形領域抽出方法、プログラム、及び記録媒体
JP6716897B2 (ja) 操作検出方法、操作検出装置、及び操作検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190802

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R150 Certificate of patent or registration of utility model

Ref document number: 6651814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150