JP2019164440A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】通常のカメラ１台でジェスチャ操作によるポインティングを行うこと。【解決手段】情報処理装置は、カメラによって操作者の画像を取得する画像取得部と、取得された前記画像からジェスチャ操作を示す検出対象を検出する検出部と、検出された前記検出対象からジェスチャ操作によるポインタの座標を計算する計算部と、前記検出対象の可動範囲に基づく第１の重みと、前記カメラと前記操作者との距離に基づく第２の重みとに基づいて、前記ポインタの座標を補正する補正部と、補正された前記ポインタの座標に対応するポインタを表示する表示部とを有する。【選択図】図３

Description

本発明は、情報処理装置及び情報処理方法に関する。

ユーザのジェスチャ操作を検出し、検出されたユーザのジェスチャ操作に応じて、ユーザにより操作されるポインタの操作方向及び操作量を算出し、算出した操作方向及び操作量に応じてポインタの表示形態を変化させて、プロジェクタに表示させる技術が知られている（例えば特許文献１）。

しかしながら、従来のジェスチャポインティング技術では、ジェスチャを認識するためにステレオカメラ又は赤外線カメラを使用する必要があった。ステレオカメラは、２台以上のカメラを使用して複数の異なる方向から同時に対象物を撮影することで、両眼視差の情報に基づいて立体的な空間把握を行う。また、赤外線カメラは赤外線センサを使用してカメラと対象物との距離を測定して立体的な空間把握を行う。

ステレオカメラでは、カメラを２台以上使用する必要があり、赤外線カメラでは赤外線センサを搭載する必要があるため、これらのデバイスを搭載することはコスト増加を招いていた。また、スマートフォンにはステレオカメラ又は赤外線センサは通常搭載されていないため、ジェスチャポインティング技術を使用することができなかった。

本発明は、上記の点に鑑みてなされたものであって、通常のカメラ１台でジェスチャ操作によるポインティングを行うことを目的とする。

そこで上記課題を解決するため、情報処理装置は、カメラによって操作者の画像を取得する画像取得部と、取得された前記画像からジェスチャ操作を示す検出対象を検出する検出部と、検出された前記検出対象からジェスチャ操作によるポインタの座標を計算する計算部と、前記検出対象の可動範囲に基づく第１の重みと、前記カメラと前記操作者との距離に基づく第２の重みとに基づいて、前記ポインタの座標を補正する補正部と、補正された前記ポインタの座標に対応するポインタを表示する表示部とを有する。

通常のカメラ１台でジェスチャ操作によるポインティングを行うことができる。

本発明の実施の形態におけるポインティング機能を説明するための図である。 本発明の実施の形態における情報処理装置１のハードウェア構成例を示す図である。 本発明の実施の形態における情報処理装置１の機能構成例を示す図である。 本発明の実施の形態におけるジェスチャによるポインティング機能を説明するための図である。 本発明の実施の形態における検出対象を動かした場合のポインタの動きを説明するための図である。 本発明の実施の形態における検出対象が複数ある場合のポインタを説明するための図である。 本発明の実施の形態における検出対象を顔とした場合を説明するための図である。 本発明の実施の形態における検出対象の可動範囲の補正を説明するための図（１）である。 本発明の実施の形態における検出対象の可動範囲の補正を説明するための図（２）である。 本発明の実施の形態における操作者距離の補正を説明するための図（１）である。 本発明の実施の形態における操作者距離の補正を説明するための図（２）である。 本発明の実施の形態におけるポインタを表示する手順の例を示すフローチャートである。 本発明の実施の形態における検出対象の中心座標の算出例を示す図である。 本発明の実施の形態における検出対象の可動範囲の補正に係る算出例を示す図である。 本発明の実施の形態における操作者距離の補正に係る算出例を示す図である。 本発明の実施の形態における表示部画像座標系変換に係る算出例を示す図である。

以下、図面に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態におけるポインティング機能を説明するための図である。図１に示されるように、本発明の実施の形態におけるポインティング機能は、表示部及びカメラを有する。カメラで検出された操作者のジェスチャ操作に基づいて、表示部にポインタを表示する。表示部は、液晶画面のような表示デバイスでもよいし、プロジェクタのような投影する表示デバイスでもよい。

ジェスチャ操作の検出対象は、単純に操作者の手又は顔としてもよいし、例えば手であっても手のひらを広げた状態のみ、顔でも片目を閉じた状態のみとしてもよい。すなわち、検出対象の操作者の特定の状態のみを検出の条件にすることで、操作者の意図しない動作がジェスチャとして検出されることを防ぐことができる。

図２は、本発明の実施の形態における情報処理装置１のハードウェア構成例を示す図である。図２に示されるように、情報処理装置１は、ＣＰＵ１０１（Central Processing Unit）、ＲＡＭ１０２（Random Access Memory）、ＲＯＭ１０３（Read Only Memory）及びストレージ１０４を有し、カメラ１０５及びディスプレイ１０６と接続されている。カメラ１０５及びディスプレイ１０６は、情報処理装置１に組み込まれていてもよいし、外部装置であってもよい。

ＣＰＵ１０１は、プロセッサ及び周辺回路から構成され、情報処理装置１全体を制御する。ＲＯＭ１０３は、ＣＰＵ１０１で実行されるプログラム及び使用されるデータを格納する不揮発性の記憶装置である。ＲＡＭ１０２は、ＣＰＵ１０１で実行されるプログラムが制御を行うときのワークエリアとして使用される記憶装置である。ストレージ１０４は、ＣＰＵ１０１で実行されるプログラム及び使用されるデータを格納する補助記憶装置である。ストレージ１０４は、例えば、ハードディスクドライブであってもよいし、フラッシュメモリ等で構成される補助記憶装置であってもよい。

カメラ１０５は、操作者を撮影して画像又は動画を取得して、情報処理装置１に出力する。ディスプレイ１０６は、情報処理装置１から出力される画像又は動画を液晶画面等に表示する。

図３は、本発明の実施の形態における情報処理装置１の機能構成例を示す図である。図３に示されるように、情報処理装置１は、画像取得部１１、画像検出部１２、座標演算部１３、表示制御部１４、情報読み出し部１５及び情報記憶部１６を有する。

画像取得部１１は、カメラ１０５で撮影された画像を取得し、画像検出部１２に送信する。画像検出部１２は、取得された画像から、ジェスチャ操作の検出対象である手又は顔等を検出する。座標演算部１３は、検出された検出対象の座標に対して、検出対象可動範囲補正及び操作者距離補正を行って、表示するポインタの座標を補正して算出する。補正の詳細は後述する。

情報記憶部１６は、ディスプレイ１０６に表示を行うプレゼンテーションのデータ等が記憶されている。情報読み出し部１５は、当該データを読み出して表示制御部１４に出力する。表示制御部１４は、座標演算部１３によって算出されたポインタの座標と、情報読み出し部１５によって読み出された画像情報とに基づいて、ディスプレイ１０６に表示を行う。

図４は、本発明の実施の形態におけるジェスチャによるポインティング機能を説明するための図である。図４Ａから図４Ｄに示される処理のフローで、ジェスチャ機能によるポインティング機能を実現することができる。さらに後述する検出対象可能範囲補正及び操作者距離補正により、操作性を向上させることができる。図４に示される表示部は、表示制御部１４によりディスプレイ１０６に表示される画面である。また図４に示されるカメラは、画像取得部１１に画像を出力するカメラ１０５である。

図４Ａに示されるように、操作者は、表示部に対面してジェスチャ操作を行う。カメラは、ジェスチャ操作を撮影する。

図４Ｂに示されるように、情報処理装置１は、カメラで撮影された画像から、手又は顔等の検出対象を検出し、検出対象の中心座標にポインタを配置する。画像検出部１２が検出を行ってもよいし、座標演算部１３が中心座標を算出してもよい。

図４Ｃに示されるように、情報処理装置１は、ポインタを配置したポインタ画像を左右反転させる。操作者は、表示部に対面するため、左右反転させる処理が必要になる。

図４Ｄに示されるように、表示部にポインタ画像を表示する。

図５は、本発明の実施の形態における検出対象を動かした場合のポインタの動きを説明するための図である。図５Ａから図５Ｄに示される処理のフローで、ジェスチャ機能によるポインタを動かすことができる。

図５Ａに示されるように、操作者は、表示部に対面して右から左へ水平に手を動かすジェスチャ操作を行う。カメラは、ジェスチャ操作を撮影する。

図５Ｂに示されるように、情報処理装置１は、カメラで撮影された画像から、手又は顔等の検出対象の移動を検出する。

図５Ｃに示されるように、情報処理装置１は、検出された検出対象の移動に基づいて、ポインタを右から左へ水平に移動させる。

図５Ｄに示されるように、表示部に右から左へ水平に移動するポインタ画像を表示する。

図６は、本発明の実施の形態における検出対象が複数ある場合のポインタを説明するための図である。図６Ａから図６Ｄに示される処理のフローで、検出対象が複数存在する場合のジェスチャ機能を説明する。検出対象が複数存在する場合は、例えば、操作者が複数人いる場合、一人の操作者が両手を使用して操作を行う場合が考えられる。図６に示される表示部及びカメラは図４と同様に、ディスプレイ１０６及びカメラ１０５に対応する。

図６Ａに示されるように、操作者１及び操作者２は、表示部に対面してジェスチャ操作を行う。カメラは、ジェスチャ操作を撮影する。

図６Ｂに示されるように、情報処理装置１は、カメラで撮影された画像から、操作者１及び操作者２の検出対象を検出する。

図６Ｃに示されるように、情報処理装置１は、検出された検出対象に基づいて、例えば、操作者１に対応するポインタ１と操作者２に対応するポインタ２を異なる色で表示する。

図６Ｄに示されるように、表示部はポインタ１及びポインタ２を含む画像を表示する。ポインタ１及びポインタ２を異なる色で表示することで、操作者１又は操作者２は、自分のポインタがいずれであるか把握することができる。

図７は、本発明の実施の形態における検出対象を顔とした場合を説明するための図である。図７Ａから図７Ｄに示される処理のフローで、スマートフォンにおけるジェスチャ機能によるポインティング機能を実現することができる。図７Ａから図７Ｄにおける処理は、図４Ａから図４Ｄにおける処理と同様である。

図８は、本発明の実施の形態における検出対象の可動範囲の補正を説明するための図（１）である。図８Ａから図８Ｄに示される処理のフローで、ジェスチャ機能によるポインタの検出対象の可動範囲を補正することができる。図４で説明したように、単純に検出対象の中心座標にポインタを表示する場合、検出対象の可動範囲でポインタを表示部の端から端まで動かすことが困難な場合がある。特に、検出対象を顔とした場合、顔の可動範囲が狭いため、検出対象の可動範囲が小さくなる。そこで、情報処理装置１は、ポインタの位置を検出対象の中心から補正することで、表示部全体をポインティングできるようにして操作性を向上させる。

図８Ａは、検出対象を顔とした場合の可動範囲を示す。図８Ｂは、検出対象が可動範囲の左端に位置する場合に撮影される画像と、補正後のポインタとを示す。図８Ｃに示されるように、補正なしのポインタ「×」と、補正ありのポインタ「○」の座標を算出する。図９において、検出対象の可動範囲の補正の方法を説明する。図８Ｄに示されるように、表示部に補正ありのポインタ「○」のポインタ画像を表示する。補正なしのポインタ「×」は、表示されなくてもよい。

図９は、本発明の実施の形態における検出対象の可動範囲の補正を説明するための図（２）である。図９において、検出点は、検出対象の中心座標に対応する。基準点は、撮影画像の中心を基準点にしてもよいし、検出対象を最初に検出した検出開始位置としてもよいし、検出対象の可動範囲の中心としてもよい。図９に示されるように、基準点と検出点とを結ぶ直線上において、基準点からの距離を、基準点と検出点間の距離を３倍にした位置をポインタの位置の座標として算出する。図９における重みの３倍は例であり、カメラ１０５の視野角、カメラと操作者の距離、検出対象の可動範囲に基づいて、適切な重みを算出することができる。

図１０は、本発明の実施の形態における操作者距離の補正を説明するための図（１）である。図１０Ａから図１０Ｄに示される処理のフローで、操作者がカメラから離れた場合のジェスチャ機能によるポインタの検出対象可動範囲を補正することができる。図８及び図９で説明したように、検出対象の可動範囲を補正した場合であっても、操作者がカメラから離れると、カメラから撮影される操作者の画像が小さくなるため、検出対象の可動範囲でポインタを表示部の端から端まで動かすことが困難な場合がある。そこで、情報処理装置１は、ポインタの位置を操作者がカメラから離れた場合に補正することで、表示部全体をポインティングできるようにして操作性を向上させる。

図１０Ａは、操作者がカメラから離れた場合の検出対象を顔とした場合の可動範囲を示す。図１０Ｂは、検出対象が可動範囲の左端に位置する場合に撮影される画像と、補正後のポインタとを示す。図１０Ｃに示されるように、検出対象の可動範囲補正のみを行い操作者距離の補正は行っていない補正なしのポインタ「×」と、さらに操作者距離の補正を行った補正ありのポインタ「○」の座標を算出する。図１１において、操作者距離の補正の方法を説明する。図１０Ｄに示されるように、表示部に補正ありのポインタ「○」のポインタ画像を表示する。補正なしのポインタ「×」は、表示されなくてもよい。

図１１は、本発明の実施の形態における操作者距離の補正を説明するための図（２）である。

図８及び図９で説明した可動範囲補正後の可動範囲補正点に、重みを乗じた点をポインタ位置とする。すなわち、図１１に示されるように、基準点と可動範囲補正点とを結ぶ直線上において、基準点からの距離を、基準点と可動範囲補正点間の距離に重みを乗じた位置をポインタの位置の座標として算出する。重みは、撮影画像における検出対象の大きさから求めることができる。予め基準となるカメラと操作者との距離における検出対象の大きさを保持しておき、当該大きさと撮影された検出対象の大きさとの割合の逆数が重みとなる。基準となる検出対象の大きさは、人の平均的なサイズの手又は顔等であってもよいし、操作者の検出対象の大きさに基づいてもよい。

図１２は、本発明の実施の形態におけるポインタを表示する手順の例を示すフローチャートである。

ステップＳ１において、情報処理装置１は、カメラ１０５で画像を撮影する。続いて、撮影された画像に基づいて、画像検出部１２は、検出対象を検出する（Ｓ２）。

ステップＳ３において、画像検出部１２は、検出対象が存在するか否かを判定する。検出対象が存在する場合（Ｓ３のＹｅｓ）、ステップＳ４に進み、検出対象が存在しない場合（Ｓ３のＮｏ）、ステップＳ１に進む。

ステップＳ４において、座標演算部１３は、撮影された画像に基づいて、検出対象の中心座標計算を行う。

図１３は、本発明の実施の形態における検出対象の中心座標の算出例を示す図である。検出中心座標を（ｘＤｃ，ｙＤｃ）とすると、図１３に示されるように、
ｘＤｃ＝ｘＤｌｔ＋ｗｉｄｔｈＤ／２
ｙＤｃ＝ｙＤｌｔ＋ｈｅｉｇｈｔＤ／２
上記式で座標演算部１３は、検出中心座標（ｘＤｃ，ｙＤｃ）を算出する。ここで、（ｘＤｌｔ，ｙＤｌｔ）は、検出対象の左上座標である。「ｗｉｄｔｈＤ」は、検出対象の検出幅である。「ｈｅｉｇｈｔＤ」は、検出対象の検出高さである。画像中心座標（０，０）は、撮影画像の中心としてもよいし、検出対象を最初に検出した検出開始位置としてもよいし、検出対象の可動範囲の中心としてもよい。

図１２に戻る。ステップＳ５において、座標演算部１３は、図８及び図９で説明した検出対象の可動範囲の補正を行う。

図１４は、本発明の実施の形態における検出対象の可動範囲の補正に係る算出例を示す図である。横方向の可動範囲補正重みをｃｏｒｒｅｃｔＭｈ＝ｗｉｄｔｈＩ／ｗｉｄｔｈＭ、縦方向の可動範囲補正重みをｃｏｒｒｅｃｔＭｖ＝ｈｅｉｇｈｔＩ／ｈｅｉｇｈｔＭ、可動範囲補正後の座標を（ｘＭ，ｙＭ）とすると、図１４に示されるように、
ｘＭ＝ｃｏｒｒｅｃｔＭｈ＊ｘＤｃ
ｙＭ＝ｃｏｒｒｅｃｔＭｖ＊ｙＤｃ
上記式で座標演算部１３は、稼働範囲補正後の座標（ｘＭ，ｙＭ）を算出する。ここで、「ｗｉｄｔｈＩ」は、画像幅である。「ｈｅｉｇｈｔＩ」は、画像高さである。「ｗｉｄｔｈＭ」は、画像上の横方向の可動範囲である。「ｈｅｉｇｈｔＭ」は、画像上の縦方向の稼働範囲である。なお、カメラと検出対象の距離は、基準の距離であるとする。基準の距離とは、図１０及び図１１で説明した操作者距離補正における重みが１である距離である。

図１２に戻る。ステップＳ６において、座標演算部１３は、図１０及び図１１で説明した操作者距離補正を行う。

図１５は、本発明の実施の形態における操作者距離の補正に係る算出例を示す図である。横方向の操作者距離補正重みをｃｏｒｒｅｃｔＤｈ＝ｗｉｄｔｈＳ／ｗｉｄｔｈＤ、縦方向の操作者距離補正重みをｃｏｒｒｅｃｔＤｖ＝ｈｅｉｇｈｔＳ／ｈｅｉｇｈｔＤ、可動範囲補正後の座標を（ｘＰｉ，ｙＰｉ）とすると、図１５に示されるように、
ｘＰｉ＝ｃｏｒｒｅｃｔＤｈ＊ｘＭ
ｙＰｉ＝ｃｏｒｒｅｃｔＤｖ＊ｙＭ
上記式で座標演算部１３は、操作者距離の補正後の座標（ｘＰｉ，ｙＰｉ）を算出する。ここで、「ｗｉｄｔｈＤ」は、検出対象の検出幅である。「ｈｅｉｇｈｔＤ」は、検出対象の検出高さである。検出幅及び検出高さは、実際の距離Ｆで撮影される検出対象に対応する。「ｗｉｄｔｈＳ」は、検出対象の基準幅である。「ｈｅｉｇｈｔＳ」は、検出対象の基準高さである。基準幅及び基準高さは、操作者距離の補正における重みが１である基準の距離で撮影される検出対象に対応する。

図１２に戻る。ステップＳ７において、座標演算部１３は、カメラ１０５で撮影された画像における座標系から、表示部における座標系に変換を行う。

図１６は、本発明の実施の形態における表示部画像座標系変換に係る算出例を示す図である。カメラ１０５で撮影された画像幅を「ｗｉｄｔｈＩ」、画像高さを「ｈｅｉｇｈｔＩ」、表示部幅を「ｗｉｄｔｈＤｉｓｐ」、表示部高さを「ｈｅｉｇｈｔＤｉｓｐ」、カメラ１０５で撮影された画像におけるポインタ座標（ｘＰｉ，ｙＰｉ）とすると、図１６に示されるように、
ｘＰｄｉｓｐ＝ｘＰｉ＊ｗｉｄｔｈＤｉｓｐ／ｗｉｄｔｈＩ
ｙＰｄｉｓｐ＝ｙＰｉ＊ｈｅｉｇｈｔＤｉｓｐ／ｈｅｉｇｈｔＩ
上記式で、座標演算部１３は、表示部のポインタ座標（ｘＰｄｉｓｐ，ｙＰｄｉｓｐ）を算出する。

図１２に戻る。ステップＳ８において、表示制御部１４は、算出されたポインタ座標（ｘＰｄｉｓｐ，ｙＰｄｉｓｐ）に基づいて、表示部にポインタを表示する。

上述のように、本発明の実施の形態によれば、情報処理装置１は、通常のカメラ１台によって撮影された画像から、ジェスチャ操作を行う検出対象を検出し、検出対象の中心座標を算出することができる。さらに、情報処理装置１は、表示部におけるポインタ座標を、検出対象の可動範囲に基づいて補正することで、広範囲の表示部に対して容易にポインティングすることが可能となり、ジェスチャによるポインティングの操作性を向上させることができる。さらに、情報処理装置１は、表示部におけるポインタ座標を、カメラと操作者間の距離に基づいて補正することで、カメラと操作者間の距離に影響されることなく、ジェスチャによるポインティングの操作性を向上させることができる。

すなわち、通常のカメラ１台でジェスチャ操作によるポインティングを行うことができる。

なお、本発明の実施の形態において、画像検出部１２は、検出部の一例である。座標演算部１３は、算出部又は補正部の一例である。表示制御部１４は、表示部の一例である。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＨＤＤ
１０４ ストレージ
１０５ カメラ
１０６ ディスプレイ
１１ 画像取得部
１２ 画像検出部
１３ 座標演算部
１４ 表示制御部
１５ 情報読み出し部
１６ 情報記憶部

特開２０１５−１３５５７２号公報

Claims (8)

1. カメラによって操作者の画像を取得する画像取得部と、
   取得された前記画像からジェスチャ操作を示す検出対象を検出する検出部と、
   検出された前記検出対象からジェスチャ操作によるポインタの座標を算出する算出部と、
   前記検出対象の可動範囲に基づく第１の重みと、前記カメラと前記操作者との距離に基づく第２の重みとに基づいて、前記ポインタの座標を補正する補正部と、
   補正された前記ポインタの座標に対応するポインタを表示する表示部とを有する情報処理装置。
2. 前記第１の重みは、前記画像の幅を前記検出対象の可動範囲の幅で除した値、又は前記画像の高さを前記検出対象の可動範囲の高さで除した値を含む請求項１記載の情報処理装置。
3. 前記検出対象の可動範囲の中心を基準点として、前記基準点の座標と前記ポインタの座標とを結ぶ直線上において、前記基準点の座標から前記基準点の座標と前記ポインタの座標との間の距離に前記第１の重みを乗じた距離を有する座標に基づいて、前記ポインタの座標を補正する請求項２記載の情報処理装置。
4. 前記第２の重みは、前記画像が取得された第１の距離における検出対象の幅で、基準とする第２の距離において取得された画像における検出対象の幅を除した値、又は前記第１の距離における検出対象の高さで、前記第２の距離における検出対象の高さを除した値を含む請求項３記載の情報処理装置。
5. 前記基準点の座標と前記ポインタの座標とを結ぶ直線上において、前記基準点の座標から前記基準点の座標と前記ポインタの座標との間の距離に前記第１の重み及び前記第２の重みを乗じた距離を有する座標に基づいて、前記ポインタの座標を補正する請求項４記載の情報処理装置。
6. 前記検出対象が複数である場合、検出対象ごとに対応するポインタの色を異なる色で表示する請求項５記載の情報処理装置。
7. 前記操作者の特定の状態のみを、前記検出対象とする請求項５記載の情報処理装置。
8. カメラによって操作者の画像を取得する画像取得手順と、
   取得された前記画像からジェスチャ操作を示す検出対象を検出する検出手順と、
   検出された前記検出対象からジェスチャ操作によるポインタの座標を計算する計算手順と、
   前記検出対象の可動範囲に基づく第１の重みと、前記カメラと前記操作者との距離に基づく第２の重みとに基づいて、前記ポインタの座標を補正する補正手順と、
   補正された前記ポインタの座標に対応するポインタを表示する表示手順とを実行する情報処理方法。

Images