JP2023135920A - 制御装置および制御方法 - Google Patents

Abstract

【課題】ユーザの身体の一部の動きに応じて画像を処理する技術において、ユーザに違和感を与えにくい技術を提供する。【解決手段】制御装置１２において、基準点設定部３０は、ディスプレイ１４の前に位置するユーザの身体の第１部分、第２部分、および第３部分のそれぞれの空間座標を取得し、第１部分の空間座標と第２部分の空間座標との中間点を特定し、特定された中間点と第３部分の空間座標とを通る仮想直線が交差するディスプレイ１４上の点を基準点として設定する。機能実行部３２は、設定された基準点を基準として、第１部分と第２部分の動きに応じた処理をディスプレイ１４に表示された画像に対して実行する。【選択図】図１

Description

本開示は、制御装置および制御方法に関する。

表示面を有する電子機器を遠隔操作するための仮想タッチ装置が知られている（たとえば特許文献１参照）。

米国特許出願公開第２０１３／０３２１３４７号明細書

本発明者は、ディスプレイの前のユーザが空中で２つの指先を動かしたことを検出し、検出した動きに応じて画像を拡大、縮小、回転等させる技術において、ユーザが意図していない位置を中心として拡大等がなされると、ユーザに違和感を与える可能性があることを認識した。

本開示の目的は、ユーザの身体の一部の動きに応じて画像を処理する技術において、ユーザに違和感を与えにくい技術を提供することにある。

上記課題を解決するために、本開示のある態様の制御装置は、ディスプレイの前に位置するユーザの身体の第１部分、第２部分、および第３部分のそれぞれの空間座標を取得し、第１部分の空間座標と第２部分の空間座標との中間点を特定し、特定された中間点と第３部分の空間座標とを通る仮想直線が交差するディスプレイ上の点を基準点として設定する基準点設定部と、設定された基準点を基準として、第１部分と第２部分の動きに応じた処理をディスプレイに表示された画像に対して実行する機能実行部と、を備える。

本開示の別の態様は、制御方法である。この方法は、ディスプレイの前に位置するユーザの身体の第１部分、第２部分、および第３部分のそれぞれの空間座標を取得するステップと、第１部分の空間座標と第２部分の空間座標との中間点を特定し、特定された中間点と第３部分の空間座標とを通る仮想直線が交差するディスプレイ上の点を基準点として設定するステップと、設定された基準点を基準として、第１部分と第２部分の動きに応じた処理をディスプレイに表示された画像に対して実行するステップと、を備える。

本開示によれば、ユーザの身体の一部の動きに応じて画像を処理する技術において、ユーザに違和感を与えにくくできる。

実施の形態の表示システムのブロック図である。 図１の表示システムにユーザが操作を入力する状況を示す斜視図である。 ユーザが回転動作を行う例を示す図である。 図１の表示システムがユーザの２つの指先を認識した状況を示す図である。 図４に続く、ユーザが２つの指先を所定時間静止させた状況を示す図である。 ２人のユーザのそれぞれがマルチ操作を行う例を示す図である。 ユーザがマルチ操作を行い、別のユーザがシングル操作を行う例を示す図である。 図１の表示システムの処理を示すフローチャートである。 図８のＳ１４における１人のユーザに対する処理を示すフローチャートである。

以下、各図面に示される同一または同等の構成要素、部材、工程には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。

図１は、実施の形態の表示システム１のブロック図である。図２は、図１の表示システム１にユーザＵ１が操作を入力する状況を示す斜視図である。表示システム１は、センサ１０、制御装置１２、およびディスプレイ１４を備える。図２では、制御装置１２の図示を省略する。

表示システム１は、室内等に設置されてもよく、自動車などの車両に搭載されてもよく、用途は特に限定されない。ユーザＵ１がディスプレイ１４に触れず空中で指先を動かすことで、動きに応じた操作を制御装置１２に対して入力でき、制御装置１２は入力された操作に応じた処理を実行する。ユーザＵ１が空中で指先を動かす操作は、空中タッチ操作またはジェスチャー操作とも呼べる。

センサ１０は、例えば深度カメラであり、ディスプレイ１４の表示面の前に位置するユーザＵ１を撮像可能な位置に設置される。センサ１０は、ユーザＵ１を定期的に撮像し、撮像した時系列の距離画像を制御装置１２に出力する。撮像する頻度は、実験やシミュレーションにより適宜定めることができ、例えば、１秒間に複数回であってよい。距離画像は、画像内の各位置の空間座標の情報を含む。この空間座標は、センサ１０に固有の３次元直交座標系における座標である。

制御装置１２は、センサ１０から供給された時系列の距離画像に基づいて、ユーザＵ１の指先の動きを認識し、指先の動きに応じた操作入力を受け付け、その操作に応じてディスプレイ１４に表示される画像を制御する。

ディスプレイ１４は、制御装置１２の制御に従い画像を表示する。ディスプレイ１４は、例えば、室内設置用の数十インチ以上の画面サイズでもよいし、車載用のより小さい画面サイズでもよい。

ユーザは、１人以上であってよい。２人のユーザによる操作例は後述する。操作入力に利用できる指先の数は、１人のユーザについて、例えば１つまたは２つである。１つの指先による操作例も後述する。

図２に示すように、例えば、ユーザＵ１が矢印Ａ１の方向に右手の指先５０と左手の指先５２を動かし、２つの指先を近づけるピンチイン動作を行うと、制御装置１２は、ディスプレイ１４の画面上において基準点Ｐ５を中心として画像を縮小させる。指先５０の位置Ｐ１と指先５２の位置Ｐ２との中間点をＰ４として、基準点Ｐ５は、ユーザＵ１の一方の目５４の位置Ｐ３と中間点Ｐ４とを通る仮想直線が交差するディスプレイ１４の画面上の点である。制御装置１２は、基準点Ｐ５を示す画像をディスプレイ１４に表示させてもよいし、表示させなくてもよい。

また、ユーザが矢印Ａ１の反対方向に２つの指先を動かし、２つの指先を遠ざけるピンチアウト動作を行うと、制御装置１２は、画面上の基準点Ｐ５を中心として画像を拡大させる。

このように、ユーザＵ１の視線が２つの指先の中間点Ｐ４を通るときの画像上のユーザＵ１の視点を中心に画像の縮小または拡大を実行できるので、ユーザＵ１に違和感を与えにくくできる。これに対して、ユーザＵ１の視線が中間点Ｐ４を通るときの画像上のユーザＵ１の視点から大きく離れた位置を中心に画像が縮小または拡大される比較例では、ユーザＵ１の意図とは異なる縮小画像または拡大画像が得られる可能性があり、ユーザＵ１に違和感を与える可能性がある。

図３は、ユーザＵ１が回転動作を行う例を示す。図３では、表示システム１の３次元直交座標系のＸ軸、Ｙ軸、Ｚ軸を示す。ユーザＵ１が右手の指先５０と左手の指先５２を矢印Ａ２の方向に中間点Ｐ４の周りで回転させる回転動作、すなわち２つの指先をＹ軸に平行な軸の周りで回転させる回転動作を行うと、制御装置１２は、画面上の基準点Ｐ５を中心として、画面上のＹ軸に平行な軸の周りで画像を回転させる。

また、ユーザＵ１が右手の指先５０と左手の指先５２を矢印Ａ３の方向に中間点Ｐ４の周りで回転させる回転動作、すなわち２つの指先をＸ軸に平行な軸の周りで回転させる回転動作を行うと、制御装置１２は、画面上の基準点Ｐ５を中心として、画面上のＸ軸に平行な軸の周りで画像を回転させる。

図示しないが、ユーザＵ１が２つの指先を任意の仮想軸の周りで回転させる回転動作を行うと、制御装置１２は、画面上の基準点Ｐ５を中心として、画面上の当該仮想軸に平行な軸の周りで画像を回転させる。

よって、ユーザＵ１の視線が２つの指先の中間点Ｐ４を通るときの画像上のユーザＵ１の視点を中心に、画像の回転を実行できる。

１人のユーザの２つの指先を用いたピンチイン動作、ピンチアウト動作、および回転動作による操作をマルチ操作と呼ぶ。マルチ操作は、他の操作を含んでもよい。マルチ操作に用いられる２つの指先は、片手の任意の２つの指先であってもよく、例えば片手の親指と人差し指の指先であってもよい。

操作に利用する２つの指先５０と指先５２は一例であり、ユーザの身体の第１部分と第２部分であってよい。第１部分と第２部分は、個別に動かしてマルチ操作を実行できる部分であればよく、例えば、２つの手首、２つの握り拳、または２つの手のひらなどでもよい。また、目５４も一例であり、第１部分および第２部分とは異なるユーザの身体の第３部分であってよい。第３部分は、例えば、顔の一部分であってもよく、鼻、口、２つの目の中間点、または２つの耳の中間点などであってもよい。第３部分は、目に近いほど、ユーザの視線が中間点Ｐ４を通るときの画像上の視点に近い基準点Ｐ５を設定できる。実施の形態では、第１部分と第２部分は２つの指先であり、第３部分は目である一例について説明する。

図１に示すように、制御装置１２は、制御部２０および記憶部２２を備える。制御部２０は、画像取得部２４、座標演算部２６、判定部２８、基準点設定部３０、機能実行部３２、および表示出力部３４を有する。

制御部２０の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像取得部２４は、ディスプレイ１４の前に位置する１以上のユーザを撮像した時系列の距離画像をセンサ１０から取得し、取得したそれぞれの距離画像を画像認識することで、１以上のユーザの第１の指先、第２の指先、および目を検出する。指先と目の検出には公知の画像認識技術を利用できる。

画像取得部２４は、距離画像において所定距離内に位置する２つの目のうち一方を検出する。所定距離は、例えば数ｃｍであり、所定距離内に位置する２つの目は、同一ユーザの目であるとみなせる。この処理は、画像取得部２４が、それぞれのユーザの目を検出することに相当する。距離画像内に複数のユーザが存在する場合、複数の目が検出される。検出された目の数は、ディスプレイ１４の前のユーザの数を表す。

画像取得部２４は、検出した第１の指先、第２の指先、および目のそれぞれの空間座標を時系列に取得し、座標演算部２６に出力する。

座標演算部２６は、画像取得部２４から供給されたセンサ１０の座標系でのユーザの第１の指先、第２の指先、および目のそれぞれの空間座標と、記憶部２２に記憶された座標情報に含まれるセンサ１０の設置位置の空間座標およびセンサ１０の取り付け角度とに基づいて、表示システム１の３次元直交座標系でのユーザの第１の指先、第２の指先、および目のそれぞれの空間座標を時系列に演算する。座標演算部２６は、演算した空間座標を判定部２８に出力する。

判定部２８は、座標演算部２６から供給された空間座標と、記憶部２２に記憶されたペアリング情報とに基づいて、検出された１以上の目のそれぞれに関して、すなわち各ユーザに関して、受け付ける操作の種類を決定し、決定した情報を機能実行部３２に出力する。ペアリング情報は、以下に示す第１距離、第２距離、および所定時間を含む。

判定部２８は、検出された１以上の目のそれぞれに関して、目から第１距離の範囲に第１の指先と第２の指先が位置する場合、基準点設定部３０に基準点の設定を指示する。基準点の設定処理は後述する。

判定部２８は、検出された１以上の目のそれぞれに関して、目から第１距離の範囲に第１の指先と第２の指先が位置する場合、所定のマルチ操作条件が満たされれば、マルチ操作の受け付けを決定する。マルチ操作の受け付けを決定することは、目から第１距離の範囲に位置する第１の指先と第２の指先をペアリングすることに相当する。

マルチ操作条件は、第１の指先と第２の指先の距離が第２距離以下であり、かつ、第１の指先と第２の指先が所定時間以上にわたり静止していないことである。

第１距離は、例えば、数十ｃｍであってよく、４０ｃｍ～６０ｃｍの範囲の値であってもよく、５０ｃｍであってもよい。第２距離は、例えば、数十ｃｍであってよく、４０ｃｍ～６０ｃｍの範囲の値であってもよく、５０ｃｍであってもよい。第１距離と第２距離は、等しくてもよいし、異なってもよい。所定時間は、例えば、数秒であってよく、２秒であってもよい。第１距離、第２距離、および所定時間は、実験やシミュレーションにより適宜定めることができる。第１距離、第２距離、および所定時間は、ユーザが設定できてもよい。

判定部２８は、検出された１以上の目のそれぞれに関して、目から第１距離の範囲に第１の指先と第２の指先が位置するがマルチ操作条件が満たされない場合、または、目から第１距離の範囲に第１の指先と第２の指先のいずれか一方のみが位置する場合、シングル操作の受け付けを決定する。シングル操作は、１つまたは２つの指先のそれぞれに対応する画面上の操作点を用いた操作であり、その具体例は後述する。目から第１距離の範囲に第１の指先および第２の指先の一方のみが位置する場合、判定部２８は、目から第１距離の範囲に存在する指先の動きによるシングル操作を受け付ける。

判定部２８は、マルチ操作またはシングル操作の受け付けを決定すると、第１の指先の空間座標、第２の指先の空間座標、および記憶部２２に記憶されたコマンド情報に基づいて、第１の指先と第２の指先の動きに応じた処理を決定する。コマンド情報は、第１の指先と第２の指先の動きを所定の処理に関連付けた情報である。

判定部２８は、検出された１以上の目のそれぞれに関して、目から第１距離の範囲に第１の指先と第２の指先が位置しない場合、処理を実行しないことを決定する。この場合、ユーザの目が検出されたが、そのユーザの指先は検出されていない状況、すなわちそのユーザは指先を出しておらずジェスチャー操作を行おうとしていない状況が想定される。

基準点設定部３０は、判定部２８からの指示に従い、検出された１以上の目のそれぞれに関して、判定部２８から第１の指先、第２の指先、および目のそれぞれの空間座標を取得し、第１の指先の空間座標と第２の指先の空間座標との中間点を特定し、特定された中間点と目の空間座標とを通る仮想直線が交差するディスプレイ１４上の点を基準点として設定する。

基準点設定部３０は、記憶部２２に記憶された座標情報に含まれるディスプレイ１４の設置位置の空間座標に基づいて、基準点を設定する。基準点は、ディスプレイ１４の表示面上の二次元直交座標系における座標である。

基準点設定部３０は、設定した基準点の座標情報を基準点情報として記憶部２２に記憶させる。設定された基準点は、例えば、シングル操作の受け付けに切り替えられるまで維持される。

機能実行部３２は、判定部２８でマルチ操作の受け付けが決定された場合、そのユーザに関して、判定部２８で決定された処理の内容、および、記憶部２２に記憶された基準点情報に基づいて、設定された基準点を基準として、第１の指先と第２の指先の動きに応じた処理をディスプレイ１４に表示された画像に対して実行する。機能実行部３２は、操作に応じた処理が実行された画像データを生成し、表示出力部３４に供給する。

機能実行部３２は、第１の指先と第２の指先の動きに応じた処理として、第１の指先と第２の指先を近づけるピンチイン動作に応じて、基準点を中心として画像を縮小させる処理を実行する。機能実行部３２は、第１の指先と第２の指先の移動距離に応じた度合いで画像を縮小させる。

機能実行部３２は、第１の指先と第２の指先の動きに応じた処理として、第１の指先と第２の指先を遠ざけるピンチアウト動作に応じて、基準点を中心として画像を拡大させる処理を実行する。機能実行部３２は、第１の指先と第２の指先の移動距離に応じた度合いで画像を拡大させる。

機能実行部３２は、第１の指先と第２の指先の動きに応じた処理として、第１の指先と第２の指先を中間点の周りで回転させる回転動作に応じて、基準点を中心として画像を回転させる処理を実行する。回転させる画像は、画面内の一部の立体画像などの対象画像でもよい。機能実行部３２は、第１の指先と第２の指先を結ぶ仮想直線の回転角度に応じた角度だけ画像を回転させる。

機能実行部３２は、判定部２８でシングル操作の受け付けが決定された場合、そのユーザに関して、判定部２８で決定された処理の内容に基づいて、第１の指先の動きによる第１シングル操作と、第２の指先の動きによる第２シングル操作との少なくともいずれかに応じた処理を実行する。

機能実行部３２は、検出された目のそれぞれに関して、目から第１距離の範囲に第１の指先と第２の指先が位置しない場合、処理を実行しない。

表示出力部３４は、機能実行部３２から供給された画像データをディスプレイ１４に出力し、ディスプレイ１４に画像を表示させる。

次に、図４から図７を参照して様々な操作の例を示す。
図４は、図１の表示システム１がユーザＵ１の２つの指先を認識した状況を示す。２つの指先の距離は、第２距離以下であるとする。制御装置１２は、基準点Ｐ５を設定する。この状態では、制御装置１２は、マルチ操作を受け付け可能である。

図５は、図４に続く、ユーザＵ１が２つの指先を所定時間静止させた状況を示す。図４の状態で２つの指先が所定時間静止したことで、制御装置１２は、シングル操作の受け付けに切り替える。そのため、ユーザＵ１は、指先５０の位置Ｐ１の空間座標に対応する画面上の操作点Ｐ５ａと、指先５２の位置Ｐ２の空間座標に対応する画面上の操作点Ｐ５ｂとのそれぞれを用いたシングル操作を行える。

例えば、制御装置１２は、目の位置Ｐ３と指先５０の位置Ｐ１とを通る仮想直線が交差するディスプレイ１４上の点を操作点Ｐ５ａとして設定し、目の位置Ｐ３と指先５２の位置Ｐ２とを通る仮想直線が交差するディスプレイ１４上の点を操作点Ｐ５ｂとして設定してもよい。制御装置１２は、操作点Ｐ５ａと操作点Ｐ５ｂのそれぞれを示すカーソルなどの画像をディスプレイ１４に表示させてもよいし、表示させなくてもよい。

ユーザＵ１は、指先５０を空中で動かすことで操作点Ｐ５ａを画面内で動かすことができ、指先５２を空中で動かすことで操作点Ｐ５ｂを画面内で動かすことができ、操作点Ｐ５ａと操作点Ｐ５ｂを用いて、マルチ操作とは異なる公知の各種操作を実行できる。例えば、操作点Ｐ５ａと操作点Ｐ５ｂでディスプレイ１４に表示された対象物の画像を両側から挟み、その状態で操作点Ｐ５ａと操作点Ｐ５ｂを移動させることで対象物の画像を移動させることができる。

シングル操作を受け付けている図５の状態で、指先５０と指先５２を再び所定時間静止させると、図４の状態に戻り、制御装置１２はマルチ操作を受け付ける。よって、２つの指先を用いてマルチ操作とシングル操作を短時間で容易に切り替えでき、便利である。

また、図４に示す２つの指先の距離が第２距離以下である状態から、２つの指先の距離を第２距離より大きくした場合にも、制御装置１２は、シングル操作の受け付けを決定してもよい。２つの指先の距離を第２距離以下に小さくすれば、制御装置１２は、再びマルチ操作の受け付けを決定する。よって、マルチ操作とシングル操作を短時間で容易に切り替えできる。

次に、２人のユーザの場合の処理の具体例を説明する。
図６は、２人のユーザＵ１とユーザＵ２のそれぞれがマルチ操作を行う例を示す。ユーザＵ１の目の位置Ｐ３と指先の位置Ｐ１との距離ｄ１、および、目の位置Ｐ３と指先の位置Ｐ２との距離ｄ２は、それぞれ第１距離以下である。制御装置１２は、ユーザＵ１の目の位置Ｐ３から第１距離の範囲にあるユーザＵ１の２つの指先をペアリングし、これらの指先によるマルチ操作を受け付ける。

ユーザＵ２の目の位置Ｐ１３と指先の位置Ｐ１１との距離ｄ１１、および、目の位置Ｐ１３と指先の位置Ｐ１２との距離ｄ１２も、それぞれ第１距離以下である。制御装置１２は、ユーザＵ２の目の位置Ｐ１３から第１距離の範囲にあるユーザＵ２の２つの指先をペアリングし、これらの指先によるマルチ操作を受け付ける。制御装置１２は、ユーザＵ２に関して、指先の位置Ｐ１１と指先の位置Ｐ１２との中間点Ｐ１４を特定し、中間点Ｐ１４と目の位置Ｐ１３とを通る仮想直線が交差するディスプレイ１４上の点を基準点Ｐ１５として設定する。制御装置１２は、ユーザＵ２に関して、基準点Ｐ１５を中心として、２つの指先の動きに応じた処理を画像に対して実行する。

例えば、ディスプレイ１４が２画面表示している状態で、ユーザＵ１は一方の画像に対してマルチ操作を行い、ユーザＵ２は他方の画像に対してマルチ操作を行うことができ、利便性が高い。少なくとも一方のユーザは、片手の２つの指先を用いても同様にマルチ操作できる。

図７は、ユーザＵ１がマルチ操作を行い、別のユーザＵ２がシングル操作を行う例を示す。図６と同様に、制御装置１２は、ユーザＵ１の目の位置Ｐ３から第１距離の範囲にあるユーザＵ１の２つの指先をペアリングし、これらの指先によるマルチ操作を受け付ける。位置Ｐ３と、ユーザＵ２の右手の１つの指先の位置Ｐ１１との距離ｄ３は、第１距離より大きいため、制御装置１２は、位置Ｐ１１の指先を位置Ｐ２の指先とペアリングしない。

ユーザＵ２の目の位置Ｐ１３から第１距離の範囲にユーザＵ２の右手の１つの指先のみが存在するため、制御装置１２は、この指先を用いたシングル操作を受け付ける。ユーザＵ２は、指先の位置Ｐ１１の空間座標に対応する画面上の操作点Ｐ１５ａを用いたシングル操作を行える。ユーザＵ２は、右手の指先に替えて、左手の指先を用いてシングル操作を行ってもよい。

図示しないが、ユーザＵ１が１本の指を立て、ユーザＵ２が１本の指を立てた場合、制御装置１２は、これらの２つの指先をペアリングせず、それぞれのユーザのシングル操作を受け付ける。

図示しないが、例えば、一方のユーザＵ２が指を出さない場合、制御装置１２は、そのユーザＵ２の目を検出するが、ユーザＵ２に関して処理を実行しない。

次に、以上の構成による表示システム１の全体的な動作を説明する。図８は、図１の表示システム１の処理を示すフローチャートである。画像取得部２４は、目と指先が検出されたか判定し（Ｓ１０）、検出されなければ（Ｓ１０のＮ）、Ｓ１０に戻る。目と指先が検出された場合（Ｓ１０のＹ）、座標演算部２６は、目と指先の３次元座標を演算する（Ｓ１２）。判定部２８は、各ユーザに関して受け付ける操作の種類を決定し（Ｓ１４）、機能実行部３２は、各ユーザに関して操作に応じた処理を実行し（Ｓ１６）、処理を終了する。

なお、ユーザの数が複数の場合、機能実行部３２は、Ｓ１４で操作の種類が決定したユーザから順に、操作に応じた処理を実行してもよい。

図９は、図８のＳ１４における１人のユーザに対する処理を示すフローチャートである。複数のユーザが存在する場合、図８のＳ１４において、各ユーザに対して図９の処理が実行される。

判定部２８は、目から第１距離の範囲にある指先の数が「０」であれば（Ｓ２０の「０」）、処理を実行しないことを決定し（Ｓ３４）、処理を終了する。判定部２８は、目から第１距離の範囲にある指先の数が「１」であれば（Ｓ２０の「１」）、シングル操作の受け付けを決定し（Ｓ３２）、処理を終了する。

目から第１距離の範囲にある指先の数が「２」であり（Ｓ２０の「２」）、２本の指先の距離が第２距離以下であれば（Ｓ２２のＹ）、基準点設定部３０は、２本の指先の中間点の３次元座標を導出し（Ｓ２４）、中間点の３次元座標と目の３次元座標から、ディスプレイ１４上の基準点を設定する（Ｓ２６）。指先が所定時間以上、静止していなければ（Ｓ２８のＮ）、判定部２８は、マルチ操作の受け付けを決定し（Ｓ３０）、処理を終了する。

Ｓ２２において２本の指先の距離が第２距離以下でなければ（Ｓ２２のＮ）、Ｓ３２に移る。Ｓ２８において指先が所定時間以上、静止していれば（Ｓ２８のＹ）、Ｓ３２に移る。

本実施の形態によれば、ユーザの視線が２つの指先の中間点を通るときの画像上のユーザの視点を基準点として、画像の縮小、拡大、または回転等を実行できるので、ユーザに違和感を与えにくくできる。

以上、本開示について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、また、そうした変形例も本開示の範囲にあることは当業者に理解されるところである。

本開示の一態様に係る制御装置は、
ディスプレイの前に位置するユーザの身体の第１部分、第２部分、および第３部分のそれぞれの空間座標を取得し、前記第１部分の空間座標と前記第２部分の空間座標との中間点を特定し、特定された前記中間点と前記第３部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定する基準点設定部と、
設定された前記基準点を基準として、前記第１部分と前記第２部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行する機能実行部と、
を備える。

この態様によると、ユーザの視線が第１部分と第２部分の中間点を通るときの画像上の視点に近い位置を基準点として、画像に対して処理を実行できる。よって、ユーザに違和感を与えにくくできる。

前記第１部分は、前記ユーザの第１の指先であり、
前記第２部分は、前記ユーザの第２の指先であり、
前記第３部分は、前記ユーザの顔の一部分であってもよい。

この場合、２つの指先の動きに基づいて画像を容易に操作できる。また、第３部分がユーザの顔の一部分であるため、ユーザの視線が第１部分と第２部分の中間点を通るときの画像上の視点により近い位置を基準点にできる。よって、よりユーザに違和感を与えにくくできる。

前記第３部分は、前記ユーザの目であってもよい。

この場合、ユーザの視線が第１の指先と第２の指先の中間点を通るときの画像上の視点を基準点にできる。よって、さらにユーザに違和感を与えにくくできる。

前記制御装置は、１以上の前記ユーザを撮像した画像を取得し、取得した画像に基づいて、それぞれの前記ユーザの前記第３部分を検出する画像取得部をさらに備え、
前記基準点設定部は、検出された１以上の前記第３部分のそれぞれに関して、前記第３部分から第１距離の範囲に前記第１部分と前記第２部分が位置する場合、前記基準点を設定してもよい。

この場合、１以上のユーザのうち条件を満たすユーザのそれぞれに関して、基準点を設定できる。

前記機能実行部は、検出された１以上の前記第３部分のそれぞれに関して、前記第３部分から前記第１距離の範囲に前記第１部分と前記第２部分が位置する場合、所定のマルチ操作条件が満たされれば、前記基準点を基準として、前記第１部分と前記第２部分の動きに応じた処理を前記画像に対して実行してもよい。

この場合、１以上のユーザのうち条件を満たすユーザのそれぞれに関して、基準点を基準として画像に対する処理を実行できる。よって、複数のユーザによる操作にも対応できる。

前記機能実行部は、検出された１以上の前記第３部分のそれぞれに関して、前記第３部分から前記第１距離の範囲に前記第１部分と前記第２部分が位置するが前記マルチ操作条件が満たされない場合、または、前記第３部分から前記第１距離の範囲に前記第１部分と前記第２部分のいずれか一方のみが位置する場合、前記第１部分の動きに応じた処理と、前記第２部分の動きに応じた処理との少なくともいずれかを実行してもよい。

この場合、１以上のユーザのうち条件を満たすユーザのそれぞれに関して、第１部分の動きに応じた処理と、第２部分の動きに応じた処理との少なくともいずれかを実行できる。よって、複数のユーザによる様々な操作にも対応できる。

前記マルチ操作条件は、前記第１部分と前記第２部分の距離が第２距離以下であり、かつ、前記第１部分と前記第２部分が所定時間以上にわたり静止していないことでもよい。

この場合、ユーザは容易にマルチ操作条件を満たすことができる。

前記機能実行部は、前記第１部分と前記第２部分の動きに応じた処理として、
前記第１部分と前記第２部分を近づけるピンチイン動作に応じて、前記基準点を中心として前記画像を縮小させる処理と、
前記第１部分と前記第２部分を遠ざけるピンチアウト動作に応じて、前記基準点を中心として前記画像を拡大させる処理と、を実行してもよい。

この場合、第１部分と第２部分による動作に応じて、基準点を中心として画像の拡大または縮小を実行できる。

前記機能実行部は、前記第１部分と前記第２部分の動きに応じた処理として、前記第１部分と前記第２部分を前記中間点の周りで回転させる回転動作に応じて、前記基準点を中心として前記画像を回転させる処理を実行してもよい。

この場合、第１部分と第２部分による動作に応じて、基準点を中心として画像の回転を実行できる。

本開示の一態様に係る制御方法は、
ディスプレイの前に位置するユーザの身体の第１部分、第２部分、および第３部分のそれぞれの空間座標を取得するステップと、
前記第１部分の空間座標と前記第２部分の空間座標との中間点を特定し、特定された前記中間点と前記第３部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定するステップと、
設定された前記基準点を基準として、前記第１部分と前記第２部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行するステップと、
を備える。

この態様によると、ユーザに違和感を与えにくくできる。

１…表示システム、１０…センサ、１２…制御装置、１４…ディスプレイ、２０…制御部、２２…記憶部、２４…画像取得部、２６…座標演算部、２８…判定部、３０…基準点設定部、３２…機能実行部、３４…表示出力部、５０…指先、５２…指先、５４…目、Ｐ４…中間点、Ｐ５…基準点。

Claims (10)

1. ディスプレイの前に位置するユーザの身体の第１部分、第２部分、および第３部分のそれぞれの空間座標を取得し、前記第１部分の空間座標と前記第２部分の空間座標との中間点を特定し、特定された前記中間点と前記第３部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定する基準点設定部と、
   設定された前記基準点を基準として、前記第１部分と前記第２部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行する機能実行部と、
   を備える制御装置。
2. 前記第１部分は、前記ユーザの第１の指先であり、
   前記第２部分は、前記ユーザの第２の指先であり、
   前記第３部分は、前記ユーザの顔の一部分である、
   請求項１に記載の制御装置。
3. 前記第３部分は、前記ユーザの目である、
   請求項２に記載の制御装置。
4. １以上の前記ユーザを撮像した画像を取得し、取得した画像に基づいて、それぞれの前記ユーザの前記第３部分を検出する画像取得部をさらに備え、
   前記基準点設定部は、検出された１以上の前記第３部分のそれぞれに関して、前記第３部分から第１距離の範囲に前記第１部分と前記第２部分が位置する場合、前記基準点を設定する、
   請求項１から３のいずれかに記載の制御装置。
5. 前記機能実行部は、検出された１以上の前記第３部分のそれぞれに関して、前記第３部分から前記第１距離の範囲に前記第１部分と前記第２部分が位置する場合、所定のマルチ操作条件が満たされれば、前記基準点を基準として、前記第１部分と前記第２部分の動きに応じた処理を前記画像に対して実行する、
   請求項４に記載の制御装置。
6. 前記機能実行部は、検出された１以上の前記第３部分のそれぞれに関して、前記第３部分から前記第１距離の範囲に前記第１部分と前記第２部分が位置するが前記マルチ操作条件が満たされない場合、または、前記第３部分から前記第１距離の範囲に前記第１部分と前記第２部分のいずれか一方のみが位置する場合、前記第１部分の動きに応じた処理と、前記第２部分の動きに応じた処理との少なくともいずれかを実行する、
   請求項５に記載の制御装置。
7. 前記マルチ操作条件は、前記第１部分と前記第２部分の距離が第２距離以下であり、かつ、前記第１部分と前記第２部分が所定時間以上にわたり静止していないことである、
   請求項５または６に記載の制御装置。
8. 前記機能実行部は、前記第１部分と前記第２部分の動きに応じた処理として、
   前記第１部分と前記第２部分を近づけるピンチイン動作に応じて、前記基準点を中心として前記画像を縮小させる処理と、
   前記第１部分と前記第２部分を遠ざけるピンチアウト動作に応じて、前記基準点を中心として前記画像を拡大させる処理と、を実行する、
   請求項１から７のいずれかに記載の制御装置。
9. 前記機能実行部は、前記第１部分と前記第２部分の動きに応じた処理として、前記第１部分と前記第２部分を前記中間点の周りで回転させる回転動作に応じて、前記基準点を中心として前記画像を回転させる処理を実行する、
   請求項１から８のいずれかに記載の制御装置。
10. ディスプレイの前に位置するユーザの身体の第１部分、第２部分、および第３部分のそれぞれの空間座標を取得するステップと、
    前記第１部分の空間座標と前記第２部分の空間座標との中間点を特定し、特定された前記中間点と前記第３部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定するステップと、
    設定された前記基準点を基準として、前記第１部分と前記第２部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行するステップと、
    を備える制御方法。

Images