JP2019087136A - 画面表示制御方法および画面表示制御システム - Google Patents
画面表示制御方法および画面表示制御システム Download PDFInfo
- Publication number
- JP2019087136A JP2019087136A JP2017216380A JP2017216380A JP2019087136A JP 2019087136 A JP2019087136 A JP 2019087136A JP 2017216380 A JP2017216380 A JP 2017216380A JP 2017216380 A JP2017216380 A JP 2017216380A JP 2019087136 A JP2019087136 A JP 2019087136A
- Authority
- JP
- Japan
- Prior art keywords
- display
- operator
- pointer
- image
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
例えば、非特許文献1では、頭部に取り付けたセンサとカメラ画像を用いて指先の位置を追跡し、得られた指先の軌跡をヘッドマウントディスプレイ(HMD)に重畳表示することで指先軌跡の空中描画を実現するシステムを目指している。
この中で、頭部の姿勢の変化が補正された指先の軌跡を求めるために、カメラ画像を用いて空間位置合わせの処理を行っている。カメラ画像に対して局所特徴点(具体的にはSURFとして知られる特徴点)を抽出し、カメラ画像のフレーム間で局所特徴点の対応付けを行い、センサ情報から明らかな誤対応を除去した対応点から射影変換行列を算出している。
また、特許文献1のものは、オブジェクトが密集して表示されている場合に、手指で直接タッチパネルを操作するよりも小さいサイズの手画像を用いて操作することで誤操作を軽減しようとする点で、ディスプレイから離れた場所でポインタを操作するこの発明と目的および構成が異なる。
上記(2)および(3)も同様の作用効果を奏する。
≪システムの構成≫
図1は、この発明の実施の一形態である画面表示制御システムの構成を示すブロック図である。図1に示す画面表示制御システムは、ディスプレイ11、コンピュータ13、ウェアラブル端末15、キーボード17およびマウス19を含んで構成されている。ウェアラブル端末15はカメラ15cを有する。
ディスプレイ11は、矩形状の表示域、即ち画面の領域を有している。そして、コンピュータ13から画像表示信号を受け取って、受け取った画像表示信号に基づいて画像の表示を行う。
キーボード17およびマウス19は、操作者の操作に応じた信号をコンピュータ13へ送る。
ウェアラブル端末15からコンピュータ13へ映像データを送るのは、有線による通信でも構わないが、赤外線通信やBluetooth(登録商標)などの無線によるもの方が望ましい。ウェアラブル端末15は、メガネに一体化されているものでも構わないし、図2に示されるような、耳に掛けるイヤーフック型でも構わないが、操作者の目に近く、撮像方向が操作者の視線に近いのが望ましい。
コンピュータ13は、キーボード17およびマウス19から入力信号を受信し、受信した入力信号に基づいて予め定められた処理を行う。また、コンピュータ13は、キーボード17およびマウス19から受信した入力信号に応じて、あるいはその入力信号に基づいて実行された処理の結果に応じて、ディスプレイ11へ画像表示信号を送る。
さらに、コンピュータ13は、ウェアラブル端末15からの映像データを受信し、受信した映像データの各フレーム画像に対応するデータ、即ち各撮影画像に基づいて、ポインタ入力信号を生成する。ここで、ポインタ入力信号は、各撮影画像に映った発言者の手の部分をコンピュータ13が抽出する。そして、抽出された手の部分がマウス19による操作に対応した何らかの操作を指示していると判断した場合、コンピュータ13は、マウス19からの入力信号に対応する信号を生成する。これがポインタ入力信号である。
なお、ウェアラブル端末15がカメラ15cで撮影された映像データをコンピュータ13へ送信し、コンピュータ13が映像データの処理を行ってポインタ入力信号を生成すると述べたが、その処理の一部または全部をウェアラブル端末15の側で行ってもよい。即ち、ウェアラブル端末15がコンピュータを備え、コンピュータ13と協働して処理を行ってもよい。そのような態様もこの発明の範囲に含まれる。
コンピュータ13は、生成されたポインタ入力信号に基づいて、予め定められた処理を行う。また、コンピュータ13は、マウス19から入力信号を受信した場合と同様、ポインタ入力信号に応じて、あるいはそのポインタ入力信号に基づいて実行された処理の結果に応じて、ディスプレイ11へ画像表示信号を送信する。
続いて、映像データの各撮影画像からポインタ入力信号を算出する処理について詳述する。
図3は、この実施形態において、各フレームに対応する撮影画像に基づいてポインタ入力信号を算出する処理の流れを示すフローチャートである。図3に示すように、コンピュータ13は、ウェアラブル端末15から送信された映像データの1フレームに対応する撮影画像を受信してメモリーに格納する(ステップS11)。撮影画像が読み込めたら(ステップS13のYes)コンピュータ13は、前に処理したフレーム画像に基づいて算出されたポインタ位置があるかどうかを調べ、算出されたポインタがあればそれをメモリーに保持しておく(ステップS15)。前のフレーム画像に基づくポインタ位置を保持しておくのは、前記ステップS11でメモリーに格納したフレーム画像に後述する処理を適用してもディスプレイ領域の四辺が抽出できなかったり撮影画像における指先位置を抽出できなかったりした場合のためである。また、単にポインタを移動させるだけでなく、ポインタの軌跡に対応した描画を行う操作に対応できるようにするためでもある。詳細は後述する。
続いてコンピュータ13は、前記ステップS11でメモリーに格納された撮影画像に対してノイズ除去処理を行う(ステップS17)。
なお、コンピュータ13は、ウェアラブル端末15から送信された映像データの1フレーム毎に図3に示す1ループの処理を行ってポインタの表示を更新してもよいが、処理負荷が大きく1フレーム毎にループ処理を行うことが難しいこともある。その場合は、画像データの複数フレーム毎に図3に示す1ループの処理を行ってもよい。処理負荷の大きさは、映像データのフレームレート(時間間隔)、各フレーム画像の画素数、ウェアラブル端末15とコンピュータ13との間の通信速度、コンピュータ13の処理能力などに依存する。
撮影画像に映った四頂点の位置は、操作者がディスプレイ11に対して正対の位置からずれていると矩形でなくなり、例えば台形状や、台形でもない四角形状になる。操作者が自分の眼で見た位置を手指などで指し示す場合、指し示しされた位置を正確に求めるには、操作者の視点で撮影された画像が必要である。この実施形態においてウェアラブル端末15は操作者の頭部に装着されているので、カメラ15cで撮影された画像は操作者の視点と完全には一致しないものの、操作者の視点に近いものである。
そこで、コンピュータ13はカメラ15cによる撮影画像が操作者の視点から見たものであるとして、撮影画像で操作者がディスプレイ11の表示域を指し示す位置を算出する処理を行う。
そこで、四頂点が矩形であることを前提に射影変換を行って、指し示された位置の矩形状の表示域に対応する座標を求める。
そのためにまずコンピュータ13は、射影変換を受けて歪んだ撮影画像上の四頂点の位置を矩形に変換するための射影変換行列を算出する(ステップS21)。
そして、前記ステップS23で求められた撮影画像上で指し示された位置に、前記ステップS21で算出した射影変換行列を適用して射影変換を用い、矩形状の表示域に対応する指先位置を算出する(ステップS25)。即ち、直交座標系で表示域の座標を表現した場合の指先位置の座標を算出する。
算出された指先位置が表示域内にあれば、表示域に表示するポインタの位置を算出された位置に更新する(ステップS27)。
次に処理すべきフレーム画像が送られてこなければ(ステップS29のYes)処理を終了する。一方、次に処理すべきフレーム画像が送られてくれば(ステップS29のNo)、ルーチンは前述のステップS11へ戻り、次のフレーム画像を読み込んで同様の処理を繰り返す。
以上が図3に示す処理の流れである。
この実施形態で、各撮影画像は、RGB(ここで、R:赤、G:緑、B:青を意味する)の各色成分からなる画像データである。この実施形態に係るカメラ15cはイメージセンサを備える。一般にイメージセンサは、撮影した画像をRGBの各色成分の信号として出力するので、コンピュータ13がウェアラブル端末15から受け取る各撮影画像はRGBの各色成分からなる。
電源がオンされてウェアラブル端末15が動作を開始すると、カメラ15cが動画撮影を開始する。そして、ウェアラブル端末15は、撮影された映像データをコンピュータ13へ順次送信する。コンピュータ13はウェアラブル端末15から送られてくるフレーム画像を受信する。
なお、カメラ画像にノイズ成分が多い場合、撮影されたフレーム画像に対してメディアンフィルタや平均フィルタなどを適用してノイズを除去する処理を行ってもよい。
この実施形態において、ウェアラブル端末15を頭部に装着した操作者がディスプレイ11の方を見ると、カメラ15cにはディスプレイ11が映る。すなわち、操作者の頭部に装着された状態でその操作者が前方を見る場合、カメラ15cは操作者の眼に映る前方の一定の範囲を撮影するようになっている。
図4は、その処理の詳細な流れを示すフローチャートである。図4に示すように、コンピュータ13は、RGBの各色成分からなる撮影画像をグレー画像に変換する(ステップS31)。
この実施形態においては、以下の式(1)によって、RGBの3色の信号(明るさの信号)がグレーの明るさ信号Grayに変換される。
Gray=0.299×R+0.587×G+0.114×B(1)
(1)式は、RGB信号の輝度を算出する式として知られている。
なお、撮影画像が多くのノイズを含む場合は、RGB画像あるいは変換後のグレー画像に対してノイズ除去処理を行ってもよい。
エッジ検出画像用に変換された画像に対して、確率的Hough変換を行うことにより線分検出をする(ステップS35)。線分検出は、撮影画像の中から単点を持つ線分として線を検出する処理である。検出された線分は、始点と終点で表され、それぞれの座標を取得することができる。
図5で、ディスプレイ11の表示域11dを規定する四辺、言い換えると、ディスプレイ枠11fの内周に対応する四辺をそれぞれ白い線で示している。即ち、表示域下辺11B、表示域左辺11L、表示域右辺11Rおよび表示域上辺11Tを白い線で示している。撮影画像から抽出される線分はそれだけではない。上述の四辺以外に抽出された線分をグレーで示している。ディスプレイ枠11fの外周やディスプレイ11が置かれたデスクの縁、また、撮影画像の縁が線分として抽出されている。
コンピュータ13は、抽出された線分のうちで、ディスプレイ11の表示域11dを規定する四辺を決定する(ステップS37)。
コンピュータ13は、検出された線分のうち傾きが略水平(例えば、(縦成分の長さ/横成分の長さ)の絶対値が0.5より小さいと規定される)、かつ予め定められた長さより長い線分のうちで、撮影画像の画像中心よりも上側にあって画像中心に最も近い線分を表示域上辺11Tとする。一方、画像中心より下側で画像中心に最も近い線分を表示域下辺11Bとする。
ここで、画像中心より上側で画像中心に最も近い線分というのは、画像中心を通り鉛直方向(Y方向)に伸びる鉛直線(Y座標軸に平行な線)と交わる線分あるいは線分の延長線の位置が、前記鉛直線上における画像中心から最も近い上方にある線分である。
一方、画像中心より下側で画像中心に最も近い線分というのは、画像中心を通り鉛直方向(Y方向)に伸びる鉛直線(Y座標軸に平行な線)と交わる線分あるいは線分の延長線の位置が、前記鉛直線上における画像中心から最も近い下方にある線分である。
ここで、画像中心より左側で画像中心に最も近い線分というのは、画像中心を通り水平方向(X方向)に伸びる水平線(X座標軸に平行な線)と交わる線分あるいは線分の延長線の位置が、前記水平線上における画像中心から最も近い左方にある線分である。
画像中心より右側で画像中心に最も近い線分というのは、画像中心を通り水平方向(X方向)に伸びる水平線(X座標軸に平行な線)と交わる線分あるいは線分の延長線の位置が、前記水平線上における画像中心から最も近い右方にある線分である。
この実施形態では、ディスプレイ11の四頂点は、ディスプレイ11の表示域11dに基づいて算出することを想定している。表示域11dは液晶や有機EL等の表示パネルとそれを囲むフレーム部材(枠11f)との境界で規定され、安定して精度よくその境界が抽出できると考えられるからである。
ただしそれに限らず、例えば前記表示域11dを囲むディスプレイ枠11fの外周、あるいはディスプレイの外縁(即ちディスプレイの装置全体の輪郭)に基づいて四頂点を算出してもよい。近年は、ディスプレイ枠11fの外周がディスプレイの外縁であるものが多いが、例えばディスプレイ枠11fの下側や左右両側にスピーカーが配置されているものもある。一般に、フレーム部材の外周やディスプレイの外縁も矩形状であるものが多い。
図6Aは、この実施形態において2本の直線の交点座標の算出手順を説明するためのグラフである。図6Aに示すように、二辺のうちの1本の直線は、直線の傾きが略水平であって、両端の点の座標値をそれぞれ(p1x,p1y)および(p2x,p2y)とする。直線は、以下の式、
y=m1・x+n1 (2)
で表される。
そして、2本の直線が交わる交点の座標値を(p5x,p5y)とする。
2本の直線短点の座標(p1x,p1y)、(p2x,p2y)、(p3x,p3y)および(p4x,p4y)がわかっている場合に、交点の座標値(p5x,p5y)は以下のようにして算出できる。
p1y=m1・p1x+n1 (2−1)
p2y=m1・p2x+n1 (2−2)
(2−2)式と(2−1)式の差分をとってn1を消去し、m1について整理すると、
m1=(p2y−p1y)/(p2x−p1x)
一方、両式からm1を消去するために(2−1)式にp2xを乗じたものから(2−2)式にp1xを乗じたものの差分をとってn1について整理すると、
n1=(p2x×p1y−p1x×p2y)/(p2x−p1x)
一方、y軸に平行な直線については、p3x=p4xであるから、交点のx座標値は、
p5x=p3x
で求められる。
そして、交点のy座標値は、
p5y=m1×p3x+n1
で求められる。
y=m2・x+n2 (3)
で表される。
(2)および(3)式で表される2本の直線の、それぞれの端点の座標値(p1x,p1y)、(p2x,p2y)、(p3x,p3y)および(p4x,p4y)がわかっている。
よって、図6Aと同様に、(2−2)式と(2−1)式から係数、m1およびn1が求められる。求まったm1およびn1を(2)式に代入して略水平な直線が表現できる。
(3)式で表される直線についても、(2)式の直線と同様の手順で係数、m2およびn2が求められる。
m2=(p4y−p3y)/(p4x−p3x)
n2=(p4x×p3y−p3x×p4y)/(p4x−p3x)
求まったm2およびn2を(3)式に代入して略鉛直方向の直線が表現できる。
p5y=m1・p5x+n1 (4)
p5y=m2・p5x+n2 (5)
となる。(4)および(5)式から交点の座標値は、
p5x=(n1−n2)/(m2−m1)
p5y=(m2×n1−m1×n2)/(m2−m1)
で求められる。
上述の手順で、撮影画像上で隣り合う二辺の交点の座標値をそれぞれ計算し、撮影画像上でディスプレイ11の四頂点の座標を求めることができる。
撮影画像に映っているディスプレイ11は、カメラ15cがディスプレイ11に対して正対の位置にない限り、歪んで映る。操作者が指し示す表示域11d内の位置についても、歪の影響を受ける。
そこで、ディスプレイ11の四頂点の座標値を用いて、撮影画像における指先位置の座標値を補正して歪の影響を軽減する。歪は、幾何学的変換の一種である射影変換によって補正できる。そこで、撮影画像上の指先位置を矩形の表示域の直交座標値へ変換するための射影変換行列Hを算出する。
図6A、図6Bを用いて、撮影画像に映ったディスプレイ11の四頂点の座標値を算出する手順を既に述べたが、それらの座標値はX、Y座標を基底とするものである。
図7に示すように、撮影画像上のディスプレイ11の四頂点の座標値を(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)とする。図7に示すように、視点がディスプレイ11に対して正対の位置になく、X、Y座標軸を含む平面がディスプレイ11の表示面と平行でないために、撮影画像上の四頂点は歪んで映っている。
一方、この実施形態で矩形の表示域11dの四頂点は、表示域11d上の直交座標(図7にU、V、Wの座標軸を示す)を用い、画素を単位とした座標値で表現される。
表示域11dが、例えば、水平方向(U軸方向あるいは横方向)に1920画素、鉛直方向(V軸方向あるいは縦方向)に1200画素で構成されるものとする。その場合、表示域11dの四頂点の座標値(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)は、(0,0)、(0,1199)、(1919,1199)、(1919,0)である。
射影変換行列Hの係数、h11〜h32が求められると、撮影画像上の任意の点(x,y)に対応する表示域11d上の点(u,v)が、(6)式を用いて決定できる。
従って、撮影画像上に映った指先位置についても、対応する表示域11d上の位置は(6)式を用いて決定できる。
続いて、撮影画像に映った操作者の指先位置を検出して、指先位置の座標値(図7にP(x,y)で示す)を求める手順について述べる。
操作者がディスプレイ11に向かって指を差すと、カメラ15cの撮影画像には指が映る。その指が差している撮影画像上の位置(指先位置)を以下のような処理を行って抽出する。
コンピュータ13は、ウェアラブル端末15から撮影画像を受信する。撮影画像は、RGBの各色成分からなる画像データである。コンピュータは、その画像データに下記の演算を適用して、HSVデータに変換する(ステップS41)。各画素が肌色領域か否かを適切に判定するためである。ここで、HSVは、H:色相、S:彩度、V:明度をそれぞれ表しており、R,G,Bの各色成分の明るさから以下のように算出される。
V=max(R,G,B)
ここで、R,G,Bは、撮影画像を構成する各画素のR,G,Bの各色成分の明るさであって、それらのうち最も明るい色成分の値が明度Vである。
彩度Sは、上の式で算出された明度を用いて、
S=(V−min(R,G,B))/V
として算出される。
V=Rの場合(即ち、R,G,Bのうち最も明るいのがRの場合)、
H=60×(G−B)/S
V=Gの場合、
H=120+60×(B−R)/S
V=Bの場合、
H=180+60×(R−G)/S
として算出される。ただし、上記Hの値を正の数値とするために、上式の算出結果が負の値の場合はその算出結果に360を加算する。また、8ビットの値で処理する場合は、さらに2で割った値とする。
2値化の判定条件の例として、H≧2かつH≦28かつS≧46かつV≧26ならば肌色画素と判定するものとしてH,S,Vの閾値を設定する。撮影画像の各画素について判定を行い、肌色画素は1(白)に変換し、そうでなければ肌色以外画素として0(黒)に変換する。
肌色か否かの判定に用いる閾値は、操作者の肌の色に応じて補正できるようにしてもよい。補正は、肌色キャリブレーション用のモードで、カメラ15cを用いて操作者の手の部分を撮影し、その撮影画像に基づいて補正値を決定してもよい。
また、操作者の指先に代えて、例えば特定のペンを用いて位置を指し示す場合は、肌色キャリブレーション用のモードで操作者がそのペンを持った画像をカメラ15cで撮影し、その撮影画像に基づいてペンの先が抽出されるようにしてもよい。その場合は、実施形態に記載の「指先」を「ペン先」に読み替えた処理の流れになる。
さらに、コンピュータ13は2値化によって得られた肌色画素領域のうち、ノイズや手でない部分を除去する(ステップS45)。例えば、次に述べる処理を行う。2値化された画像に対して、着目画素を中心とした7×7画素の合計値が所定値以上なら1(白)、所定値未満なら0(黒)に変換する。その後さらに画像を白黒反転し、着目画素を中心とした7×7画素の合計値が所定値以上なら1(白)、所定値未満なら0(黒)に変換する。そして、再度白黒反転する。
さらに、ラベリング処理を行う。ラベリング処理し、所定画素数より小さい肌色領域の画素は0に変換する。これにより、手に相当する部分を含む所定画素以上の肌色領域のみが1、それ以外の部分が0となる。
それ以外に、指の太さや形状などを予め指形状として登録しておき、抽出された肌色領域のうち登録された指形状に類似しないものを除外してもよい。
撮影画像上の表示域11d内で、画像の上側から順に肌色画素(1)か否かを調べていき、最初の肌色画素を手の指先位置とする。
図10は、上述の処理の結果抽出された指先位置を示す説明図である。肌色領域の最も上の画素が指先位置23Tとして抽出されている。あるいは、色画素の中で最も明るい画素を指先位置としてもよい。指の爪の一部は、手全体の中でも最も明るい画素が存在することが多いからである。
上述のようにして撮影画像上の指先位置(図7に示すP(x,y))が求められたら、コンピュータ13は、撮影画像上の指先位置に、射影変換行列Hを適用して、表示域11d上の対応する位置(図7にQ(u,v)で示す)に変換する。
図7に示すように、Q(u,v)の座標値は、撮影画像上の指先位置の座標値(x,y)を用いて以下の式で求められる。
上述の処理で抽出される指先位置は、人がカーソルを合わせたい位置とは数画素のずれが生じることがありうる。さらに、操作者の視点とカメラ15cの視点とに若干のずれがある。よって、操作者がディスプレイ11を指し示した位置と、撮影画像を用いて求められる表示域上の対応位置とに若干のずれがある。その場合、より適切な指先位置の座標を導き出すために、抽出された指先位置の座標に対して予め定められた補正値を加算してもよい。
位置ずれ補正用のキャリブレーションモードで、操作者がディスプレイ11の所定の位置、例えば画像中心を指し示し、それをカメラ15cで撮影する。このとき、操作者が指し示すべき位置を表示域11dに表示させるとよい。
撮影画像に図3のステップS17〜S27と同様の処理を行って、操作者が指し示した位置に対応するポインタ位置を求める。
求めたポインタ位置と、操作者が指し示すべき位置(例えば画像中心)との位置ずれの量を補正値として格納する。
実施の形態1では、ウェアラブル端末15のカメラ15cで撮影された画像からディスプレイの四頂点を決定する処理について述べた。そして、四頂点の歪を補正する射影変換行列Hを求める処理について述べた。さらに、撮影画像上の指先位置を抽出する処理について述べた。そして、射影変換行列Hを適用して指先位置に対応する表示域11d上の位置を求める処理について述べた。それらの処理の概要は、図3のフローチャートに示されている。
この実施形態は、そのような場合を含んだ処理の流れを述べる。
操作者がディスプレイ11を横目で見る場合や、表示域11dに表示される内容(色)がディスプレイ枠11f(の色)に近い場合、表示域を規定する四辺(4本の線分)の一部または全部が検出できない。
例えば、表示域を規定する4本の線分がまったく検出できない場合、あるいは、4本の線分のうち1本しか検出できない場合、コンピュータ13は、操作者の視線がカメラ15cの撮影画像外に向いていると想定し、指先位置の検出を行わず、表示域のポインタの移動を行わないようにする。
あるいはその場合、コンピュータ13は前のフレームの撮影画像に基づいて表示域11d上の位置が算出されて表示されているポインタを消すように表示を制御してもよい。
図11で、図3と同様の処理については図3と同様の符号を付している。図3と異なる部分を中心に図11に示す処理の流れを述べる。
その結果、四辺をすべて抽出できたか否かを調べる(ステップS53)。四辺をすべて抽出できた場合(ステップS53のYes)、コンピュータ13は図3と同様に先の処理へ進み、射影変換行列の算出(ステップS21)、指先位置の抽出(ステップS23)の処理を行う。
二辺または三辺を抽出できたと判断した場合(ステップS55のYes)、撮影画像にディスプレイ11が映っており、何れかの辺が検出できなかっただけであると想定する。そして、カメラ15cからの映像データのうち前のフレームの撮影画像とディスプレイ11の位置が変わっていないと想定し、前のフレーム画像で採用した射影変換行列Hを今回のフレームについても採用する。即ち、前のフレームと同じ歪の状態であるとして前のフレームと同じ射影変換行列Hを適用する(ステップS57)。その後、ルーチンはステップS23へ進み、指先位置の抽出処理を行う。
ステップS23でコンピュータ13は、撮影画像における指先位置を抽出する。その処理の結果、指先位置が抽出できたか否かを調べる(ステップS61)。指先位置が抽出できた場合(ステップS61のYes)は、図3と同様に射影変換行列Hを適用して対応する表示域上の位置を算出し(ステップS25)、表示されているポインタの位置を算出された位置に更新する(ステップS27)。なお、表示域11dにポインタが表示されていない場合は、算出された位置にポインタを表示する。
そして、次のフレーム画像があるか否かを調べて(ステップS29)、次のフレーム画像があれば(ステップS29のNo)先頭のステップS11へ戻り、次のフレーム画像がなければ(ステップS29のYes)処理を終了する。
コンピュータ13は、RGBの各色成分からなる撮影画像をグレー画像に変換し(ステップS31)、エッジ検出処理を行い(ステップS33)、線分を検出する(ステップS35)。検出された線分のうちから表示域を規定する4本の線分を抽出する処理を行う(ステップS37)。即ち、略水平または略鉛直方向に伸びて予め定めた長さよりも長く、かつ、撮影画像の画像中心に対して上下左右のそれぞれの方向にあって画像中心に近い線分を四辺として決定する。
条件に適合する合計4本の線分が抽出できた場合は(ステップS71のYes)、図4と同様に、四頂点のそれぞれについて隣り合う二辺の交点の座標値を算出して、各頂点の位置を決定する(ステップS39)。
一方、条件に適合する線分が抽出できなかった場合は(ステップS71のNo)、交点の座標値を算出せずに処理を終了する。
従って、操作者が表示域11dを指差すのをやめて手をおろすと、ポインタがそれまで表示されている位置で静止するか、あるいはポインタの表示が消える。操作者が再び表示域11dの何れかの位置を指し示すと、ポインタが静止して表示されている位置から指し示された位置へ移動する。あるいは、消えていたポインタが指し示された位置に表示される。
また、ディスプレイ11の方向を向いていた操作者が別の方向を向いて撮影画像にディスプレイ11が映らなくなった場合も、ポインタがそれまで表示されていた位置で静止するか、あるいはポインタの表示が消える。操作者が再びディスプレイ11の方向を向き、表示域11d何れかの位置を指し示すと、ポインタが静止して表示されている位置から指し示された位置へ移動する。あるいは、消えていたポインタが指し示された位置に表示される。
実施の形態1、2では、ウェアラブル端末15を装着した操作者が一人の場合を想定して処理の流れを述べた。しかし、複数の操作者がそれぞれウェアラブル端末15を装着して共通のディスプレイ11を用いて会議を行い、ディスプレイ11に表示される資料の特定の位置を各操作者がポインタを用いて示す態様が考えられる。各操作者がレーザーポインタを持つ代わりに、ウェアラブル端末を装着してより安全にポインタを操作する態様である。
この実施形態では、上述の会議のように、ウェアラブル端末15をそれぞれ装着した複数の操作者がいる場合について述べる。
コンピュータ13は、各操作者のウェアラブル端末15について実施の形態1や2で述べた処理をそれぞれ実行し、各操作者に対応する個別のポインタの表示を制御するようにしてもよい。
例えば、操作者Aに対応するポインタは赤色、操作者Bに対するポインタは緑色、操作者Cに対するポインタは青色といったように、各ポインタが色で識別できるように表示させてもよい。
あるいは、各ポインタに対して個別の形状を割り当て、各ポインタが形状で識別できるように表示させてもよい。例えば、丸型、四角形、星型といったようなバリエーションの形状である。
その場合は、何れかの操作者が表示域11dを指し示すと、ポインタがその位置へ移動する。複数の操作者が同時に表示域11dを指し示した場合は、先に操作をした者が優先し、その操作者が手を下ろして撮影画像から手の部分が消えると、後のものが指し示している位置へポインタが移動するようにしてもよい。
通常のコンピュータの画面に表示されるマウスポインタのように、クリック、ドラッグ開始/ドラッグ終了などの操作と関連付けて表示されたオブジェクトに対する操作が可能であってもよい。
あるいは、この実施形態に係るポインタ操作は、通常のタッチディスプレイに対するタッチ操作に対応させてもよい。タップ、ドラッグ開始/ドラッグ終了などの操作に対応する手の部分の動作や指の形状、指先の方向などを予めジェスチャーとして定めておけば、タッチ操作と同様の操作が可能である。
(i)この発明による画面表示制御方法は、操作者の頭部に装着され画像を撮影するウェアラブル端末を用いて、矩形状の枠および表示域を有するディスプレイと共にそのディスプレイを前記操作者が指し示す手の部分を撮影し、コンピュータを用いて、前記ウェアラブル端末の撮影画像における前記矩形枠の頂点の位置および前記手の部分で指し示された位置を抽出し、抽出された頂点の位置および指し示された位置の位置関係に基づいて前記手の部分に対応する前記表示域内の位置があるか否かを決定し、前記位置があればその位置にポインタを表示させることを特徴とする。
また、ウェアラブル端末は、頭部の何れかの位置に装着できるものである。その具体的な態様として、例えば、耳に掛けることで装着されるものや、いわゆるスマートグラスのような眼鏡型の端末などが挙げられるがそれらに限定されるものでない。この明細書において、ウェアラブル端末は画像を撮影するイメージセンサを有する。
さらにまた、ディスプレイは、矩形の画面、即ち表示域を有する表示装置である。その具体的な態様としては、例えば、液晶や有機ELを用いた表示装置が挙げられるがそれらに限定されるものでない。
また、表示域は、ディスプレイのうち表示可能な領域である。一般に周囲をフレームで囲まれた領域である。
さらにまた、手の部分は、少なくとも操作者の一つの指を含む部分であって、典型的には手首から先の部分である。
また、コンピュータは、CPUあるいはMPUを中心に構成されプログラムを実行可能なハードウェアである。その具体的な態様は限定されず、例えば、機器に組み込まれるものであってもよく、携帯型、可搬型あるいは据え置き型の情報処理機器であってもよい。
さらにまた、撮影画像は、ウェアラブル端末が有するイメージセンサによって取り込まれた画像である。
また、ポインタは、ディスプレイの表示域内に表示されて特定の位置あるいは表示域内に表示された特定の対象を指すものである。その具体的な態様としては、例えば、一般的なパーソナルコンピュータの画面に表示されてマウスやタッチパッドの操作対象や操作位置を示すものに該当するが、それに限定されるものでない。
(ii)前記コンピュータを用いて、前記撮影画像に映った前記操作者のジェスチャーを認識し、認識されたジェスチャーに応じた操作を前記ポインタの位置に対してさらに行ってもよい。
このようにすれば、ディスプレイと離れた位置にいる操作者がジェスチャーを行うことによって、一般的なコンピュータへのマウス操作やタッチパッド操作あるいはスマートフォンへのタッチ操作と同様に、ポインタの位置に対する操作が可能になる。
このようにすれば、撮影画像に表示域を示す四辺の一部しか映っていない場合であっても表示域の頂点の位置を正確に求めることができる。
このようにすれば、撮影画像データに映っている肌色領域の最上部の画素が指先の位置であると想定して指し示された位置を検出することができる。
通常は指先の爪の部分が手の部分のうちで最も明るい色をしているので、このようにすれば、撮影画像に映っている指の爪の位置に相当する画素が指先の位置であると想定して指し示された位置を検出することができる。
このようにすれば、表示された部分を操作者の手の部分と誤検出するのを防ぐことができる。例えば、前記撮影画像に映った前記表示域の表示内容に肌色に近い色が多く含まれる場合は肌色に属すると判定する範囲が狭くなるように、肌色に近い色があまり含まれない場合は肌色の属すると判定する範囲が広くなるように判定に係る閾値を変更すればよい。
このようにすれば、前記表示域内において複数の肌色領域が抽出されたとしても、最も大きい領域が手の部分であると想定することで誤検出を防ぐことができる。
このようにすれば、手の部分で指し示された位置に対応して決定されたポインタの位置が表示域外の場合は、その場合の手の部分が前記表示域内の位置を指し示すものでないと判断することで不要なポインタの移動あるいは表示を防ぐことができる。
このようにすれば、操作者がディスプレイに正対する位置になくても操作者が意図した位置にポインタを表示させることができる。
このようにすれば、例えば会議で複数の参加者が個別にウェアラブル端末を装着することで、参加者間でウェアラブル端末を交換しなくてもポインタを操作できる。
このようにすれば、例えば会議で複数の参加者が個別にウェアラブル端末を装着することで、各参加者に対応したポインタを操作できる。
この発明によれば、ディスプレイから離れた場所にいる操作者がその場所でポインタを操作できる。さらに、操作者の視点と操作者の頭部に装着されたウェアラブル端末による撮影の視点との間にずれがあっても、操作者が指し示した位置に対応してディスプレイに表示すべきポインタの位置を、少ない計算量で操作者にとって違和感がないように決定できる。
このようにすれば、ディスプレイと離れた位置にいる操作者がジェスチャーを行うことによって、一般的なコンピュータへのマウス操作やタッチパッド操作あるいはスマートフォンへのタッチ操作と同様に、ポインタの位置に対する操作が可能になる。
この発明によれば、ディスプレイから離れた場所にいる操作者がその場所でポインタを操作できる。さらに、操作者の視点と操作者の頭部に装着されたウェアラブル端末による撮影の視点との間にずれがあっても、操作者が指し示した位置に対応してディスプレイに表示すべきポインタの位置を、少ない計算量で操作者にとって違和感がないように決定できる。
このようにすれば、ディスプレイと離れた位置にいる操作者がジェスチャーを行うことによって、一般的なコンピュータへのマウス操作やタッチパッド操作あるいはスマートフォンへのタッチ操作と同様に、ポインタの位置に対する操作が可能になる。
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。
Claims (15)
- 操作者の頭部に装着され画像を撮影するウェアラブル端末を用いて、矩形状の枠および表示域を有するディスプレイと共にそのディスプレイを前記操作者が指し示す手の部分を撮影し、
コンピュータを用いて、前記ウェアラブル端末の撮影画像における前記矩形枠の頂点の位置および前記手の部分で指し示された位置を抽出し、
抽出された頂点の位置および指し示された位置の位置関係に基づいて前記手の部分に対応する前記表示域内の位置があるか否かを決定し、
前記位置があればその位置にポインタを表示させる、
画面表示制御方法。 - 前記コンピュータを用いて、前記撮影画像に映った前記操作者のジェスチャーを認識し、
認識されたジェスチャーに応じた操作を前記ポインタの位置に対してさらに行う請求項1に記載の画面表示制御方法。 - 前記頂点の位置は、前記撮影画像に映った前記ディスプレイの表示域を示す四辺を検出し、各辺あるいは各辺を延長した直線の交点の位置から求める請求項1または2に記載の画面表示制御方法。
- 前記指し示された位置は、前記撮影画像における肌色領域の画素の内で最上部に位置する画素の位置とする請求項1または2に記載の画面表示制御方法。
- 前記指し示された位置は、前記撮影画像における肌色領域の画素の内で最も明るい画素の位置とする請求項1または2に記載の画像処理装置。
- 前記表示域における肌色領域は、各画素が肌色に属するか否かの判定に基づいて抽出し、肌色に属するか否かの判定に用いる閾値は、前記表示域に表示された内容に含まれる色成分の構成に応じて変更する請求項4または5に記載の画面表示制御方法。
- 前記表示域における肌色領域は、各画素が肌色に属するか否かの判定に基づいて抽出し、隣り合う画素が肌色に属する領域のうちで最も大きい領域を前記肌色領域とする請求項4または5に記載の画面表示制御方法。
- 前記指し示された位置に対応して決定された位置が前記表示域の外にある場合、表示されているポインタを移動させないかまたは表示されているポインタを消去する請求項1または2に記載の画面表示制御方法。
- 前記指し示された位置に対応するポインタの位置は、前記頂点の位置が矩形になるように前記撮影画像における前記頂点の位置および指し示された位置に射影変換を適用し、前記表示域に指先が投影される位置として決定する請求項1または2に記載の画面表示制御方法。
- 前記コンピュータは、複数の操作者の頭部にそれぞれ装着された複数のウェアラブル端末から、前記ディスプレイと共にそれぞれの操作者の手の部分が撮影された撮影画像を取得し、
各ウェアラブル端末からの撮影画像における前記ディスプレイの矩形枠の頂点の位置および各操作者の手の部分で指し示された位置をそれぞれ抽出し、
抽出された頂点の位置および指し示された位置の位置関係に基づいて各操作者の前記手の部分に対応する前記表示域内の位置があるか否かを決定し、
前記位置があればその位置に前記ポインタを表示させることにより、一つのポインタを各操作者が操作可能にする請求項1または2に記載の画面表示制御方法。 - 前記コンピュータは、複数の操作者の頭部にそれぞれ装着された複数のウェアラブル端末から、前記ディスプレイと共にそれぞれの操作者の手の部分が撮影された撮影画像を取得し、
各ウェアラブル端末からの撮影画像における前記ディスプレイの矩形枠の頂点の位置および各操作者の手の部分で指し示された位置をそれぞれ抽出し、
抽出された頂点の位置および指し示された位置の位置関係に基づいて各操作者の前記手の部分に対応する前記表示域内の位置があるか否かを決定し、
前記位置があればその位置に各操作者に対応するポインタを、各操作者との対応を識別可能に表示させる請求項1または2に記載の画面表示制御方法。 - 操作者の頭部に装着されるウェアラブル端末から、矩形状の枠および表示域を有するディスプレイと共にそのディスプレイを前記操作者が指し示す手の部分が撮影された画像を取得する処理と、
前記ウェアラブル端末の撮影画像における前記矩形枠の頂点の位置および前記手の部分で指示された位置を抽出する処理と、
抽出された頂点の位置および指し示された位置の位置関係に基づいて前記手の部分に対応する前記表示域内の位置があるか否かを決定する処理と、
前記位置があればその位置にポインタを表示させる処理と、をコンピュータに実行させる画面表示制御プログラム。 - 前記撮影画像に映った前記操作者のジェスチャーを認識する処理と、
認識されたジェスチャーに応じた操作を前記ポインタの位置に対して行う処理と、をさらに実行させる請求項12に記載の画面表示制御プログラム。 - 矩形状の枠および表示域を有するディスプレイと、
操作者の頭部に装着されかつ前記ディスプレイと共にそのディスプレイを前記操作者が指し示す手の部分を撮影するウェアラブル端末と、
前記ウェアラブル端末の撮影画像における前記矩形枠の頂点の位置および前記手の部分で指し示された位置を抽出し、抽出された頂点の位置および指し示された位置の位置関係に基づいて前記手の部分に対応する前記表示域内の位置があるか否かを決定するポインタ処理部と、
前記位置があればその位置にポインタを表示させる表示処理回路と、
を備える画面表示制御システム。 - 前記撮影画像に映った前記操作者のジェスチャーを認識するジェスチャー認識部と、
認識されたジェスチャーに応じた操作を前記ポインタの位置に対して行う表示処理部をさらに備える請求項14に記載の画面表示制御システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017216380A JP6971788B2 (ja) | 2017-11-09 | 2017-11-09 | 画面表示制御方法および画面表示制御システム |
CN201811218016.4A CN109765990B (zh) | 2017-11-09 | 2018-10-18 | 画面显示控制方法及画面显示控制系统 |
US16/184,549 US10824237B2 (en) | 2017-11-09 | 2018-11-08 | Screen display control method and screen display control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017216380A JP6971788B2 (ja) | 2017-11-09 | 2017-11-09 | 画面表示制御方法および画面表示制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019087136A true JP2019087136A (ja) | 2019-06-06 |
JP6971788B2 JP6971788B2 (ja) | 2021-11-24 |
Family
ID=66327097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017216380A Active JP6971788B2 (ja) | 2017-11-09 | 2017-11-09 | 画面表示制御方法および画面表示制御システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10824237B2 (ja) |
JP (1) | JP6971788B2 (ja) |
CN (1) | CN109765990B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3610358B1 (en) * | 2017-12-13 | 2021-07-28 | SZ DJI Technology Co., Ltd. | Depth information based pose determination for mobile platforms, and associated systems and methods |
KR20230100472A (ko) * | 2021-12-28 | 2023-07-05 | 삼성전자주식회사 | 손의 관절에 관한 위치 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08241280A (ja) * | 1995-03-01 | 1996-09-17 | Oki Electric Ind Co Ltd | アプリケーション操作権の制御方法 |
JP2001306243A (ja) * | 2000-04-21 | 2001-11-02 | Sony Corp | 情報処理装置、認識可能動作通知方法及びプログラム格納媒体 |
JP2002209082A (ja) * | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体 |
JP2006004397A (ja) * | 2004-06-17 | 2006-01-05 | Mitac Technology Corp | コンピュータ装置のインタラクティブアクセス権制御システム及びその方法 |
JP2008033389A (ja) * | 2006-07-26 | 2008-02-14 | Fuji Xerox Co Ltd | 機能指示システム、機能指示装置、機能指示解析システム、プレゼンテーションシステムおよび機能指示解析プログラム。 |
JP2009169518A (ja) * | 2008-01-11 | 2009-07-30 | Kddi Corp | 領域識別装置およびコンテンツ識別装置 |
JP2009265809A (ja) * | 2008-04-23 | 2009-11-12 | Kddi Corp | 情報端末装置 |
JP2010085554A (ja) * | 2008-09-30 | 2010-04-15 | Brother Ind Ltd | 表示制御装置及びテレビ会議システム。 |
WO2012144145A1 (ja) * | 2011-04-22 | 2012-10-26 | パナソニック株式会社 | ポインティング制御装置とその集積回路、およびポインティング制御方法 |
US20160170603A1 (en) * | 2014-12-10 | 2016-06-16 | Microsoft Technology Licensing, Llc | Natural user interface camera calibration |
JP2016167311A (ja) * | 2012-01-17 | 2016-09-15 | シャープ株式会社 | 画像処理装置および画像処理方法 |
EP3082017A1 (en) * | 2015-04-15 | 2016-10-19 | Thomson Licensing | Method and system for displaying additional information associated with a content via an optical head mounted display device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5951367B2 (ja) * | 2012-01-17 | 2016-07-13 | シャープ株式会社 | 撮像装置、撮像画像処理システム、プログラムおよび記録媒体 |
JP6217244B2 (ja) * | 2013-08-29 | 2017-10-25 | セイコーエプソン株式会社 | 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム |
JP2015230496A (ja) | 2014-06-03 | 2015-12-21 | シャープ株式会社 | 電子機器 |
CN104199548B (zh) * | 2014-08-29 | 2017-08-25 | 福州瑞芯微电子股份有限公司 | 一种三维人机交互操作装置、系统及方法 |
CN104317398B (zh) * | 2014-10-15 | 2017-12-01 | 天津三星电子有限公司 | 一种手势控制方法、穿戴式设备及电子设备 |
CN104410883B (zh) * | 2014-11-29 | 2018-04-27 | 华南理工大学 | 一种移动可穿戴非接触式交互系统与方法 |
US10409443B2 (en) * | 2015-06-24 | 2019-09-10 | Microsoft Technology Licensing, Llc | Contextual cursor display based on hand tracking |
US20170293363A1 (en) * | 2016-04-07 | 2017-10-12 | Jeffrey Shawn McLaughlin | System And Methods For Eye Gaze Triggered Control Of Appliance By Hand Gesture |
-
2017
- 2017-11-09 JP JP2017216380A patent/JP6971788B2/ja active Active
-
2018
- 2018-10-18 CN CN201811218016.4A patent/CN109765990B/zh active Active
- 2018-11-08 US US16/184,549 patent/US10824237B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08241280A (ja) * | 1995-03-01 | 1996-09-17 | Oki Electric Ind Co Ltd | アプリケーション操作権の制御方法 |
JP2001306243A (ja) * | 2000-04-21 | 2001-11-02 | Sony Corp | 情報処理装置、認識可能動作通知方法及びプログラム格納媒体 |
JP2002209082A (ja) * | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体 |
JP2006004397A (ja) * | 2004-06-17 | 2006-01-05 | Mitac Technology Corp | コンピュータ装置のインタラクティブアクセス権制御システム及びその方法 |
JP2008033389A (ja) * | 2006-07-26 | 2008-02-14 | Fuji Xerox Co Ltd | 機能指示システム、機能指示装置、機能指示解析システム、プレゼンテーションシステムおよび機能指示解析プログラム。 |
JP2009169518A (ja) * | 2008-01-11 | 2009-07-30 | Kddi Corp | 領域識別装置およびコンテンツ識別装置 |
JP2009265809A (ja) * | 2008-04-23 | 2009-11-12 | Kddi Corp | 情報端末装置 |
JP2010085554A (ja) * | 2008-09-30 | 2010-04-15 | Brother Ind Ltd | 表示制御装置及びテレビ会議システム。 |
WO2012144145A1 (ja) * | 2011-04-22 | 2012-10-26 | パナソニック株式会社 | ポインティング制御装置とその集積回路、およびポインティング制御方法 |
JP2016167311A (ja) * | 2012-01-17 | 2016-09-15 | シャープ株式会社 | 画像処理装置および画像処理方法 |
US20160170603A1 (en) * | 2014-12-10 | 2016-06-16 | Microsoft Technology Licensing, Llc | Natural user interface camera calibration |
EP3082017A1 (en) * | 2015-04-15 | 2016-10-19 | Thomson Licensing | Method and system for displaying additional information associated with a content via an optical head mounted display device |
Also Published As
Publication number | Publication date |
---|---|
US10824237B2 (en) | 2020-11-03 |
US20190138106A1 (en) | 2019-05-09 |
JP6971788B2 (ja) | 2021-11-24 |
CN109765990A (zh) | 2019-05-17 |
CN109765990B (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11546505B2 (en) | Touchless photo capture in response to detected hand gestures | |
US10198870B2 (en) | Information processing apparatus, information processing system, and information processing method | |
CN105210144B (zh) | 显示控制装置、显示控制方法和记录介质 | |
KR101502085B1 (ko) | 안경형 디스플레이 디바이스의 동작인식 입력방법 | |
JP6723814B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
WO2021035646A1 (zh) | 可穿戴设备及其控制方法、识别手势的方法和控制系统 | |
JP6344530B2 (ja) | 入力装置、入力方法、及びプログラム | |
US20170038838A1 (en) | Information processing system and information processing method | |
WO2017057107A1 (ja) | 入力装置、入力方法、及びプログラム | |
CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
JP2009205556A (ja) | ユーザインタフェース装置 | |
TW201514830A (zh) | 互動式操作方法 | |
EP3617851B1 (en) | Information processing device, information processing method, and recording medium | |
JP2012238293A (ja) | 入力装置 | |
JP2014029656A (ja) | 画像処理装置および画像処理方法 | |
JP6971788B2 (ja) | 画面表示制御方法および画面表示制御システム | |
WO2015104919A1 (ja) | ジェスチャー認識装置、操作入力装置およびジェスチャー認識方法 | |
WO2011096571A1 (ja) | 入力装置 | |
WO2021004413A1 (zh) | 一种手持输入设备及其指示图标的消隐控制方法和装置 | |
JP3860560B2 (ja) | 表示インタフェース方法および装置 | |
CN110858095A (zh) | 可由头部操控的电子装置与其操作方法 | |
JP2015184986A (ja) | 複合現実感共有装置 | |
JP5951966B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
WO2018150757A1 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
JP6762544B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6971788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |