JP2013134549A - Data input device and data input method - Google Patents
Data input device and data input method Download PDFInfo
- Publication number
- JP2013134549A JP2013134549A JP2011283156A JP2011283156A JP2013134549A JP 2013134549 A JP2013134549 A JP 2013134549A JP 2011283156 A JP2011283156 A JP 2011283156A JP 2011283156 A JP2011283156 A JP 2011283156A JP 2013134549 A JP2013134549 A JP 2013134549A
- Authority
- JP
- Japan
- Prior art keywords
- distance information
- data input
- input area
- distance
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、データ入力装置およびデータ入力方法に関する。 The present invention relates to a data input device and a data input method.
従来、パーソナルコンピュータをはじめとする様々な電子機器の操作には、キーボードやマウスといった物理的な入力装置が使用されてきたが、近年ではこれらの物理的入力装置を使用せずに機器を操作する手法が考案されている。
このような入力装置の一つとして、デジタルビデオカメラにより指先の位置検出を行い、そこを基準として仮想キーボードを設定し、指先の動きに応じて操作者が操作を意図した仮想キーを検出し、その仮想キーに対応するキーコードを発生する入力装置がある（特許文献１参照）。
また、投影面の状況に応じて生成したキーボード像を仮想キーボードとして投影面に投影し、２台以上の画像撮影手段により撮影データを解析することにより、操作者の操作による入力データを生成するデータ入力装置がある（特許文献２参照）。
また、手の領域と背景領域に分割し、様々な手及び指のジェスチャを認識することにより、クリック、選択、実行などの視覚ディスプレイを操作するためのコントロールパラメータを割り当てる視覚ディスプレイのためのバーチャルコントローラがある（特許文献３参照）。
Conventionally, physical input devices such as a keyboard and a mouse have been used to operate various electronic devices such as a personal computer. In recent years, devices are operated without using these physical input devices. A method has been devised.
As one of such input devices, the position of the fingertip is detected by a digital video camera, a virtual keyboard is set on the basis of the detected position, and a virtual key intended to be operated by the operator according to the movement of the fingertip is detected. There is an input device that generates a key code corresponding to the virtual key (see Patent Document 1).
Data for generating input data by an operation of an operator by projecting a keyboard image generated according to the situation of the projection plane onto the projection plane as a virtual keyboard and analyzing the captured data by two or more image capturing means There is an input device (see Patent Document 2).
Also, a virtual controller for visual display that divides the hand area and background area and assigns control parameters for operating the visual display such as click, selection and execution by recognizing various hand and finger gestures (See Patent Document 3).
しかしながら、上述のような入力装置においては、操作者の姿勢や位置によっては、手の動作の認識が適切に行えず、機器操作が困難になることがあるというという問題がある。 However, in the input device as described above, there is a problem that depending on the posture and position of the operator, the hand movement cannot be properly recognized, and the device operation may be difficult.
本発明は、このような事情に鑑みてなされたもので、その目的は、操作者が様々な姿勢をとっていたり、様々な位置にいたりしても操作可能なデータ入力装置およびデータ入力方法を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a data input device and a data input method that can be operated even when the operator takes various postures or is in various positions. It is to provide.
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、距離情報を取得する距離情報取得部と、少なくとも前記距離情報に基づき、操作者の手の動作を検出し、検出した前記動作を示す情報を出力する動作検出部とを備えたデータ入力装置であって、前記動作検出部は、略水平な基準入力平面に対する手の動作を検出し、前記距離情報取得部は、当該データ入力装置の出力に応じた画像が表示される表示装置の表示面と略同一平面上に設置され、前記距離情報取得部が取得する前記距離情報は、当該距離情報取得部から、前記基準入力平面に対して鋭角の角度をなす方向の距離を示すことを特徴とする。 (1) The present invention has been made to solve the above-described problems, and one aspect of the present invention is a distance information acquisition unit that acquires distance information, and an operation of an operator's hand based on at least the distance information. And a motion detection unit that outputs information indicating the detected motion, wherein the motion detection unit detects a hand motion with respect to a substantially horizontal reference input plane, and the distance The information acquisition unit is installed on substantially the same plane as the display surface of the display device on which an image corresponding to the output of the data input device is displayed, and the distance information acquired by the distance information acquisition unit is the distance information acquisition A distance in a direction that forms an acute angle with respect to the reference input plane.
（２）また、本発明の他の態様は、上述のデータ入力装置であって、前記基準入力平面上に入力領域を設定する入力領域設定部を更に備え、前記動作検出部は、前記入力領域に対する手の動作を検出することを特徴とする。 (2) According to another aspect of the present invention, there is provided the data input device described above, further including an input area setting unit that sets an input area on the reference input plane, wherein the motion detection unit includes the input area. It is characterized by detecting the movement of the hand with respect to.
（３）また、本発明の他の態様は、上述のデータ入力装置であって、前記入力領域設定部は、複数の前記入力領域を設定し、前記動作検出部は、前記複数の入力領域毎に、該入力領域に対する前記手の動作の検出を行うことを特徴とする。 (3) According to another aspect of the present invention, there is provided the data input device described above, wherein the input area setting unit sets a plurality of the input areas, and the motion detection unit is provided for each of the plurality of input areas. In addition, the movement of the hand with respect to the input area is detected.
（４）また、本発明の他の態様は、上述のデータ入力装置であって、前記動作検出部は、前記検出した動作を示す情報に加えて、該検出した動作が対象とした前記入力領域を示す情報を出力することを特徴とする。 (4) According to another aspect of the present invention, there is provided the data input device described above, wherein the motion detection unit includes the input area targeted by the detected motion in addition to the information indicating the detected motion. The information which shows is output.
（５）また、本発明の他の態様は、上述のいずれかのデータ入力装置であって、前記動作検出部は、前記設定した入力領域内に操作者の手があるか否かを検出し、前記検出結果を出力して、操作者に通知させることを特徴とする。 (5) According to another aspect of the present invention, in any one of the data input devices described above, the motion detection unit detects whether or not an operator's hand is in the set input area. The detection result is output to notify an operator.
（６）また、本発明の他の態様は 上述のいずれかのデータ入力装置であって、前記入力領域における操作方向を判定する操作方向判定部を更に備え、前記操作方向判定部によって判定された方向に従い、前記動作検出部により検出された動作を判別する事を特徴とする。 (6) According to another aspect of the present invention, any one of the above-described data input devices further includes an operation direction determination unit that determines an operation direction in the input area, and is determined by the operation direction determination unit. According to the direction, the motion detected by the motion detector is discriminated.
（７）また、本発明の他の態様は、上述のいずれかのデータ入力装置であって、前記距離情報取得部は、複数のカメラを備え、前記複数のカメラが出力する画像間の視差を算出し、該視差を表す情報を、前記距離情報とすることを特徴とする。 (7) Further, another aspect of the present invention is any one of the above-described data input devices, wherein the distance information acquisition unit includes a plurality of cameras, and parallax between images output by the plurality of cameras. The information calculated and representing the parallax is used as the distance information.
（８）また、本発明の他の態様は、距離情報を取得する距離情報取得部を備えるデータ入力装置であって、当該データ入力装置の出力に応じた画像が表示される表示装置の表示面と略同一平面上に設置され、前記距離情報は、当該距離情報取得部から、前記基準入力平面に対して鋭角の角度をなす方向の距離を示すデータ入力装置におけるデータ入力方法であって、少なくとも前記距離情報に基づき、操作者の手の動作であって、略水平な基準入力平面に対する動作を検出し、検出した前記動作を示す情報を出力するステップを有することを特徴とする。 (8) Moreover, the other aspect of this invention is a data input device provided with the distance information acquisition part which acquires distance information, Comprising: The display surface of the display apparatus on which the image according to the output of the said data input device is displayed The distance information is a data input method in a data input device that indicates a distance in a direction that forms an acute angle with respect to the reference input plane from the distance information acquisition unit, Based on the distance information, there is a step of detecting an operation of the hand of the operator with respect to a substantially horizontal reference input plane and outputting information indicating the detected operation.
この発明によれば、操作者が様々な姿勢をとっていたり、様々な位置にいたりしても操作可能である。 According to the present invention, it is possible to operate even when the operator takes various postures or is in various positions.
（第１の実施形態）
本発明の第１の実施形態について、図面を参照しながら説明する。図１は、本発明の実施形態におけるテレビ会議システムの構成を示すブロック図である。図１に示すように、本実施形態におけるテレビ会議システム１０は、表示装置１０１、データ入力装置１００、操作者の動作に応じて表示装置１０１上の表示データを制御する表示制御部１０７を含んで構成される。本実施形態におけるデータ入力装置１００は、表示装置１０１の上部に左右に並べて配置された２つのカメラ１０２、１０３、２つのカメラ画像から距離情報を算出する距離情報算出部１０４、カメラ画像と距離情報から操作者の動作を検知する領域を特定する入力領域設定部１０５、カメラ画像と距離情報を元に操作者の動作を検出する動作検出部１０６を含んで構成される。なお、カメラ１０２は、左側視点のカメラ（左カメラ）であり、カメラ１０３は、右側視点のカメラ（右カメラ）である。本実施形態では、カメラ１０２、１０３と距離情報算出部１０４とで、距離情報取得部を構成する。
(First embodiment)
A first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a video conference system according to an embodiment of the present invention. As shown in FIG. 1, the video conference system 10 in this embodiment includes a display device 101, a data input device 100, and a display control unit 107 that controls display data on the display device 101 according to the operation of the operator. Composed. The data input device 100 according to the present embodiment includes a distance information calculation unit 104 that calculates distance information from two cameras 102 and 103 and two camera images arranged side by side on the upper side of the display device 101, a camera image and distance information. The input region setting unit 105 for specifying the region for detecting the operation of the operator from the above, and the operation detection unit 106 for detecting the operation of the operator based on the camera image and the distance information. The camera 102 is a left viewpoint camera (left camera), and the camera 103 is a right viewpoint camera (right camera). In the present embodiment, the cameras 102 and 103 and the distance information calculation unit 104 constitute a distance information acquisition unit.
図１では、会議用の机１０８があり、その机に向かって会議の参加者であるテレビ会議システム１０の操作者１１１が２名存在する。机１０８の上面は、略水平であり、基準入力平面である。データ入力装置１００は、まず２つのカメラ１０２、１０３から机１０８の机上を含む画像を取得する。この際、２つのカメラ１０２、１０３は、それぞれの光軸が平行になるように設置されているのに加え、光軸と基準入力平面との角度が鋭角となるように設置される。図２はこれを示した図であり、図１を横から見た図である。図中にはカメラ１０３のみが記載されているが、この奥にカメラ１０２が存在する。図２において、線Ｌ１は、カメラ１０２、１０３の光軸である。机１０８は水平に設置されており、その机上面にある基準入力平面は水平面である。このように水平面に対する光軸Ｌ１の角度が、鋭角である傾きＡとなるようにカメラ１０２、１０３を設置している。このように設置する事により、図３に示すように斜め上方から机が存在する領域を撮影する事となる。これにより、図１のように会議の参加者が複数人である場合などでも、カメラ１０２、１０３が撮影したカメラ画像内で、各参加者の手が重なってしまうことを防ぐとともに、表示装置１０１と一体化して設置することも可能になり、テレビ会議システム１０の可搬性を損なわないようにすることができる。
また、２つのカメラは表示装置１０１の表示面と略同一平面上に配置される。ここでの略同一平面とは、表示面に近い位置に設置する事を示しており、例えばアーム等により表示装置１０１に接続され、表示面より多少の距離をもっていても良い。また、ここでは表示装置１０１の上側に配置しているが、ディスプレイサイズの大きさや操作者の条件によっては、横など他の場所に設置しても良い。
In FIG. 1, there is a conference desk 108, and there are two operators 111 of the video conference system 10 who are participants of the conference toward the desk. The upper surface of the desk 108 is substantially horizontal and is a reference input plane. The data input device 100 first acquires an image including the desk top of the desk 108 from the two cameras 102 and 103. At this time, the two cameras 102 and 103 are installed so that their optical axes are parallel to each other, and the angle between the optical axis and the reference input plane is an acute angle. FIG. 2 is a diagram showing this, and is a diagram of FIG. 1 viewed from the side. Although only the camera 103 is shown in the figure, the camera 102 exists behind this. In FIG. 2, a line L1 is the optical axis of the cameras 102 and 103. The desk 108 is installed horizontally, and the reference input plane on the desk top is a horizontal plane. In this way, the cameras 102 and 103 are installed so that the angle of the optical axis L1 with respect to the horizontal plane is an acute inclination A. By installing in this way, as shown in FIG. 3, the area | region where a desk exists will be imaged from diagonally upward. Thereby, even when there are a plurality of participants in the conference as shown in FIG. 1, the hands of the participants are prevented from overlapping in the camera images taken by the cameras 102 and 103, and the display device 101. It is also possible to install the videoconferencing system 10 and the videoconferencing system 10 without impairing their portability.
Further, the two cameras are arranged on substantially the same plane as the display surface of the display device 101. Here, “substantially the same plane” means installation at a position close to the display surface. For example, it may be connected to the display device 101 by an arm or the like, and may have a slight distance from the display surface. Further, although it is arranged above the display device 101 here, it may be installed in another place such as a side depending on the size of the display and the conditions of the operator.
図３は、カメラ１０２、１０３によるカメラ画像の例を示す図である。図３において画像Ｇ１は、左カメラであるカメラ１０２が撮影した画像であり、画像Ｇ２は、右カメラであるカメラ１０３が撮影した画像である。画像Ｇ１、Ｇ２中には、机１０８が映っている。画像Ｇ１、Ｇ２にそれぞれ記載されている黒丸は机の同一部分を示している。画像Ｇ１とＧ２とで視点位置が異なるため、この同一部分は、画像Ｇ１とＧ２とで異なる位置に撮影されている。この机の同一部分同士の横方向における座標の差分ｄが視差である。視差とは、視点位置の違いにより起こる、２つの画像における各画像内の対応点同士の位置ずれ量を示す。カメラ１０２、１０３によって撮影されたカメラ画像は、図１に示した距離情報算出部１０４へと送られ、距離算出部１０４はこれらの画像について視差を算出する。 FIG. 3 is a diagram illustrating an example of camera images obtained by the cameras 102 and 103. In FIG. 3, an image G1 is an image taken by the camera 102 which is the left camera, and an image G2 is an image taken by the camera 103 which is the right camera. A desk 108 is shown in the images G1 and G2. Black circles respectively described in the images G1 and G2 indicate the same part of the desk. Since the viewpoint positions are different between the images G1 and G2, the same portion is photographed at different positions in the images G1 and G2. The difference d between the coordinates of the same part of the desk in the horizontal direction is parallax. The parallax indicates the amount of positional deviation between corresponding points in each image that occurs due to a difference in viewpoint position. The camera images taken by the cameras 102 and 103 are sent to the distance information calculation unit 104 shown in FIG. 1, and the distance calculation unit 104 calculates parallax for these images.
ここで、距離算出部１０４による視差の算出方法について記載する。視差を算出する方法としては、公知の方法であるステレオマッチングを用いる。また、ステレオマッチングには、ＳＡＤ（Sum of Absolute Differences）やＳＳＤ（Sum of Squared Difference）と呼ばれる手法があり、いずれの方法を用いてもよいが、本実施形態ではＳＡＤを用いる。 Here, a parallax calculation method by the distance calculation unit 104 will be described. As a method for calculating the parallax, stereo matching which is a known method is used. In stereo matching, there are methods called SAD (Sum of Absolute Differences) and SSD (Sum of Squared Difference). Either method may be used, but in this embodiment, SAD is used.
図４をもちいて、ＳＡＤによるブロックマッチングを説明する。図４に示す左画像１１２と右画像１１３において、エピポーラ線は一致しているものとし、左右画像上の対応点は水平方向に同一ライン上にあるものとして、距離算出部１０４は対応点探索を行う。エピポーラ線とは、２つのカメラがあった場合に、図５に示すように空間中の特徴点１１９と、２つのカメラのレンズ中心１１７、１１８の３点によってできる平面（エピポーラ平面）１２０と、それぞれのカメラの画像平面１２１、１２２との交線が対応する線であり、図では１２３、１２４で示す点線となる。カメラの光軸が平行になるようにカメラを配置する平行配置の場合は、このエピポーラ線１２３，１２４は、同じ高さの水平な直線となる。このような場合、２つの画像において１ライン上で対応点探索を行えばよい。本実施形態において、２つのカメラ１０２、１０３は平行配置であるので、距離算出部１０４は、２つの画像で上下方向に同じ位置のライン同士で対応点探索を行えばよいこととなる。 Block matching by SAD will be described with reference to FIG. In the left image 112 and the right image 113 shown in FIG. 4, it is assumed that the epipolar lines coincide, the corresponding points on the left and right images are on the same line in the horizontal direction, and the distance calculation unit 104 searches for the corresponding points. Do. The epipolar line is a plane (epipolar plane) 120 formed by three points of the feature point 119 in the space and the lens centers 117 and 118 of the two cameras as shown in FIG. 5 when there are two cameras. The intersecting lines with the image planes 121 and 122 of the respective cameras are the corresponding lines, and are dotted lines indicated by 123 and 124 in the figure. In the case of a parallel arrangement in which the cameras are arranged so that the optical axes of the cameras are parallel, the epipolar lines 123 and 124 are horizontal straight lines having the same height. In such a case, a corresponding point search may be performed on one line in two images. In the present embodiment, since the two cameras 102 and 103 are arranged in parallel, the distance calculation unit 104 only needs to search for corresponding points between two images at the same position in the vertical direction.
図４に戻って、距離算出部１０４は、対応点探索を行う際に、左画像１１２上で視差を算出したい画素を中心に３画素×３画素のサイズを持つウインドウ１１４を設定する。ウインドウ１１４は、左画像１１２の右端からＬ画素の位置とする。右画像１１３において、このウインドウ１１４と同一ライン上で画像右端からＬ+ｄ２の距離離れた位置のウインドウ１１５から、画像右端からＬの位置にあるウインドウ１１６まで、１画素ずつウインドウの位置をずらしながら左画像のウインドウ１１４に対する相関値を計算することにより、対応点を特定する。 Returning to FIG. 4, when performing the corresponding point search, the distance calculation unit 104 sets a window 114 having a size of 3 pixels × 3 pixels around the pixel for which parallax is to be calculated on the left image 112. The window 114 is positioned at L pixels from the right end of the left image 112. In the right image 113, the position of the window is shifted by one pixel from the window 115 at a distance of L + d2 from the right end of the image on the same line as the window 114 to the window 116 at the L position from the right end of the image. Corresponding points are specified by calculating a correlation value for the window 114 of the left image.
図６、図７は、それぞれウインドウ１１４、１１５を示しておりＸ０、Ｘa０などＸやＸaに数値を付与した記号は、各画素における画素値（ここでは、Ｇ（緑）の輝度値）を示している。図６に示すように、ウインドウ１１４の各画素の画素値は、最上段の左側の画素から順に画素値Ｘ０、Ｘ１、Ｘ２、次に真ん中の段の左側の画素から順に画素値Ｘ３、Ｘ４、Ｘ５、次に最下段の左側の画素から順に画素値Ｘ６、Ｘ７、Ｘ８である。同様に、図７に示すように、ウインドウ１１５の各画素の画素値は、最上段の左側の画素から順に画素値Ｘa０、Ｘa１、Ｘa２、次に真ん中の段の左側の画素から順に画素値Ｘa３、Ｘa４、Ｘa５、次に最下段の左側の画素から順に画素値Ｘa６、Ｘa７、Ｘa８である。距離算出部１０４は、式（１）を用いて、ウインドウ１１４とウインドウ１１５の相関値であるＳＡＤ値を算出する。 FIGS. 6 and 7 show windows 114 and 115, respectively, and symbols such as X 0 and X a0 that give numerical values to X and X a are pixel values in each pixel (here, the luminance value of G (green)). ). As shown in FIG. 6, the pixel value of each pixel of the window 114 is the pixel value X 0 , X 1 , X 2 in order from the leftmost pixel in the uppermost row, and then the pixel value X in order from the leftmost pixel in the middle row. 3 , X 4 , X 5 , and then pixel values X 6 , X 7 , X 8 in order from the leftmost pixel at the bottom. Similarly, as shown in FIG. 7, the pixel values of the pixels of the window 115 are the pixel values X a0 , X a1 , X a2 in order from the leftmost pixel in the uppermost stage, and then in order from the left pixel in the middle stage. Pixel values X a3 , X a4 , X a5 , and then pixel values X a6 , X a7 , X a8 in order from the leftmost pixel at the bottom. The distance calculation unit 104 calculates an SAD value, which is a correlation value between the window 114 and the window 115, using Expression (1).
距離算出部１０４は、ウインドウ１１４を固定したまま、右画像１１３上でウインドウ１１５を、ウインドウ１１６の位置まで移動させながら、ＳＡＤ値を算出していく。そして、ＳＡＤ値が最も小さくなったときのウインドウ１１５の中心をウインドウ１１４の中心画素に対する対応点とする。距離算出部１０４は、この対応点と、ウインドウ１１４の中心画素との間の距離を算出し、ウインドウ１１４の中心画素の視差とする。距離算出部１０４は、このような操作を、左画像１１２の全ての画素に対して行う事で、左画像１１２の視差マップを算出する。なお、視差マップとは、画像の各画素に対して視差を算出し、各画素における視差を示す値を画素値としたものである。 The distance calculation unit 104 calculates the SAD value while moving the window 115 to the position of the window 116 on the right image 113 while the window 114 is fixed. Then, the center of the window 115 when the SAD value becomes the smallest is set as the corresponding point with respect to the center pixel of the window 114. The distance calculation unit 104 calculates the distance between this corresponding point and the center pixel of the window 114 and sets it as the parallax of the center pixel of the window 114. The distance calculation unit 104 calculates the parallax map of the left image 112 by performing such an operation on all the pixels of the left image 112. Note that the parallax map is a parallax calculated for each pixel of an image and a value indicating the parallax at each pixel as a pixel value.
なお、ここでは、ウインドウ１１４、１１５のウインドウサイズは３画素×３画素としたが、３画素×５画素、５画素×５画素、９画素×９画素などより大きくてもよい。また、ウインドウの重心位置が中央からはずれるが４画素×４画素などの偶数のウインドウでもよく、これらのサイズに限定するものではない。探索範囲であるｄ２はカメラ基線長や被写体の距離などの条件に従い、自由に設定する事が可能である。また、探索方向もここではウインドウ１１５からウインドウ１１６の方向へ探索を行っているが、左画像１１２を基準に探索している為であり、この方向に限定するものではない。また、図６、図７にてＸ０等の画素値はＧの画素値としたが、Ｒ（赤）やＢ（青）など他の色のどれか一つや合計値、あるいは各画素の輝度値、またＲＧＢ３色全てを用いてもよく、これに限定されるものではない。 Here, the window sizes of the windows 114 and 115 are 3 pixels × 3 pixels, but may be larger than 3 pixels × 5 pixels, 5 pixels × 5 pixels, 9 pixels × 9 pixels, and the like. Further, although the center of gravity of the window deviates from the center, it may be an even window such as 4 × 4 pixels, and is not limited to these sizes. The search range d2 can be freely set according to conditions such as the camera base line length and the subject distance. In this case, the search is performed in the direction from the window 115 to the window 116, but the search is based on the left image 112, and the search direction is not limited to this. Also, FIG. 6, the pixel value of X 0 such in FIG. 7 is set to the pixel values of G, R (red) and B (blue) such as any one or a total value of another color or brightness of each pixel The values and all three colors of RGB may be used, but are not limited to this.
本実施形態における距離情報は、距離算出部１０４が算出した視差である。視差は、カメラからその光軸方向の距離が近いほど大きく、距離が遠いほど小さくなるため、カメラからの光軸方向の距離に対応した情報である。なお、視差はカメラの基線長などカメラパラメータを元に実際の距離に変換することも可能であり、距離算出部１０４で実際の距離に変換しても良いが、本実施形態では、距離に変換せず視差をそのまま距離情報として扱う。 The distance information in the present embodiment is the parallax calculated by the distance calculation unit 104. The parallax is information corresponding to the distance in the optical axis direction from the camera because the parallax increases as the distance in the optical axis direction from the camera decreases and decreases as the distance increases. Note that the parallax can be converted into an actual distance based on camera parameters such as the base line length of the camera, and may be converted into an actual distance by the distance calculation unit 104. However, in this embodiment, the parallax is converted into a distance. Without disparity, the parallax is treated as distance information.
左側視点のカメラ１０２のカメラ画像に対応する視差マップを画像で表した物を図８に示す。図８は、視差マップを示す画像であり、画素値が視差を表す。すなわち、視差が大きいほど画素値が大きくなっており、画像を表示した際の輝度が大きく明るく表示される。図８では、机１０８の手前が大きな画素値、奥が小さな画素値になっており、手前から奥側に向けて暗くなっている事がわかる。なお、机１０８の表面は、視差を検出できるように木目などの模様が描かれている方が望ましい。机１０８の表面が無地であり、ＳＡＤによる視差算出でＳＡＤ値が最小となる対応点が複数検出され視差の検出が困難であるときは、カメラ画像内での机の左右の端について視差を検出し、これらの間を線形補間することで、視差を算出するようにしてもよい。机の左右端は背景がブロック内に映りこむことから、視差の算出が可能である為である。図１の距離算出部１０４は、左側視点のカメラ１０２のカメラ画像と、該カメラ画像に対応する視差マップ（距離情報）を入力領域設定部１０５へ送る。 FIG. 8 shows a parallax map corresponding to the camera image of the camera 102 on the left viewpoint as an image. FIG. 8 is an image showing a parallax map, and pixel values represent parallax. That is, the larger the parallax, the larger the pixel value, and the brighter the image is displayed, the brighter the image is displayed. In FIG. 8, it can be seen that the front side of the desk 108 has a large pixel value and the back side has a small pixel value, and it is darker from the front side toward the back side. It is desirable that the surface of the desk 108 has a pattern such as wood grain so that parallax can be detected. When the surface of the desk 108 is plain and a plurality of corresponding points where the SAD value is minimum is detected by the SAD parallax calculation and it is difficult to detect the parallax, the parallax is detected for the left and right edges of the desk in the camera image. Then, the parallax may be calculated by linearly interpolating between them. This is because the parallax can be calculated because the background appears in the block at the left and right edges of the desk. The distance calculation unit 104 in FIG. 1 sends the camera image of the camera 102 on the left viewpoint and the parallax map (distance information) corresponding to the camera image to the input region setting unit 105.
入力領域設定部１０５は、テレビ会議システム１０の操作者１１１による入力動作を検知する入力領域を操作者１１１ごとに設定する。入力領域設定部１０５は、設定した入力領域までの距離と、カメラ画像中での位置とを示す情報を、入力領域を示す情報として動作検出部１０６に出力する。以下に説明するように、本実施形態において、入力領域は机１０８上の矩形の領域であり、入力領域設定部１０５は、該矩形の領域の各頂点における視差と、カメラ画像中での座標とを、入力領域を示す情報として出力する。また、入力領域設定部１０５は入力領域を示す情報に加え、距離情報算出部１０４が出力した距離情報と、カメラ画像とを、そのまま動作検出部１０６に出力する。 The input area setting unit 105 sets an input area for detecting an input operation by the operator 111 of the video conference system 10 for each operator 111. The input area setting unit 105 outputs information indicating the set distance to the input area and the position in the camera image to the motion detection unit 106 as information indicating the input area. As will be described below, in the present embodiment, the input area is a rectangular area on the desk 108, and the input area setting unit 105 determines the parallax at each vertex of the rectangular area, the coordinates in the camera image, Are output as information indicating the input area. In addition to the information indicating the input area, the input area setting unit 105 outputs the distance information output by the distance information calculation unit 104 and the camera image to the operation detection unit 106 as they are.
図１に示すように、２名の操作者１１１がいる場合、操作者１１１それぞれの前面机１０８上に入力領域１０９、１１０を設定する。入力領域１０９、１１０は各操作者１１１が自由に設定する。テレビ会議システム１０起動時に入力領域が未設定の場合は、入力領域設定部１０５は、表示制御部１０７を通して表示装置１０１に入力領域の設定を促す表示を行う。入力領域設定部１０５は、各操作者１１１が机１０８上を指で囲むようにして指定した領域を検出して、該領域を入力領域とする。 As shown in FIG. 1, when there are two operators 111, input areas 109 and 110 are set on the front desk 108 of each operator 111. Each operator 111 freely sets the input areas 109 and 110. If the input area is not set when the video conference system 10 is activated, the input area setting unit 105 performs a display prompting the display device 101 to set the input area through the display control unit 107. The input area setting unit 105 detects an area designated by each operator 111 so as to surround the desk 108 with a finger, and sets the area as an input area.
図９は、入力領域設定時のカメラ画像の例を示す図である。点線で示した手Ｈ１ａ、Ｈ２ａが設定する入力領域１０９、１１０の開始位置であり、終了位置である手Ｈ２ａ、Ｈ２ｂまで動かしたときの指先が描く軌跡が、入力領域１０９、１１０の外縁となる。すなわち、手を動かしていくと、入力領域設定部１０５は、距離情報算出部１０４が出力したカメラ画像と距離情報から、時間方向に指先の動きを追従して、指先が描く軌跡を検出する。そして、入力領域設定部１０５は、該軌跡で囲まれた領域１０９、１１０を入力領域として設定する。 FIG. 9 is a diagram illustrating an example of a camera image when an input area is set. The trajectory drawn by the fingertip when moving to the hands H2a and H2b, which are the end positions, is the outer edge of the input areas 109 and 110. . That is, as the hand is moved, the input area setting unit 105 detects the locus drawn by the fingertip by following the movement of the fingertip in the time direction from the camera image and the distance information output from the distance information calculation unit 104. Then, the input area setting unit 105 sets the areas 109 and 110 surrounded by the locus as input areas.
入力領域設定部１０５は、領域の設定入力開始と終了を明確にするために、開始時と終了時に例えば手をひらいて手のひらをカメラ１０２、１０３に向かってかざすといった特定の動作をトリガーとして検知するようにしてもよい。例えば、入力領域設定部１０５は、トリガーとなる動作を検知後、画像と距離情報から机１０８上に指が触れたことを検知した場合に、そこを入力領域の開始位置とする。そして、指を机上から離した位置までの軌跡を元に入力領域を設定し、終了の動作をトリガーとして入力領域の設定を終了する。これにより、意図しない動作を入力領域設定の動作として誤認識してしまう事を防止し、設定の信頼度を向上する事が出来る。なお、ここでは開始、終了共にトリガーとなる動作を検知する例を示したが、どちらか片方であっても良い。また、特定の動作はここに示した物に限らず、あらかじめ決められた時間（例えば３秒間）手を動かさないことをトリガーとする等の動作であってもよい。操作者１１１ごとに入力領域の設定を促す表示を行い、順次上記のような方法により設定を行ってもよい。 In order to clarify the start and end of setting the area, the input area setting unit 105 detects, for example, a specific action as a trigger at the start and end, for example, by holding the hand and holding the palm toward the cameras 102 and 103. You may do it. For example, if the input area setting unit 105 detects a trigger operation and then detects that a finger touches the desk 108 from the image and distance information, the input area setting unit 105 sets the input area as the start position of the input area. Then, the input area is set based on the trajectory to the position where the finger is released from the desk, and the setting of the input area is ended using the end operation as a trigger. As a result, it is possible to prevent an unintended operation from being erroneously recognized as an input region setting operation and to improve the setting reliability. In addition, although the example which detects the operation | movement used as a trigger both the start and the end was shown here, either one may be sufficient. In addition, the specific operation is not limited to the one shown here, and may be an operation such as a trigger that does not move the hand for a predetermined time (for example, 3 seconds). A display that prompts the operator 111 to set the input area may be displayed, and the setting may be sequentially performed by the method described above.
動作検出部１０６には、入力領域設定部１０５から入力領域を示す情報と、左カメラ画像と、距離情報（視差マップ）とが送られてくる。動作検出部１０６は、これらの情報を元に操作者１１１の動作を検出する。まず、動作検出部１０６は、入力領域設定部１０５で設定した入力領域１０９、１１０に操作者１１１の手があるか否かを判定する。動作検出部１０６は、入力領域１０９、あるいは入力領域１１０内部に手があると判定した場合、その動作を検出し、検出した動作を示す情報を表示制御部１０７へと送る。 Information indicating an input area, a left camera image, and distance information (parallax map) are sent from the input area setting unit 105 to the motion detection unit 106. The motion detection unit 106 detects the motion of the operator 111 based on these pieces of information. First, the motion detection unit 106 determines whether or not the operator 111 has a hand in the input areas 109 and 110 set by the input area setting unit 105. When it is determined that there is a hand in the input area 109 or the input area 110, the operation detection unit 106 detects the operation and sends information indicating the detected operation to the display control unit 107.
動作検出部１０６が検出する動作と、検知結果として表示制御部１０７に出力する情報との組合せとしては、例えば、机１０８に指を接したままでの入力領域１０９、１１０内の移動と、該移動の移動方向および移動量を示すベクトルとがある。また、入力領域１０９、１１０内での指による机１０８上へのタップ（短い時間触れて離す動作）や長押しと、該タップや長押しをした位置を示す座標とがある。また、図１０を参照して説明するように、指を机１０８から離してから一定時間内に戻す動作と、該動作を行った位置を示す座標とがある。また、動作検出部１０６は、表示制御部１０７に出力する情報として、いずれの入力領域１０９、１１０にて検出した動作であるかを示す情報を含めてもよい。表示制御部１０７は、該情報に基づき、操作者１１１毎にポインタを表示するなどの制御を行うことができる。 Examples of the combination of the action detected by the action detection unit 106 and the information output to the display control unit 107 as the detection result include, for example, movement in the input areas 109 and 110 while keeping the finger in contact with the desk 108, There is a vector indicating the direction and amount of movement. In addition, there are a tap on the desk 108 by a finger in the input areas 109 and 110 (a touch and release operation for a short time) and a long press, and coordinates indicating a position where the tap or the long press is performed. Further, as will be described with reference to FIG. 10, there are an operation of returning a finger from a desk 108 within a predetermined time and coordinates indicating a position where the operation is performed. Further, the operation detection unit 106 may include information indicating in which input region 109 or 110 the operation is detected as information to be output to the display control unit 107. The display control unit 107 can perform control such as displaying a pointer for each operator 111 based on the information.
図１０は、動作検出部１０６が検知する動作の例を説明する図である。図１０に示すように操作者１１１が領域１０９内において指先を机１０８に付けたまま、手Ｈ１ｃを記号Ａで示す矢印の方向（操作者１１１から見て右側）に動かしたとする。動作検出部１０６は、その移動方向、移動量を検知し、その情報を表示制御部１０７へ送る。表示制御部１０７はこれに従い表示装置１０１の画面上に表示するマウスカーソルの位置を、指の移動方向および移動量に応じて動かした位置に変更する。ここでは、画面上で右方向に位置を動かす。また、領域１０９内で指を動かした後、机１０８上の特定の位置で指を離して一定時間以内に再度指をつけた場合には、一般的なパーソナルコンピュータにおけるユーザーインターフェースであるマウスでのクリック動作と同様の処理を行ったと認識する。このように動作を検知して、その動作に応じてシステムを制御する事で、ノートパソコンに搭載されているタッチパッドと同等の機能を持つユーザーインターフェースを実現する事が可能となる。 FIG. 10 is a diagram for explaining an example of an operation detected by the operation detection unit 106. As shown in FIG. 10, it is assumed that the operator 111 moves the hand H1c in the direction indicated by the symbol A (right side as viewed from the operator 111) while the fingertip is attached to the desk 108 in the area 109. The motion detection unit 106 detects the movement direction and the movement amount, and sends the information to the display control unit 107. In accordance with this, the display control unit 107 changes the position of the mouse cursor displayed on the screen of the display device 101 to a position moved according to the moving direction and moving amount of the finger. Here, the position is moved to the right on the screen. In addition, when a finger is moved within the area 109 and then released at a specific position on the desk 108 and then put on again within a certain time, a mouse that is a user interface in a general personal computer is used. It is recognized that the same processing as the click operation has been performed. By detecting the operation in this way and controlling the system in accordance with the operation, it is possible to realize a user interface having a function equivalent to that of a touch pad mounted on a notebook personal computer.
なお、本実施形態では、動作検出部１０６は、動作の検知に、カメラ画像と距離情報とを用いる。動作検出部１０６は、まず、カメラ画像中から特定の色の領域を検出することで、手の検出を行う。あらかじめ手として認識する色の範囲を設定しておき、この情報を元に手を検出する。なお、カメラ画像中で、手の検出を行う範囲は、入力領域設定部１０５が設定した入力領域に応じた範囲としてもよい。図１０などでも分かるように、指先が入力領域にあるときは、手は入力領域内または入力領域より上側か操作者側（図１０では左側）にある。そこで、動作検出部１０６は、手の検出を行う範囲を、入力領域を上側と操作者側とに所定の幅だけ広げた範囲とする。 In the present embodiment, the motion detection unit 106 uses a camera image and distance information for motion detection. The motion detection unit 106 first detects a hand by detecting a specific color region from the camera image. A color range to be recognized as a hand is set in advance, and the hand is detected based on this information. In the camera image, the range in which the hand is detected may be a range corresponding to the input area set by the input area setting unit 105. As can be seen in FIG. 10 and the like, when the fingertip is in the input area, the hand is in the input area or above the input area or on the operator side (left side in FIG. 10). Therefore, the motion detection unit 106 sets the range in which the hand is detected as a range in which the input area is widened to the upper side and the operator side by a predetermined width.
次に、動作検出部１０６は、手として検出した領域に対応する、距離情報中の領域を抽出する。そして、動作検出部１０６は、この抽出した領域が示す各画素における距離に、該画素における机１０８の距離との差が、予め決められた閾値以下のものがあるか否かを判定する。閾値以下のものがあると判定したときは、指先が机１０８に接していると判定する。なお、各画素における机１０８の距離は、入力領域設定部１０５が出力した入力領域までの距離と、カメラ画像中での位置とを示す情報に基づき算出する。 Next, the motion detection unit 106 extracts a region in the distance information corresponding to the region detected as a hand. Then, the motion detection unit 106 determines whether or not the distance between the pixels indicated by the extracted region has a difference between the distance of the desk 108 in the pixel and a predetermined threshold value or less. When it is determined that there is something below the threshold, it is determined that the fingertip is in contact with the desk 108. The distance of the desk 108 in each pixel is calculated based on information indicating the distance to the input area output from the input area setting unit 105 and the position in the camera image.
なお、ここでは色に基づき手を検出するとしたが、形状情報を使用して検出しても良い。形状情報を利用する場合には、あらかじめ様々な形の手の形状をデータベース化して保持しておき、このデータベースと照合すると共に色情報と合わせて判定するなどの方法がある。また、入力領域設定時などに予め手の色を認識し、該色に基づき検出するようにしても良い。これにより個人差や照明環境に左右されることなく、手の認識精度を向上する事が可能である。 Although the hand is detected based on the color here, it may be detected using shape information. In the case of using shape information, there are methods such as preliminarily storing various shapes of hand shapes in a database, comparing them with this database, and determining them together with color information. Further, the color of the hand may be recognized in advance at the time of setting the input area and detected based on the color. As a result, it is possible to improve hand recognition accuracy without being influenced by individual differences or lighting environment.
このようにカメラ画像と距離情報とを用いることで、カメラ画像のみでは困難な細かい動作の認識をする事ができる。例えば、図１１に示すように、手の位置が、手Ｈ１ｄから手Ｈ１ｅへと、Ｂの方向に移動したとする。カメラ画像Ｇ１からは机１０８上をなぞりながら奥に向かって指を動かしたのか、それとも机１０８から指を離して上方向に指を上げたのか、という判断は困難である。しかし、この際に、距離情報Ｇ２、すなわち視差を参照すると、手Ｈ１ｄと手Ｈ１ｅでは視差（距離）が変化していない。これは、カメラ１０２、１０３から手までの距離があまり変化していないことを示している。したがって、後者の指を机から離した動作である事がわかる。 As described above, by using the camera image and the distance information, it is possible to recognize a fine operation that is difficult only with the camera image. For example, as shown in FIG. 11, it is assumed that the position of the hand moves in the direction B from the hand H1d to the hand H1e. From the camera image G1, it is difficult to determine whether the finger is moved toward the back while tracing the desk 108, or whether the finger is lifted upward with the finger removed from the desk 108. However, at this time, referring to the distance information G2, that is, the parallax, the parallax (distance) does not change between the hand H1d and the hand H1e. This indicates that the distance from the cameras 102 and 103 to the hand has not changed much. Therefore, it can be seen that the latter operation is performed by removing the finger from the desk.
また、入力領域設定部１０５により複数の入力領域１０９、１１０を設定した場合、動作検出部１０６は複数人による複数の動作を検知する必要がある。この際にも距離情報を利用する事により、入力領域１１０内に操作者１１１の実際に手があるのか、それともカメラ画像の見かけ上、手前にいる人物の手が奥側の領域１１０内に入ったように見えるだけで、領域１１０を入力領域としている操作者１１１は実際には何も入力していないのか、といった細かい判別が可能となり、複数人でも誤動作を防止しながら操作する事が可能となる。 Further, when a plurality of input areas 109 and 110 are set by the input area setting unit 105, the operation detection unit 106 needs to detect a plurality of operations by a plurality of people. Also in this case, by using the distance information, whether the operator 111 actually has a hand in the input area 110, or the hand of the person who is in front of the camera image appears in the back area 110. The operator 111 who uses the area 110 as an input area can make a fine determination as to whether he / she is actually inputting anything, and it is possible for multiple persons to operate while preventing malfunctions. Become.
また、操作者１１１毎に入力領域を設定する事で複数人での操作を実現すると共に、領域外での操作は検知しないため、会議中メモを取ったり資料を取ったりといった動作を行ってもそれを画面の操作とは区別する事が可能となり、より柔軟な使用が可能となる。机には触れずに入力領域上を手が移動した場合も、画像だけで判別すると入力として検知されてしまうが、距離情報から机に触れていない事がわかる為、誤動作の防止が出来る。
なお、本実施形態では指の動きを検知し、囲んだ領域を入力領域として設定したが、実際に指で囲んだり、本などの物を置き、置いた部分の机上の領域を入力領域としたり、本そのものを入力領域とするといった設定方法でも良い。また、操作者の手を認識する事で大体の操作者の位置を把握し、その位置に応じて机上のあらかじめ決まった面積の領域を入力領域として自動で設定しても良い。また、顔認識技術を応用し、操作者の顔を認識する事で操作者の位置をより正確に認識して、入力領域の自動設定の精度を向上しても良い。
In addition, by setting an input area for each operator 111, operation by a plurality of people is realized, and operations outside the area are not detected, so even if an operation such as taking notes during a meeting or taking materials is performed. This can be distinguished from screen operations, and can be used more flexibly. Even if the hand moves on the input area without touching the desk, it is detected as an input if it is determined only by the image. However, since it is understood from the distance information that the desk is not touched, malfunction can be prevented.
In this embodiment, the movement of the finger is detected and the enclosed area is set as the input area. However, the area surrounded by the finger, the book, etc. A setting method in which the book itself is used as the input area may be used. Further, it is possible to recognize the position of the operator by recognizing the hand of the operator, and automatically set an area of a predetermined area on the desk as an input area according to the position. In addition, by applying face recognition technology, the operator's face may be recognized to more accurately recognize the position of the operator, thereby improving the accuracy of automatic input area setting.
また、自動で設定した領域がどの位置なのかを操作者に認識させる為に、入力領域設定部１０５が出力した入力領域を示す情報に基づき、表示制御部１０７が、左カメラ１０２、あるいは右カメラ１０２の映像に入力領域を示すマーカー等を重畳した画像を表示装置１０１に表示させても良い。これにより、自動で領域を設定する場合にも、操作者が入力領域を把握する事が可能となる。また、入力領域の設定開始、終了の動作は手のひらをかざすとしたが、これに限定されるものではなく例えば手を握る、あるいはカメラ１０２、１０３の前で手を横方向に動かすなどその他の動作であってよい。 Further, in order to allow the operator to recognize the position of the automatically set area, the display control unit 107 uses the left camera 102 or the right camera based on the information indicating the input area output from the input area setting unit 105. An image obtained by superimposing a marker or the like indicating the input area on the video image 102 may be displayed on the display device 101. Thereby, even when an area is set automatically, the operator can grasp the input area. The input region setting start and end operations are performed by holding the palm of the hand. However, the present invention is not limited to this. For example, other operations such as holding the hand or moving the hand in front of the cameras 102 and 103 are performed. It may be.
また、距離算出部１０４では左カメラ画像を基準として視差情報を算出するとしたため、左カメラ画像と、それに対応する視差マップとを入力領域設定部１０５以降に送っているが、右カメラ画像を合わせて送っても良い。また、右カメラ画像を基準にして視差を算出し、右カメラ画像と、それに対応する視差マップとを送っても良い。 Also, since the distance calculation unit 104 calculates the parallax information with reference to the left camera image, the left camera image and the corresponding parallax map are sent to the input area setting unit 105 and later, but the right camera image is combined. You can send it. Alternatively, the parallax may be calculated based on the right camera image, and the right camera image and the corresponding parallax map may be sent.
また、ここでは操作者１１１は図１に示す位置に居るとしたが、図１２に示す操作者１２５のように、操作者が表示装置１０１に対して正面に居る場合もある。図１２に示す操作者１２５と、操作者１２５が設定した入力領域１２６の位置を考慮すると、操作者の向きに応じて、検知した動作に対応する表示制御部１０７への動作を切替える必要がある。例えば、図１３に示した左カメラ画像のように、入力領域１０９でＢの方向に手を動かした場合と、入力領域１２６でＣの方向に手を動かした場合では、方向はＢもＣも同じである。しかし、操作者の位置に従い動作を変える必要があり、例えば表示装置１０１上のポインタを動かす場合、入力領域１０９におけるＢ方向では画面上の左右方向の移動、入力領域１２６におけるＣ方向では上下方向の移動として検知する必要がある。 Here, the operator 111 is at the position shown in FIG. 1, but the operator may be in front of the display device 101 like the operator 125 shown in FIG. 12. In consideration of the operator 125 shown in FIG. 12 and the position of the input area 126 set by the operator 125, it is necessary to switch the operation to the display control unit 107 corresponding to the detected operation according to the orientation of the operator. . For example, as in the left camera image shown in FIG. 13, when the hand is moved in the direction of B in the input area 109 and when the hand is moved in the direction of C in the input area 126, the directions are both B and C. The same. However, it is necessary to change the operation according to the position of the operator. For example, when the pointer on the display device 101 is moved, the B direction in the input area 109 moves in the horizontal direction on the screen, and the C direction in the input area 126 moves up and down. It needs to be detected as movement.
そのため、各入力領域毎に、入力領域における操作方向と画面上の操作方向とを対応づける操作方向判定部を備える事で、様々な位置の操作者に対応する事が可能となる。対応付けの方法としては、ここで示した図１３ではカメラ画像上に人が映っていないが、人が映っている場合には入力領域設定部１０５または動作検出部１０６において顔認証技術を応用し、操作者の居る向きを特定して入力領域毎に対応付けを切替える方法がある。また、入力領域設定部１０５による入力領域設定時に、入力領域における操作方向と画面上の操作方向との対応付けを特定する機能を追加しても良い。例えば、左から右に操作する場合の動作を指示する表示を出し、このときの指の動きを検知して操作方向の対応付けを特定する方法がある。また、入力領域設定時の開始位置を必ず入力領域の左下から開始する、といった制限を加える事でも操作方向の対応付けの特定が可能となる。動作検出部１０６は、このように設定された入力領域における操作方向と画面上の操作方向とを対応づけに基づき、検出した動作の向きを、画面上の操作方向に変換する。そして、動作検出部１０６は、検出された動作を示す情報として、この変換された情報を表示制御部１０７に出力する。 Therefore, by providing an operation direction determination unit that associates the operation direction in the input area with the operation direction on the screen for each input area, it is possible to correspond to operators at various positions. As an association method, a person is not shown on the camera image in FIG. 13 shown here. However, when a person is shown, the face authentication technique is applied to the input area setting unit 105 or the action detecting unit 106. There is a method of switching the association for each input area by specifying the direction in which the operator is present. In addition, when the input area is set by the input area setting unit 105, a function for specifying the correspondence between the operation direction in the input area and the operation direction on the screen may be added. For example, there is a method in which a display for instructing an operation when operating from the left to the right is displayed, and the correspondence between the operation directions is identified by detecting the movement of the finger at this time. It is also possible to specify the correspondence between the operation directions by adding a restriction that the start position when setting the input area always starts from the lower left of the input area. The motion detection unit 106 converts the detected motion direction into the operation direction on the screen based on the correspondence between the operation direction in the input area set in this way and the operation direction on the screen. Then, the operation detection unit 106 outputs the converted information to the display control unit 107 as information indicating the detected operation.
（第２の実施形態）
本発明の第２の実施形態について、図面を参照しながら説明する。図１４は、本実施形態におけるデータ入力装置を備えたタブレット端末２００の使用環境を示す図である。図１５は、本実施形態におけるタブレット端末２００の構成を示すブロック図である。なお、同図において、図１の各部と同様の部分には、同一の符号（１０７）を付し、説明を省略する。
(Second Embodiment)
A second embodiment of the present invention will be described with reference to the drawings. FIG. 14 is a diagram illustrating a usage environment of the tablet terminal 200 including the data input device according to the present embodiment. FIG. 15 is a block diagram illustrating a configuration of the tablet terminal 200 according to the present embodiment. In the figure, the same parts as those in FIG. 1 are denoted by the same reference numerals (107), and the description thereof is omitted.
図１４において、タブレット端末２００は、赤外線による距離画像センサ２０１と、画像を始めとする各種情報を表示すると同時に、画面上をタッチする事で入力操作を受け付けるタッチパネルを供えた表示部２０２を備えている。タブレット端末とは、様々な形態のものがあるが、一般的にはキーボードを備えずタッチパネル上を指やペンでなぞるといった動作によって操作する携帯端末を指す事が多い。ここでのタブレット端末２００も同様の端末である。内部には図示しないＣＰＵやメモリといった処理装置を備えている。 In FIG. 14, the tablet terminal 200 includes a distance image sensor 201 using infrared rays, and a display unit 202 provided with a touch panel that accepts an input operation by touching the screen while displaying various information including an image. Yes. There are various types of tablet terminals, but generally a portable terminal that is not provided with a keyboard and is operated by an operation of tracing a touch panel with a finger or a pen is often used. The tablet terminal 200 here is a similar terminal. Inside, a processing device such as a CPU and a memory (not shown) is provided.
図１４は、机２０３上にタブレット端末２００を置いた使用環境を示している。机２０３の上面が基準入力平面である。図中２０４、２０５は、後述する入力領域設定部２０６によって設定される入力領域を示している。タブレット端末２００は図に示すように机２０３に配置できる為の支えとなる構成部品を備えている。このように配置した際に、タブレット端末２００の操作は、タッチパネルを使用した操作ではなく、本実施形態によるデータ入力方法を使用した操作となる。 FIG. 14 shows a use environment in which the tablet terminal 200 is placed on the desk 203. The upper surface of the desk 203 is a reference input plane. In the figure, reference numerals 204 and 205 denote input areas set by an input area setting unit 206 described later. As shown in the figure, the tablet terminal 200 is provided with components that serve as a support so that it can be placed on the desk 203. When arranged in this way, the operation of the tablet terminal 200 is not an operation using the touch panel, but an operation using the data input method according to the present embodiment.
図１５は、タブレット端末２００の構成を示す概略ブロック図である。タブレット端末２００は、データ入力装置２１０、表示制御部１０７、表示部２０２を含んで構成される。データ入力装置２１０は、距離画像センサ２０１と、操作者の動作を検知する領域を特定する入力領域設定部２０６、画像と距離情報を元に操作者の動作を検出する動作検出部２０７を夫君で構成される。なお、表示制御部１０７は図１の表示制御部１０７と同様であるが、表示装置１０１ではなく、表示部２０２に画像を表示させる。距離画像センサ２０１からの出力を用いた後段の各部（入力領域設定部２０６、動作検出部２０７）は、タブレット端末２００が備えるＣＰＵが、メモリに記憶されたプログラムを実行することで実現する。 FIG. 15 is a schematic block diagram illustrating a configuration of the tablet terminal 200. The tablet terminal 200 includes a data input device 210, a display control unit 107, and a display unit 202. The data input device 210 includes a distance image sensor 201, an input region setting unit 206 for specifying a region for detecting an operator's motion, and a motion detection unit 207 for detecting an operator's motion based on the image and distance information. Composed. The display control unit 107 is the same as the display control unit 107 in FIG. 1, but displays an image on the display unit 202 instead of the display device 101. The subsequent units (input area setting unit 206 and operation detection unit 207) using the output from the distance image sensor 201 are realized by the CPU provided in the tablet terminal 200 executing a program stored in the memory.
距離画像センサ２０１は、距離情報である距離画像と通常の画像の両方を取得する。距離画像センサ２０１は、例えば、赤外線発光部と撮像素子を備え、被写体に向けて一定間隔で赤外線を発光する。この赤外光の反射光を撮像素子で捕らえ、照射光と反射光の位相差から近赤外光の飛行時間を求める。飛行時間は距離に比例するので、この飛行時間を距離に変換し、画像として出力する物である。また、距離画像センサ２０１は、同時に、被写体を撮像して、撮像画像も出力する。 The distance image sensor 201 acquires both a distance image that is distance information and a normal image. The distance image sensor 201 includes, for example, an infrared light emitting unit and an image sensor, and emits infrared light toward the subject at regular intervals. The reflected light of the infrared light is captured by the imaging device, and the flight time of the near infrared light is obtained from the phase difference between the irradiation light and the reflected light. Since the flight time is proportional to the distance, the flight time is converted into a distance and output as an image. The distance image sensor 201 simultaneously captures an image of a subject and outputs a captured image.
入力領域設定部２０６は、距離画像センサ２０１から距離画像と撮影画像とを受け取り、表示制御部１０７を通して表示部２０２に入力領域の設定を促す表示を行う。入力領域設定部２０６は、図１の入力領域設定部１０５と同様にして、入力領域を設定する。ただし、入力領域設定部２０６は、対象とする操作者を１人とし、該一人の操作者に対して複数の入力領域を設定する。ここでは、入力領域設定部２０６は、一人の操作者に対して２つの入力領域の設定を行うよう、予め設定されており、第１の入力領域２０４、第２の入力領域２０５の順に設定し、これら第１の入力領域２０４および第２の入力領域２０５を示す情報を出力する。 The input area setting unit 206 receives the distance image and the captured image from the distance image sensor 201, and performs display for prompting the display unit 202 to set the input area through the display control unit 107. The input area setting unit 206 sets an input area in the same manner as the input area setting unit 105 in FIG. However, the input area setting unit 206 sets one target operator as a target operator and sets a plurality of input areas for the single operator. Here, the input area setting unit 206 is set in advance so as to set two input areas for one operator, and sets the first input area 204 and the second input area 205 in this order. The information indicating the first input area 204 and the second input area 205 is output.
動作検出部２０７には、入力領域設定部２０６によって設定された２つの入力領域２０４、２０５を示す情報と、距離画像と、撮影画像とが入力される。動作検出部２０７は、図１の動作検出部１０６と同様にして手の動きを検出する。ただし、図１４に示した第１の入力領域２０４と第２の入力領域２０５では、それぞれ異なる機能を持つ。第１の入力領域２０４での操作は、表示部２０２に表示されるポインタの位置を操作する機能を持ち、第２の領域２０５での操作は、表示されているポインタ位置にあるものを選択・決定したりする機能を持つ。そのため、入力領域２０４では机２０３上をなぞるように動かされる指の動きを検知しポインタを動かす方向を決め、入力領域２０５では指を机２０３から離したりつけたりする動作を検出し、そのポインタ位置で決定・選択動作を行ったかどうかを判別する。 Information indicating the two input areas 204 and 205 set by the input area setting unit 206, a distance image, and a captured image are input to the motion detection unit 207. The motion detection unit 207 detects hand movement in the same manner as the motion detection unit 106 in FIG. However, the first input area 204 and the second input area 205 shown in FIG. 14 have different functions. The operation in the first input area 204 has a function of operating the position of the pointer displayed on the display unit 202, and the operation in the second area 205 selects the one at the displayed pointer position. It has a function to decide. Therefore, in the input area 204, the movement of the finger moved so as to trace on the desk 203 is detected and the direction in which the pointer is moved is determined. In the input area 205, the movement of moving the finger away from the desk 203 is detected. It is determined whether a decision / selection operation has been performed.
動作検出部２０７は、これらの動作の検出結果を表示制御部１０７へと送り、表示制御部１０７は、これらに基づき、ポインタを移動して表示部２０２に表示させたり、表示部２０２に表示させる画面を遷移させたりする。このように入力領域毎に検知する動作とそれに応じた機能を変えることにより、誤動作を防止し、より操作者の意図を正確に反映した操作が可能となる。 The motion detection unit 207 sends detection results of these motions to the display control unit 107, and the display control unit 107 moves the pointer based on these results to display on the display unit 202 or display on the display unit 202. Change the screen. In this way, by changing the operation detected for each input area and the function corresponding thereto, it is possible to prevent malfunction and to perform an operation that more accurately reflects the operator's intention.
また、動作検出部２０７は、入力領域２０４、２０５内に手が入った場合に、そのことを示すマーカーを画面上に表示するよう表示制御部１０７に指示する。表示制御部１０７は手が入力領域２０４、２０５内にあるという情報を受け取った際には図１６に示すように、表示部２０２の画面左上に情報提示部であるマーカー２０８を表示する。マーカー２０８はここでは丸印である。本実施形態では、設定した入力領域を目視で確認できない。しかし、このように、入力領域２０４、２０５内に手があるかどうかを操作者に通知する手段を備えることにより、入力領域から手がはずれ意図どおりに操作できなくなることを防止する事が可能となる。 In addition, when the hand is placed in the input areas 204 and 205, the operation detection unit 207 instructs the display control unit 107 to display a marker indicating that on the screen. When the display control unit 107 receives the information that the hand is in the input areas 204 and 205, the display control unit 107 displays a marker 208 as an information presentation unit on the upper left of the screen of the display unit 202 as shown in FIG. The marker 208 is a circle here. In the present embodiment, the set input area cannot be visually confirmed. However, as described above, by providing means for notifying the operator of whether or not there is a hand in the input areas 204 and 205, it is possible to prevent the hand from being removed from the input area and being unable to operate as intended. Become.
なお、ここでは情報提示部は丸印のマーカーとしたが、丸印である必要はなく、文字や他の図形でもよく、表示位置も右上や下など異なる位置であっても良い。マーカーに限らずＬＥＤ等を用いた専用の通知領域をタブレット端末２００に設けても良く、音声で通知するようにしても良い。
また、入力領域の端に近い部分に手がある場合には、表示するマーカーの色を変えるようにしても良い。これにより、設定した入力領域のどのあたりに手があるのかを操作者は判断する事が可能となる。
Here, the information presenting unit is a circle marker, but it is not necessary to be a circle, it may be a character or other figure, and the display position may be a different position such as upper right or lower. Not only the marker but also a dedicated notification area using an LED or the like may be provided in the tablet terminal 200 or may be notified by voice.
In addition, when the hand is near the end of the input area, the color of the marker to be displayed may be changed. Thus, the operator can determine where the hand is in the set input area.
ここでは、入力領域を複数設けた例を示したが、必ずしも複数設ける必要はなく、複数の領域に分けた機能を１つの領域で出来るように構成しても良い。この際、両手で操作するような複雑な操作を入力として受け付ける場合にも、距離情報を用いる事で手の重なりなどを判別する事が可能となり精度良く検出する事が出来る。１つの領域に限らず、３つ以上の領域を設定し、領域ごとに機能を分けるようにしても良い。 Here, an example in which a plurality of input areas are provided has been described, but a plurality of input areas are not necessarily provided, and a function divided into a plurality of areas may be configured in one area. At this time, even when a complicated operation such as an operation with both hands is accepted as an input, it is possible to determine the overlap of the hands by using the distance information, and the detection can be performed with high accuracy. Not only one area but also three or more areas may be set and functions may be divided for each area.
また、複数領域を設けた際の領域毎の機能については、ここで示した機能のみに限定されるものではない。また、入力領域２０４と２０５において、異なる動作を検知するように記載しているが、それぞれ同様の動作で異なる機能を実現するようにしても良い。例えば、入力領域２０４で左右方向に動かすと、表示制御部１０７は、ポインタが左右に動くように表示部２０２０を制御する。また、入力領域２０５で左右方向に指を動かすと、表示制御部１０７は、表示内容が左方向で拡大、右方向で縮小といった動作をするように表示部２０２０を制御するようにしてもよい。これにより、手を動かして行う動作の数を少なくしながら、様々な機能を実現できるようにする事ができ、操作者は多くの動作を覚える必要がなくなり操作しやすいという効果がある。 Further, the function for each area when a plurality of areas are provided is not limited to the function shown here. Further, although it is described that different operations are detected in the input areas 204 and 205, different functions may be realized by the same operations. For example, when the input area 204 is moved in the horizontal direction, the display control unit 107 controls the display unit 2020 so that the pointer moves in the horizontal direction. Further, when the finger is moved in the left-right direction in the input area 205, the display control unit 107 may control the display unit 2020 so that the display content is enlarged in the left direction and reduced in the right direction. As a result, various functions can be realized while reducing the number of operations performed by moving the hand, and there is an effect that the operator does not need to learn many operations and is easy to operate.
また、これまでの実施形態においては２眼カメラを用いた距離情報の取得、距離画像センサによる距離情報の取得を示したが、被写体にスリット光を連続的に照射する光切断法を利用するなど、他の手段により距離情報を取得しても良い。 In the above embodiments, distance information acquisition using a twin-lens camera and distance information acquisition using a distance image sensor have been described. However, a light cutting method that continuously irradiates a subject with slit light is used. The distance information may be acquired by other means.
また、図１におけるデータ入力装置１００、表示制御部１０７、図１５におけるデータ入力装置２１０、表示制御部１０７の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各部を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 Further, a program for realizing all or a part of the functions of the data input device 100 and the display control unit 107 in FIG. 1, the data input device 210 and the display control unit 107 in FIG. Each unit may be realized by causing a computer system to read and execute a program recorded on the recording medium. Here, the “computer system” includes an OS and hardware such as peripheral devices.
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.
１０…テレビ会議システム
１００…データ入力装置
１０１…表示装置
１０２…左カメラ
１０３…右カメラ
１０４…距離情報算出部
１０５…入力領域設定部
１０６…動作検出部
１０７…表示制御部
１０８…机
１０９、１１０…入力領域
１１１…操作者
２００…タブレット端末
２０１…距離画像センサ
２０２…表示部
２０３…机
２０４…第１の入力領域
２０５…第２の入力領域
２０６…入力領域設定部
２０７…動作検出部
DESCRIPTION OF SYMBOLS 10 ... Video conference system 100 ... Data input device 101 ... Display device 102 ... Left camera 103 ... Right camera 104 ... Distance information calculation part 105 ... Input area setting part 106 ... Motion detection part 107 ... Display control part 108 ... Desk 109, 110 ... Input region 111 ... Operator 200 ... Tablet terminal 201 ... Distance image sensor 202 ... Display unit 203 ... Desk 204 ... First input region 205 ... Second input region 206 ... Input region setting unit 207 ... Motion detection unit
Claims (8)
少なくとも前記距離情報に基づき、操作者の手の動作を検出し、検出した前記動作を示す情報を出力する動作検出部と
を備えたデータ入力装置であって、
前記動作検出部は、略水平な基準入力平面に対する手の動作を検出し、
前記距離情報取得部は、当該データ入力装置の出力に応じた画像が表示される表示装置の表示面と略同一平面上に設置され、
前記距離情報取得部が取得する前記距離情報は、当該距離情報取得部から、前記基準入力平面に対して鋭角の角度をなす方向の距離を示すこと
を特徴とするデータ入力装置。 A distance information acquisition unit for acquiring distance information;
A data input device comprising: an action detection unit that detects an action of an operator's hand based on at least the distance information and outputs information indicating the detected action;
The motion detection unit detects a motion of a hand with respect to a substantially horizontal reference input plane,
The distance information acquisition unit is installed on substantially the same plane as the display surface of the display device on which an image according to the output of the data input device is displayed,
The distance information acquired by the distance information acquisition unit indicates a distance in a direction that forms an acute angle with respect to the reference input plane from the distance information acquisition unit.
前記動作検出部は、前記入力領域に対する手の動作を検出すること
を特徴とする請求項１に記載のデータ入力装置。 An input area setting unit for setting an input area on the reference input plane;
The data input device according to claim 1, wherein the motion detection unit detects a hand motion with respect to the input area.
前記動作検出部は、前記複数の入力領域毎に、該入力領域に対する前記手の動作の検出を行うこと
を特徴とする請求項２に記載のデータ入力装置。 The input area setting unit sets a plurality of the input areas,
The data input device according to claim 2, wherein the motion detection unit detects the motion of the hand with respect to the input area for each of the plurality of input areas.
を特徴とする請求項３に記載のデータ入力装置。 The data input device according to claim 3, wherein the motion detection unit outputs information indicating the input area targeted by the detected motion in addition to the information indicating the detected motion.
を特徴とする請求項１から請求項４のいずれかの項に記載のデータ入力装置。 The operation detection unit detects whether or not there is an operator's hand in the set input area, outputs the detection result, and notifies the operator. 5. The data input device according to any one of items 4.
前記操作方向判定部によって判定された方向に従い、前記動作検出部により検出された動作を判別する事
を特徴とする請求項１から５のいずれかの項に記載のデータ入力装置。 An operation direction determination unit for determining an operation direction in the input area;
6. The data input device according to claim 1, wherein the motion detected by the motion detector is determined according to the direction determined by the operation direction determiner. 7.
少なくとも前記距離情報に基づき、操作者の手の動作であって、略水平な基準入力平面に対する動作を検出し、検出した前記動作を示す情報を出力するステップ
を有することを特徴とするデータ入力方法。 A data input device including a distance information acquisition unit for acquiring distance information, wherein the distance information is installed on substantially the same plane as a display surface of a display device on which an image according to the output of the data input device is displayed. The data input method in the data input device showing the distance in the direction that forms an acute angle with respect to the reference input plane from the distance information acquisition unit,
A data input method comprising: detecting an operation of the operator's hand based on at least the distance information, the operation with respect to a substantially horizontal reference input plane, and outputting information indicating the detected operation. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011283156A JP2013134549A (en) | 2011-12-26 | 2011-12-26 | Data input device and data input method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011283156A JP2013134549A (en) | 2011-12-26 | 2011-12-26 | Data input device and data input method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013134549A true JP2013134549A (en) | 2013-07-08 |
Family
ID=48911215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011283156A Pending JP2013134549A (en) | 2011-12-26 | 2011-12-26 | Data input device and data input method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013134549A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015046833A (en) * | 2013-08-29 | 2015-03-12 | 沖電気工業株式会社 | Information processing system, information processing apparatus, information processing method and program |
| JP2016018458A (en) * | 2014-07-09 | 2016-02-01 | キヤノン株式会社 | Information processing system, control method therefore, program, and storage medium |
| JP2016534421A (en) * | 2013-10-14 | 2016-11-04 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Gesture control device, method, system, and storage medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001350591A (en) * | 2000-06-06 | 2001-12-21 | Assist Computer Systems:Kk | Photographic image data input and analysis system |
| JP2005267034A (en) * | 2004-03-17 | 2005-09-29 | Brother Ind Ltd | Image input device |
| JP2006202016A (en) * | 2005-01-20 | 2006-08-03 | Nippon Telegr & Teleph Corp <Ntt> | Conference information sharing support device, method, and program |
| JP2007128288A (en) * | 2005-11-04 | 2007-05-24 | Fuji Xerox Co Ltd | Information display system |
| JP2008134793A (en) * | 2006-11-28 | 2008-06-12 | Fujifilm Corp | Electronic handwriting input device |
| JP2010081466A (en) * | 2008-09-29 | 2010-04-08 | Hitachi Ltd | Operation control device and operation display method |
| JP2011039844A (en) * | 2009-08-12 | 2011-02-24 | Shimane Prefecture | Image recognition device, operation decision method and program |
| JP2011253255A (en) * | 2010-05-31 | 2011-12-15 | Canon Inc | Information processor and operating method therefor |
-
2011
- 2011-12-26 JP JP2011283156A patent/JP2013134549A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001350591A (en) * | 2000-06-06 | 2001-12-21 | Assist Computer Systems:Kk | Photographic image data input and analysis system |
| JP2005267034A (en) * | 2004-03-17 | 2005-09-29 | Brother Ind Ltd | Image input device |
| JP2006202016A (en) * | 2005-01-20 | 2006-08-03 | Nippon Telegr & Teleph Corp <Ntt> | Conference information sharing support device, method, and program |
| JP2007128288A (en) * | 2005-11-04 | 2007-05-24 | Fuji Xerox Co Ltd | Information display system |
| JP2008134793A (en) * | 2006-11-28 | 2008-06-12 | Fujifilm Corp | Electronic handwriting input device |
| JP2010081466A (en) * | 2008-09-29 | 2010-04-08 | Hitachi Ltd | Operation control device and operation display method |
| JP2011039844A (en) * | 2009-08-12 | 2011-02-24 | Shimane Prefecture | Image recognition device, operation decision method and program |
| JP2011253255A (en) * | 2010-05-31 | 2011-12-15 | Canon Inc | Information processor and operating method therefor |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015046833A (en) * | 2013-08-29 | 2015-03-12 | 沖電気工業株式会社 | Information processing system, information processing apparatus, information processing method and program |
| JP2016534421A (en) * | 2013-10-14 | 2016-11-04 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Gesture control device, method, system, and storage medium |
| JP2016018458A (en) * | 2014-07-09 | 2016-02-01 | キヤノン株式会社 | Information processing system, control method therefore, program, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9927881B2 (en) | Hand tracker for device with display | |
| JP6393341B2 (en) | Projection-type image display device | |
| WO2016021022A1 (en) | Projection image display device and method for controlling same | |
| US10372229B2 (en) | Information processing system, information processing apparatus, control method, and program | |
| TWI559174B (en) | Gesture based manipulation of three-dimensional images | |
| CN102460373A (en) | Surface computer user interaction | |
| US9544556B2 (en) | Projection control apparatus and projection control method | |
| JP2004246578A (en) | Interface method and device using self-image display, and program | |
| KR100692526B1 (en) | Gesture recognition apparatus and methods for automatic control of systems | |
| JP2017199289A (en) | Information processor, control method thereof, program, and storage medium | |
| JP6452369B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| JP2012238293A (en) | Input device | |
| KR101426378B1 (en) | System and Method for Processing Presentation Event Using Depth Information | |
| JP2013134549A (en) | Data input device and data input method | |
| TWI499938B (en) | Touch control system | |
| US11049306B2 (en) | Display apparatus and method for generating and rendering composite images | |
| JP6000553B2 (en) | Information processing apparatus and control method thereof | |
| WO2018042923A1 (en) | Information processing system, information processing method, and program | |
| TWI394063B (en) | System of inputting instruction by image identification and method of the same | |
| JP6618301B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| US11054941B2 (en) | Information processing system, information processing method, and program for correcting operation direction and operation amount | |
| US10175825B2 (en) | Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image | |
| JP2013257830A (en) | Information processor | |
| US20220308746A1 (en) | Display apparatus, display system, and display method | |
| KR102163825B1 (en) | Method for implementing user interface of user equipment and apparatus for using the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141001 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150513 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150513 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160215 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160419 |