JP2006277076A - Image interface device - Google Patents
Image interface device Download PDFInfo
- Publication number
- JP2006277076A JP2006277076A JP2005092369A JP2005092369A JP2006277076A JP 2006277076 A JP2006277076 A JP 2006277076A JP 2005092369 A JP2005092369 A JP 2005092369A JP 2005092369 A JP2005092369 A JP 2005092369A JP 2006277076 A JP2006277076 A JP 2006277076A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- data
- moving
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、ゲーム機のユーザインタフェイス装置等に用いられ、人間や動物等の移動体の動きを撮像により検出してディスプレイ上のキャラクタ等の画像の動作に反映させる画像インターフェイス装置に関する。 The present invention relates to an image interface device that is used in a user interface device or the like of a game machine and detects a movement of a moving body such as a human being or an animal by imaging and reflects it in an operation of an image such as a character on a display.
従来、人等の動きを撮像してゲーム機等のディスプレイの画像に反映させるインターフェイス装置として、例えば特許文献１に記載のものがある。
この内容は、入力コマンドに応答してゲームを進行させるゲーム装置において、人体の少なくとも一部の形状が入力対象であり、画像入力手段によって、その入力対象の動的なジェスチャーによる入力ビデオ信号から二値画像データを取得する。オリエンテーション検出手段によって、その取得された二値画像データに基づいて入力対象のオリエンテーション情報を検出する。シェイプ検出手段によって、画像入力手段で取得された二値画像データに基づいて入力対象のシェイプ情報を検出する。そして、コマンド生成手段によって、オリエンテーション検出手段で検出されたオリエンテーション情報とシェイプ検出手段で検出されたシェイプ情報との組み合わせに応じて、ゲームを進行させるための入力コマンドを生成するようになっている。
2. Description of the Related Art Conventionally, there is an interface device described in Patent Document 1, for example, as an interface device that captures the motion of a person or the like and reflects the image on a display of a game machine or the like.
This is because, in a game device that progresses a game in response to an input command, at least a part of the shape of the human body is an input target, and an image input means outputs a second input signal from a dynamic gesture of the input target. Get value image data. The orientation detection means detects the orientation information to be input based on the acquired binary image data. The shape detection unit detects shape information to be input based on the binary image data acquired by the image input unit. Then, the command generation means generates an input command for advancing the game according to the combination of the orientation information detected by the orientation detection means and the shape information detected by the shape detection means.
このように、ジェスチャー認識の精度についてある程度の許容をもたせることで、入力操作デバイスを用いてコマンド入力した場合と同等のリアルタイム性を簡単に確保できるようになっている。これによって、インタラクティブゲームの進行に必要な高い応答性を実現することを可能としている。また、人間特有の動き（反射神経など）を考慮することで、より高いヒューマンインタフェースを実現することを可能としている。
しかし、上記特許文献１においては、画像入力手段によって取得される人体の二値画像データが人体を撮像して得た２次元平面のデータなので、人体の前後方向の動作をディスプレイ上のキャラクタ等の画像の動作に適正に反映させることができない。例えば、従来の画像インターフェイス装置を用いたゲーム機では、撮像対象の移動体の平面方向の動きしか検出できない。このため、その検出内容に制約されたゲームしかできず、よりリアルな動画像によるゲームを実現することができない。つまり、移動体の平面方向の動きしか検出できないので、よりリアルな動画像を表示することができないという問題がある。
本発明は、このような課題に鑑みてなされたものであり、人間等の移動体の３次元の動作を検出し、この検出内容をディスプレイ上のキャラクタ等の画像の動作に適正に反映させ、よりリアルな動画像を表示することができる画像インターフェイス装置を提供することを目的としている。
However, in the above-mentioned Patent Document 1, since the binary image data of the human body acquired by the image input means is two-dimensional plane data obtained by imaging the human body, the movement of the human body in the front-rear direction is performed using a character or the like on the display. It cannot be properly reflected in the operation of the image. For example, in a game machine using a conventional image interface device, only a movement in a plane direction of a moving object to be imaged can be detected. For this reason, only a game restricted by the detected content can be played, and a game with a more realistic moving image cannot be realized. That is, since only the movement of the moving body in the planar direction can be detected, there is a problem that a more realistic moving image cannot be displayed.
The present invention has been made in view of such a problem, and detects a three-dimensional movement of a moving body such as a human, and appropriately reflects this detection content on the movement of an image such as a character on a display. An object of the present invention is to provide an image interface apparatus capable of displaying a more realistic moving image.
上記目的を達成するために、本発明の請求項１による画像インターフェイス装置は、移動体の動きを撮像により検出してディスプレイ上の画像の動作に反映させる画像インターフェイス装置において、少なくとも２つのレンズを通して撮像される移動体の２つの画像データを得るセンサと、前記２つの画像データから、該画像データをもとに前記移動体における基準部位と移動部位を抽出する第１の抽出手段と、前記抽出された基準部位における特徴点と移動部位における複数の特徴点とを抽出する第２の抽出手段と、前記第２の抽出手段で抽出された基準部位の特徴点及び移動部位の各特徴点をもとに、それら全ての特徴点から前記センサまでの距離を算出する距離算出手段と、前記算出された全ての距離をもとに、前記センサから前記基準部位までの距離と、前記移動部位までの距離と、これら距離の差分距離とを求め、この求められた距離に前記センサでの検出時刻を対応付けて距離時刻データとし、この距離時刻データを別時刻のもの同士で比較することにより前記移動部位の移動距離、この距離を移動部位が移動する移動時間及び移動方向のデータを求める差分算出手段と、前記差分算出手段で求められた移動部位の移動距離、移動時間及び移動方向のデータをもとに、前記ディスプレイ上の画像の動作を制御する制御データを作成する作成手段とを備えたことを特徴とする。 In order to achieve the above object, an image interface apparatus according to claim 1 of the present invention is an image interface apparatus that detects movement of a moving body by imaging and reflects it in the operation of an image on a display. A sensor for obtaining two image data of the moving body, a first extracting means for extracting a reference part and a moving part in the moving body from the two image data based on the image data, and the extracted A second extraction means for extracting a feature point in the reference part and a plurality of feature points in the movement part; and a feature point of the reference part and a feature point of the movement part extracted by the second extraction means In addition, distance calculation means for calculating the distance from all the feature points to the sensor, and based on all the calculated distances, The distance to the part, the distance to the moving part, and the difference distance between these distances are obtained, and the time detected by the sensor is associated with the obtained distance to obtain distance time data. The difference calculation means for obtaining the movement distance of the movement part, the movement time of the movement part and the movement direction of the distance by comparing the ones at the time, and the movement of the movement part obtained by the difference calculation means And a creation unit that creates control data for controlling the operation of the image on the display based on the data of the distance, the travel time, and the travel direction.
この構成によれば、移動体の移動部位の３次元の動作を検出し、この検出内容を示す制御データを用いてディスプレイ上の画像の動作を制御させるようにしたので、移動部位の前後方向の動作をディスプレイ上のキャラクタ等の画像の動作に適正に反映させることができる。従って、検出対象の移動体の実際の平面方向に更に実際の前後方向の動きを加えた、よりリアルな動画像をディスプレイ上に表示することができる。 According to this configuration, since the three-dimensional motion of the moving part of the moving body is detected and the operation of the image on the display is controlled using the control data indicating the detection contents, The motion can be appropriately reflected in the motion of an image such as a character on the display. Accordingly, it is possible to display a more realistic moving image obtained by further adding an actual back-and-forth movement in the actual plane direction of the moving object to be detected.
また、本発明の請求項２による画像インターフェイス装置は、請求項１において、前記センサは、２つのレンズを通して前記移動体の映像が結像される一対の１次元光センサアレイを複数配列し、これら光センサの受光強度に応じて画像データを得るマルチライン光センサであることを特徴とする。
この構成によれば、撮像情報量の少ないマルチライン光センサによって移動体の画像データを得るので、エリアセンサ等の撮像情報量が多いセンサに比べ、高速な処理を行うことができる。
The image interface device according to claim 2 of the present invention is the image interface device according to claim 1, wherein the sensor includes a plurality of a pair of one-dimensional photosensor arrays on which an image of the moving body is formed through two lenses. It is a multi-line optical sensor that obtains image data according to the received light intensity of the optical sensor.
According to this configuration, since the image data of the moving body is obtained by the multi-line optical sensor with a small amount of imaging information, high-speed processing can be performed as compared with a sensor with a large amount of imaging information such as an area sensor.
以上説明したように本発明によれば、人間等の移動体の３次元の動作を検出し、場合によっては当該動作に関する時間情報も含めながらこの検出内容をディスプレイ上のキャラクタ等の画像の動作に適正に反映させ、よりリアルな動画像を表示することができるという効果がある。 As described above, according to the present invention, a three-dimensional motion of a moving body such as a human is detected, and in some cases, the detected content is included in the motion of an image such as a character on a display, including time information related to the motion. There is an effect that it is possible to appropriately reflect and display a more realistic moving image.
以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の実施の形態に係る画像インターフェイス装置の構成を示すブロック図である。
図１に示す画像インターフェイス装置１０は、２つのレンズが取り付けられたマルチライン光センサ１１と、このマルチライン光センサ１１にＡ／Ｄ(Analog/Digital)変換部１２及びＩ／Ｏ(Input/Output)部１３を介して接続された動作解析部１４と、データ転送部１５とを備えて構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of an image interface apparatus according to an embodiment of the present invention.
An image interface apparatus 10 shown in FIG. 1 includes a multiline optical sensor 11 to which two lenses are attached, an A / D (Analog / Digital) converter 12 and an I / O (Input / Output). ) Unit 13 connected via a unit 13 and a data transfer unit 15.
動作解析部１４は、センサ制御部２０と、対象部位抽出部２２と、対象ノード抽出部２３と、距離算出部２４と、前回データ差分算出部２５と、制御データ作成部２６とを備えて構成されている。
マルチライン光センサ１１は、本出願人により既に出願された距離測定装置を用いたものであり、人体１の顔や手などの任意部分を２つのレンズを通して光センサアレイに結像させ、この結像によって得られる２つの画像信号を出力するようになっている。２つの画像信号からは、後述するように、人体１の例えば顔の鼻などの目標部位をノードとして求め、当該センサ１１からノードまでの距離を得ることが可能となっている。
The motion analysis unit 14 includes a sensor control unit 20, a target region extraction unit 22, a target node extraction unit 23, a distance calculation unit 24, a previous data difference calculation unit 25, and a control data creation unit 26. Has been.
The multi-line optical sensor 11 uses a distance measuring device already filed by the applicant of the present application. An image of an arbitrary part such as the face and hand of the human body 1 is formed on the optical sensor array through two lenses. Two image signals obtained by the image are output. From the two image signals, as will be described later, it is possible to obtain a target part of the human body 1 such as the nose of the face as a node and obtain the distance from the sensor 11 to the node.
その距離は、三角測距に基づき得られるようになっている。この三角測距の原理を、図２に示す三角測距の原理に基づくマルチライン光センサの原理図を参照して説明する。
被写体である人体１（便宜的に矢印で示してある）の光がレンズ５１、５２により、光センサアレイ５３、５４上に被写体像５６、５７として結像する。点Ｇ、点Ｈは、正面の無限遠からレンズ５１、５２の中心点Ｃ、Ｄを通過する光線（光軸５８、５９）と光センサアレイ５３、５４との交点である。
The distance is obtained based on triangulation. The principle of this triangulation will be described with reference to the principle diagram of a multiline optical sensor based on the principle of triangulation shown in FIG.
The light of the human body 1 (indicated by an arrow for convenience) as a subject is formed as subject images 56 and 57 on the photosensor arrays 53 and 54 by the lenses 51 and 52. Points G and H are intersections of light beams (optical axes 58 and 59) passing through the center points C and D of the lenses 51 and 52 from the infinity front and the optical sensor arrays 53 and 54, respectively.
点Ｇと点Ｈの間の距離をＢ、光センサアレイ５３、５４とレンズ５１、５２との距離をｆｅとする。また、光軸５８、５９からの被写体像５６、５７のずれをＸ１、Ｘ２とする。このＸ１とＸ２を足した長さをＸとする。なお、Ｘは通常位相差と呼ばれる。ここで三角形ＡＣＥと三角形ＣＦＧ及び、三角形ＡＥＤと三角形ＤＨＩは、それぞれ相似であることから、人体１の点Ａに相当する部位、例えば顔までの距離ｄは次の（１）次式で求められる。
ｄ＝Ｂ・ｆｅ／（Ｘ１＋Ｘ２）＝Ｂ・ｆｅ／Ｘ ・・・（１）
位相差Ｘは被写体５５が無限遠にあるとき、すなわち二つの被写体像５６、５７がレンズ５１、５２の光軸５８、５９と光センサアレイの交点にある場合を基準とした２像の相対変移である。Ｂとｆｅは定数であるので、位相差Ｘを検出することで距離ｄを求めることができる。
The distance between the point G and the point H is B, and the distance between the optical sensor arrays 53 and 54 and the lenses 51 and 52 is fe. Further, the deviations of the subject images 56 and 57 from the optical axes 58 and 59 are assumed to be X1 and X2. The length obtained by adding X1 and X2 is X. X is usually called a phase difference. Here, since the triangle ACE and the triangle CFG, and the triangle AED and the triangle DHI are similar to each other, the distance d to the part corresponding to the point A of the human body 1, for example, the face is obtained by the following equation (1). .
d = B · fe / (X1 + X2) = B · fe / X (1)
The phase difference X is a relative transition of two images when the subject 55 is at infinity, that is, when the two subject images 56 and 57 are at the intersections of the optical axes 58 and 59 of the lenses 51 and 52 and the optical sensor array. It is. Since B and fe are constants, the distance d can be obtained by detecting the phase difference X.
また、マルチライン光センサ１１の構成は、図３に示すように、各々１対の光センサ回路アレイ１３０ａと１３０ｂ、１３０ｃと１３０ｄ、１３０ｅと１３０ｆを、長手方向ｘｎに対して垂直方向ｙｎに複数個配置した構成となっている。また、１５１ａ，１５１ｂ，１５２ａ，１５２ｂ，１５３ａ，１５３ｂは光センサアレイ（受光部）であり、１５４ａ，１５４ｂ，１５５ａ，１５５ｂ，１５６ａ，１５６ｂは積分回路アレイ（増幅部）である。 Further, as shown in FIG. 3, the multi-line photosensor 11 includes a plurality of pairs of photosensor circuit arrays 130a and 130b, 130c and 130d, and 130e and 130f in a direction yn perpendicular to the longitudinal direction xn. It has a configuration in which pieces are arranged. Reference numerals 151a, 151b, 152a, 152b, 153a, and 153b denote optical sensor arrays (light receiving units), and reference numerals 154a, 154b, 155a, 155b, 156a, and 156b denote integration circuit arrays (amplifying units).
更に説明すると、マルチライン光センサ１１は、隣接して配置される上段の光センサアレイ１５１ａ、１５１ｂと中段の光センサアレイ１５２ａ、１５２ｂとの間に、積分回路アレイ１５５ａ、１５５ｂが配置される構成となっている。また、同様に中段と下段の光センサアレイの間にも積分回路アレイが配置されている。なお、図３には光センサ回路アレイを３対配置した例を示すが、３対に限定するものではなく、より多くの光センサ回路アレイを配したものでもよい。５対以上が好ましく、さらに好ましくは１０〜２０対あるとよい。 More specifically, in the multi-line photosensor 11, the integration circuit arrays 155a and 155b are arranged between the upper photosensor arrays 151a and 151b and the middle photosensor arrays 152a and 152b arranged adjacent to each other. It has become. Similarly, an integrating circuit array is also arranged between the middle and lower photosensor arrays. Although FIG. 3 shows an example in which three pairs of optical sensor circuit arrays are arranged, the number is not limited to three pairs, and more photosensor circuit arrays may be arranged. 5 pairs or more are preferable, and 10 to 20 pairs are more preferable.
画像インターフェイス装置１０のＡ／Ｄ変換部１２は、光センサ回路アレイ１３０ａ，１３０ｃ，１３０ｅから出力される第１のアナログ画像信号及び光センサ回路アレイ１３０ｂ，１３０ｄ，１３０ｆから出力される第２のアナログ画像信号を、ディジタルの第１及び第２の画像データＤ１，Ｄ２に変換して出力するものである。
対象部位抽出部２２は、Ａ／Ｄ変換部１２からの第１及び第２の画像データＤ１，Ｄ２をもとに、図４に示す人体１の撮像原画像１ａに対して周知の画像処理によりピクセル単位で平均化処理を行って図５に示すようなピクセル平均化画像１ｂを取得し、このピクセル平均化画像１ｂの明るい部分の面積から顔１ｃ及び手１ｄを判別して抽出し、これら顔１ｃ及び手１ｄの画像データを出力するものである。但し、それら顔１ｃ及び手１ｄの画像データは、第１及び第２の画像データＤ１，Ｄ２毎に抽出されて出力される。
The A / D converter 12 of the image interface device 10 includes a first analog image signal output from the photosensor circuit arrays 130a, 130c, and 130e and a second analog image output from the photosensor circuit arrays 130b, 130d, and 130f. The image signal is converted into digital first and second image data D1, D2 and output.
Based on the first and second image data D1, D2 from the A / D conversion unit 12, the target part extraction unit 22 performs known image processing on the captured original image 1a of the human body 1 shown in FIG. A pixel averaged image 1b as shown in FIG. 5 is obtained by performing an averaging process on a pixel basis, and the face 1c and the hand 1d are discriminated and extracted from the area of the bright portion of the pixel averaged image 1b. The image data of 1c and hand 1d is output. However, the image data of the face 1c and the hand 1d are extracted and output for each of the first and second image data D1 and D2.
対象ノード抽出部２３は、対象部位抽出部２２からの顔１ｃ及び手１ｄの画像データをもとに、図６に示すように、顔１ｃの特徴部分である鼻１ｅ及び手１ｄの特徴部分である拳１ｆにポイント（○で指示）を定め、このポイント部分をノードとして抽出する。
この際、図７（ａ）から（ｂ）に示すように、鼻１ｅは、鼻頭●を基準のノードＮ０として抽出する。一方、拳１ｆにおいては、人体１が例えばボクシングの動作を行うことを前提とすると、拳１ｆが前方に（マルチライン光センサ１１側に）突き出され、この状態から後方に引かれる。更に、それら前後する際に動きが直線方向のみならず斜め方向であったりする。このような拳１ｆの前後左右上下斜め方向への移動を検出するために、拳１ｆにおいては、複数箇所にポイント●を定め、これらをノードとして抽出する。この例では、拳１ｆに●で示す１８箇所の拳の各ノードＮ１〜Ｎ１８を定めた。
Based on the image data of the face 1c and the hand 1d from the target part extraction unit 22, the target node extraction unit 23 is a characteristic part of the nose 1e and the hand 1d that are characteristic parts of the face 1c, as shown in FIG. A point (indicated by a circle) is set for a certain fist 1f, and this point portion is extracted as a node.
At this time, as shown in FIGS. 7A to 7B, the nose 1e extracts the nasal head ● as the reference node N0. On the other hand, in the fist 1f, assuming that the human body 1 performs a boxing operation, for example, the fist 1f is projected forward (to the multi-line optical sensor 11 side) and pulled backward from this state. Furthermore, when moving back and forth, the movement is not only a linear direction but also an oblique direction. In order to detect such movement of the fist 1f in the front-back, left-right, up-down, and slant directions, the fist 1f determines points ● at a plurality of locations and extracts them as nodes. In this example, the nodes N1 to N18 of 18 fists indicated by ● are defined on the fist 1f.
但し、拳の各ノードＮ１〜Ｎ１８と鼻頭のノードＮ０は、上記の第１及び第２の画像データＤ１，Ｄ２毎に抽出されて距離算出部２４へ出力される。
距離算出部２４は、対象ノード抽出部２３で抽出された第１及び第２の画像データＤ１，Ｄ２毎の鼻頭のノードＮ０及び拳の各ノードＮ１〜Ｎ１８をもとに三角測距の原理に従い、マルチライン光センサ１１から各々の対象ノードＮ０及びＮ１〜Ｎ１８までの距離を算出し、これらの距離を前回データ差分算出部２５へ出力するものである。
The fist nodes N1 to N18 and the nasal head node N0 are extracted for each of the first and second image data D1 and D2 and output to the distance calculation unit 24.
The distance calculation unit 24 follows the principle of triangulation based on the nasal node N0 and the fist nodes N1 to N18 for each of the first and second image data D1 and D2 extracted by the target node extraction unit 23. The distance from the multiline optical sensor 11 to each of the target nodes N0 and N1 to N18 is calculated, and these distances are output to the previous data difference calculation unit 25.
前回データ差分算出部２５は、距離算出部２４で算出された各々の対象ノードＮ０及びＮ１〜Ｎ１８までの距離をもとに、図８に示すように、マルチライン光センサ１１から鼻１ｅまでの距離Ｚ１と、拳１ｆまでの距離Ｚ２と、これら距離Ｚ１とＺ２との差分距離Ｚ３とを求める。鼻１ｅまでの距離Ｚ１は鼻頭のノードＮ０までの距離である。拳１ｆまでの距離Ｚ２は、例えば拳の各ノードＮ１〜Ｎ１８までの距離の平均値とする。 Based on the distances from the target nodes N0 and N1 to N18 calculated by the distance calculation unit 24, the previous data difference calculation unit 25, as shown in FIG. 8, from the multiline optical sensor 11 to the nose 1e. A distance Z1, a distance Z2 to the fist 1f, and a difference distance Z3 between these distances Z1 and Z2 are obtained. The distance Z1 to the nose 1e is a distance to the node N0 of the nasal head. The distance Z2 to the fist 1f is, for example, the average value of the distances to the fist nodes N1 to N18.
これによって、例えば、図９（ａ）に示すように、鼻１ｅまでの距離Ｚ１が１０９．５ｃｍ、拳１ｆまでの距離Ｚ２が１００．０ｃｍ、差分距離Ｚ３が９．５ｃｍと算出される。また、距離算出部２４は、図９（ａ）に示すように、マルチライン光センサ１１の該当する検出時刻ｔ１＝１２（時）：００（分）：００（秒）：００として各距離Ｚ１〜Ｚ３に対応付ける。 Thus, for example, as shown in FIG. 9A, the distance Z1 to the nose 1e is calculated to be 109.5 cm, the distance Z2 to the fist 1f is 100.0 cm, and the difference distance Z3 is calculated to be 9.5 cm. Further, as shown in FIG. 9A, the distance calculating unit 24 sets each distance Z1 as a corresponding detection time t1 = 12 (hours): 00 (minutes): 00 (seconds): 00 of the multiline optical sensor 11. Correspond to ~ Z3.
更に、前回データ差分算出部２５は、各距離Ｚ１〜Ｚ３に検出時刻ｔが対応付けられて成る距離時刻データの前回分と今回分を比較して、図８に示す拳１ｆの移動距離Ｚ４、この距離Ｚ４を拳１ｆが移動する移動時間及び移動方向を求める。ここで、図９（ａ）に示す距離時刻データＤ３を前回分、（ｂ）に示す距離時刻データＤ４を今回分とする。
拳１ｆの移動距離Ｚ４は、今回の距離時刻データＤ４の差分距離Ｚ３ａ＝６３．５ｃｍから前回の距離時刻データＤ３の差分距離Ｚ３＝９．５ｃｍを減算して求める。この例の場合、拳１ｆの移動距離Ｚ４は５４ｃｍとなる。
Further, the previous data difference calculation unit 25 compares the previous time and the current time of the distance time data in which the detection times t are associated with the distances Z1 to Z3, and the movement distance Z4 of the fist 1f shown in FIG. The moving time and moving direction for the fist 1f to move through this distance Z4 are obtained. Here, the distance time data D3 shown in FIG. 9A is the previous time, and the distance time data D4 shown in FIG. 9B is the current time.
The movement distance Z4 of the fist 1f is obtained by subtracting the difference distance Z3 = 9.5 cm of the previous distance time data D3 from the difference distance Z3a = 63.5 cm of the current distance time data D4. In this example, the movement distance Z4 of the fist 1f is 54 cm.
拳１ｆの移動時間は、今回の距離時刻データＤ４の検出時刻ｔ２＝１２：００：００：０８から前回の距離時刻データＤ３の検出時刻ｔ１＝１２：００：００：００を減算して求める。この例の場合、拳１ｆの移動時間は０．８秒となる。
拳１ｆの移動方向は、まず、差分距離Ｚ３ａ−Ｚ３の結果から拳１ｆの前後方向を求める。つまり、その減算結果が上記の５４ｃｍのようにプラスであれば、マルチライン光センサ１１に向かう前方方向、マイナスであれば逆の後方方向となる。更に、拳１ｆまでの距離Ｚ２を求めた拳の各ノードＮ１〜Ｎ１８の個々のＸＹ平面（図８に示すＺ１〜Ｚ３方向と垂直な面のことであるが、図３に示す方向ｘｎと方向ｙｎで規定される平面、すなわちマルチライン光センサ１１１と考えてもよく、その場合は結像位置の）座標位置を求め、これら値の今回分と前回分との差分と、上記の前後方向とから、拳１ｆの前後左右上下斜めの移動方向を求める。
The movement time of the fist 1f is obtained by subtracting the detection time t1 = 12: 00: 00: 00 of the previous distance time data D3 from the detection time t2 = 12: 00: 00: 00 of the current distance time data D4. In this example, the movement time of the fist 1f is 0.8 seconds.
As the movement direction of the fist 1f, first, the front-rear direction of the fist 1f is obtained from the result of the difference distance Z3a-Z3. That is, if the subtraction result is positive as in the above 54 cm, it is the forward direction toward the multi-line optical sensor 11, and if it is negative, it is the reverse backward direction. Further, the individual XY planes of the fist nodes N1 to N18 for which the distance Z2 to the fist 1f is obtained (which is a plane perpendicular to the Z1 to Z3 directions shown in FIG. 8, but the direction xn and the direction shown in FIG. 3) It is possible to think of the plane defined by yn, that is, the multi-line optical sensor 111. In this case, the coordinate position (of the imaging position) is obtained, the difference between the current value and the previous value of these values, From the above, the diagonally moving direction of the fist 1f is obtained.
制御データ作成部２６は、前回データ差分算出部２５にて求められた拳１ｆの移動方向、移動時間、移動距離をもとに、ゲーム機３１によってテレビモニタ３２上に映し出される画像（例えばボクシングキャラクタ画像）の動作を人体１と連動させて制御するための制御データを作成する。
データ転送部１５は、制御データ作成部２６で作成された制御データをゲーム機３１へ転送するものである。
センサ制御部２０は、Ｉ／Ｏ部１３を介してマルチライン光センサ１１の撮像動作を制御するものである。
このような構成の画像インターフェイス装置１０を用いて、ゲーム機３１によってテレビモニタ３２上に映し出されるボクシングキャラクタ画像の動作を制御する際の処理を、図１０に示すフローチャートを参照して説明する。
Based on the movement direction, movement time, and movement distance of the fist 1f obtained by the previous data difference calculation unit 25, the control data creation unit 26 displays an image (for example, a boxing character) displayed on the television monitor 32 by the game machine 31. Control data for controlling the movement of the image) in conjunction with the human body 1 is created.
The data transfer unit 15 transfers the control data created by the control data creation unit 26 to the game machine 31.
The sensor control unit 20 controls the imaging operation of the multiline optical sensor 11 via the I / O unit 13.
A process for controlling the operation of the boxing character image displayed on the television monitor 32 by the game machine 31 using the image interface apparatus 10 having such a configuration will be described with reference to the flowchart shown in FIG.
まず、ステップＳ１において、人体１が図４に示すポーズをとっている際に、センサ制御部２０からＩ／Ｏ部１３を介してマルチライン光センサ１１の撮像制御が行われると、当該センサ１１によって人体１が撮像され、第１及び第２のアナログ画像信号が得られる。そして、それらアナログ信号がＡ／Ｄ変換部１２によって第１及び第２の画像データＤ１，Ｄ２に変換され、対象部位抽出部２２へ出力される。 First, in step S1, when imaging control of the multiline optical sensor 11 is performed from the sensor control unit 20 via the I / O unit 13 while the human body 1 is in the pose illustrated in FIG. Thus, the human body 1 is imaged, and first and second analog image signals are obtained. Then, these analog signals are converted into first and second image data D 1 and D 2 by the A / D conversion unit 12 and output to the target part extraction unit 22.
ステップＳ２において、対象部位抽出部２２にて第１又は第２の画像データＤ１，Ｄ２に対し、図４に示した撮像原画像１ａに対するピクセル単位での平均化画像処理が行われ、これによって図５に示したピクセル平均化画像１ｂが取得される。更に、そのピクセル平均化画像１ｂの明るい部分の面積から顔１ｃ及び手１ｄが抽出され、これら顔１ｃ及び手１ｄの画像データが対象ノード抽出部２３へ出力される。 In step S2, the target part extraction unit 22 performs averaged image processing in units of pixels on the captured original image 1a shown in FIG. 4 for the first or second image data D1 and D2, thereby The pixel averaged image 1b shown in FIG. Further, the face 1c and the hand 1d are extracted from the area of the bright portion of the pixel averaged image 1b, and the image data of the face 1c and the hand 1d are output to the target node extracting unit 23.
ステップＳ３において、対象ノード抽出部２３にて、対象部位抽出部２２からの顔１ｃ及び手１ｄの画像データをもとに、図６に示した顔１ｃの特徴部分である鼻１ｅと、手１ｄの特徴部分である拳１ｆとにポイント（○で指示）が定められ、このポイント部分からノードが抽出される。この際、図７（ａ）に示したように、鼻１ｅが、鼻頭●を基準のノードＮ０として抽出される。一方、拳１ｆは、１８箇所にポイント●が定められ、これらがノードＮ１〜Ｎ１８として抽出される。但し、各々のノードＮ０及びＮ１〜Ｎ１８は、第１及び第２の画像データＤ１，Ｄ２の取得毎に当該画像データから抽出される。
ステップＳ４において、距離算出部２４にて、先に抽出された第１及び第２の画像データＤ１，Ｄ２毎の鼻頭のノードＮ０及び拳の各ノードＮ１〜Ｎ１８からマルチライン光センサ１１までの距離が算出され、これらの距離が前回データ差分算出部２５へ出力される。
In step S3, the target node extraction unit 23, based on the image data of the face 1c and the hand 1d from the target part extraction unit 22, the nose 1e and the hand 1d which are the characteristic parts of the face 1c shown in FIG. A point (indicated by a circle) is determined for the fist 1f that is a characteristic portion of the node, and a node is extracted from this point portion. At this time, as shown in FIG. 7A, the nose 1e is extracted with the nasal head ● as a reference node N0. On the other hand, in the fist 1f, points ● are determined at 18 locations, and these are extracted as nodes N1 to N18. However, each of the nodes N0 and N1 to N18 is extracted from the image data every time the first and second image data D1 and D2 are acquired.
In step S4, the distance calculation unit 24 distances the multiline optical sensor 11 from the nasal node N0 and the fist nodes N1 to N18 for each of the first and second image data D1 and D2 previously extracted. And these distances are output to the previous data difference calculation unit 25.
ステップＳ５において、前回データ差分算出部２５にて、距離算出部２４で算出された各々の対象ノードＮ０及びＮ１〜Ｎ１８までの距離をもとに、図８に示したマルチライン光センサ１１から鼻１ｅまでの距離Ｚ１と、拳１ｆまでの距離Ｚ２と、これら距離Ｚ１とＺ２との差分距離Ｚ３とが求められる。ここで、鼻１ｅまでの距離Ｚ１は鼻頭のノードＮ０までの距離であり、拳１ｆまでの距離Ｚ２は、拳の各ノードＮ１〜Ｎ１８までの距離の平均値である。これらの距離Ｚ１〜Ｚ３は、例えば図９（ａ）に示すように距離Ｚ１が１０９．５ｃｍ、距離Ｚ２が１００．０ｃｍ、差分距離Ｚ３が９．５ｃｍである。更に、マルチライン光センサ１１での該当する検出時刻ｔ１＝１２（時）：００（分）：００（秒）：００として対応付けられる。これらの距離Ｚ１〜Ｚ３及び検出時刻ｔ１から成る距離時刻データＤ３は、前回データ差分算出部２５に記憶される。 In step S5, based on the distances to the target nodes N0 and N1 to N18 calculated by the distance calculation unit 24 in the previous data difference calculation unit 25, the multiline optical sensor 11 shown in FIG. A distance Z1 to 1e, a distance Z2 to the fist 1f, and a difference distance Z3 between these distances Z1 and Z2 are obtained. Here, the distance Z1 to the nose 1e is a distance to the node N0 of the nasal head, and the distance Z2 to the fist 1f is an average value of the distances to the fist nodes N1 to N18. These distances Z1 to Z3 are, for example, as shown in FIG. 9A, the distance Z1 is 109.5 cm, the distance Z2 is 100.0 cm, and the differential distance Z3 is 9.5 cm. Further, the corresponding detection time t1 = 12 (hours): 00 (minutes): 00 (seconds): 00 in the multiline optical sensor 11 is associated. The distance time data D3 including the distances Z1 to Z3 and the detection time t1 is stored in the previous data difference calculation unit 25.
次に、ステップＳ６において、人体１が図７（ｂ）に示すように、拳１ｆを突き出したとする。この場合も、上記ステップＳ１〜Ｓ５で説明したと同様に処理が行われ、図８に示す各距離Ｚ１，Ｚ２ａ，Ｚ３ａが求められる。これらの距離Ｚ１，Ｚ２ａ，Ｚ３ａは、例えば図９（ｂ）に示すように、距離Ｚ１が１０９．５ｃｍ、距離Ｚ２ａが４６．０ｃｍ、差分距離Ｚ３ａが６３．５ｃｍである。更に、マルチライン光センサ１１での該当する検出時刻ｔ１＝１２（時）：００（分）：００（秒）：０８として対応付けられ、今回の距離時刻データＤ４が求められる。 Next, in step S6, it is assumed that the human body 1 protrudes the fist 1f as shown in FIG. Also in this case, processing is performed in the same manner as described in steps S1 to S5, and the distances Z1, Z2a, and Z3a shown in FIG. 8 are obtained. These distances Z1, Z2a, and Z3a are, for example, as shown in FIG. 9B, the distance Z1 is 109.5 cm, the distance Z2a is 46.0 cm, and the differential distance Z3a is 63.5 cm. Further, the corresponding detection time t1 = 12 (hours): 00 (minutes): 00 (seconds): 08 in the multiline optical sensor 11 is associated, and the current distance time data D4 is obtained.
この後、ステップＳ７において、前回データ差分算出部２５にて、前回の距離時刻データＤ３と今回の距離時刻データＤ４とが比較され、図８に示す拳１ｆの移動距離Ｚ４と、この距離Ｚ４を拳１ｆが移動する移動時間及び移動方向が求められる。
上記の例では、拳１ｆの移動距離Ｚ４は、今回の距離時刻データＤ４の差分距離Ｚ３ａ＝６３．５ｃｍから前回の距離時刻データＤ３の差分距離Ｚ３＝９．５ｃｍが減算されることによって、５４ｃｍと求められる。
Thereafter, in step S7, the previous distance time data D3 and the current distance time data D4 are compared in the previous data difference calculation unit 25, and the movement distance Z4 of the fist 1f shown in FIG. The moving time and moving direction in which the fist 1f moves are obtained.
In the above example, the movement distance Z4 of the fist 1f is 54 cm by subtracting the difference distance Z3 = 9.5 cm of the previous distance time data D3 from the difference distance Z3a = 63.5 cm of the current distance time data D4. Is required.
拳１ｆの移動時間は、今回の距離時刻データＤ４の検出時刻ｔ２＝１２：００：００：０８から前回の距離時刻データＤ３の検出時刻ｔ１＝１２：００：００：００が減算されることによって、０．８秒と求められる。
拳１ｆの移動方向は、まず、差分距離Ｚ３ａ−Ｚ３の減算結果が５４ｃｍのようにプラスなので、マルチライン光センサ１１に向かう前方方向と求められる。更に、拳１ｆまでの距離Ｚ２を求めた拳の各ノードＮ１〜Ｎ１８の個々のＸＹ平面座標位置が求められ、この値の今回分と前回分との差分と、先に求めた前方方向とから、拳１ｆの前後左右上下斜めの移動方向が正確に求められる。
The movement time of the fist 1f is obtained by subtracting the detection time t1 = 12: 00: 00: 00 of the previous distance time data D3 from the detection time t2 = 12: 00: 00: 00 of the current distance time data D4. 0.8 seconds.
First, the movement direction of the fist 1f is obtained as a forward direction toward the multi-line optical sensor 11 because the subtraction result of the difference distance Z3a-Z3 is positive as 54 cm. Further, the individual XY plane coordinate positions of the respective nodes N1 to N18 of the fist for which the distance Z2 to the fist 1f is obtained are obtained, and the difference between this value and the previous value and the forward direction obtained previously are obtained. Thus, the forward / backward / left / right / upward / downwardly moving directions of the fist 1f are accurately obtained.
次に、ステップＳ８において、制御データ作成部２６にて、前回データ差分算出部２５にて求められた拳１ｆの移動方向、移動時間、移動距離のデータをもとに、テレビモニタ３２上に映し出されているボクシングキャラクタ画像の動作を制御する制御データが作成される。
ステップＳ９において、その作成された制御データが、データ転送部１５でゲーム機３１へ転送され、これに応じてゲーム機３１がテレビモニタ３２上に映し出されているボクシングキャラクタ画像を人体１と連動するように制御し、この制御によってボクシングキャラクタ画像が人体１と連動して動作する。
Next, in step S8, the control data creation unit 26 displays the data on the television monitor 32 based on the movement direction, movement time, and movement distance data of the fist 1f obtained by the previous data difference calculation unit 25. Control data for controlling the operation of the boxing character image is generated.
In step S9, the created control data is transferred to the game machine 31 by the data transfer unit 15, and the game machine 31 is linked to the human body 1 in response to the boxing character image displayed on the television monitor 32 accordingly. The boxing character image operates in conjunction with the human body 1 by this control.
ここで、ゲーム機３１は転送された制御データからさらに対象の移動速度を求め、これも加味してゲームの進行を決めることができる。例えば上記の例において、拳１ｆの移動速度すなわちパンチスピードを求め、パンチスピードによりパンチの威力を定めて対戦相手に与えるダメージを変えることができる。このように、３次元の空間データに加え時間要素も合わせてデータとすることにより、従来技術では得られなかった効果を得ることができる。なお、移動速度自体はステップ８で求めてもよい。 Here, the game machine 31 can further determine the target moving speed from the transferred control data, and can determine the progress of the game in consideration of this. For example, in the above example, the movement speed of the fist 1f, that is, the punch speed can be obtained, and the damage to the opponent can be changed by determining the power of the punch by the punch speed. As described above, by combining the time element with the three-dimensional spatial data, it is possible to obtain an effect that could not be obtained by the prior art. The moving speed itself may be obtained in step 8.
以上説明したように本実施の形態の画像インターフェイス装置１０によれば、人体１の移動部位である拳１ｆの３次元の動作を検出し、この検出内容を示す制御データを用いてテレビモニタ３２上の画像の動作を制御するようにしたので、拳１ｆの前後方向の動作をテレビモニタ３２上の画像の動作に適正に反映させることができる。従って、検出対象の人体１の拳１ｆの実際の平面方向に更に実際の前後方向の動きを加えた、よりリアルな動画像をテレビモニタ３２上に表示することができる。 As described above, according to the image interface device 10 of the present embodiment, the three-dimensional motion of the fist 1f that is the moving part of the human body 1 is detected, and the control data indicating the detected contents is used on the television monitor 32. Therefore, the movement of the fist 1f in the front-rear direction can be appropriately reflected in the movement of the image on the television monitor 32. Accordingly, it is possible to display a more realistic moving image on the television monitor 32 in which an actual longitudinal movement is further added to the actual plane direction of the fist 1f of the human body 1 to be detected.
また、撮像情報量の少ないマルチライン光センサ１１によって人体１の画像データを得るようにしたので、エリアセンサ等の撮像情報量が多いセンサを用いた場合に比べ、高速な処理を行うことができる。つまり、画像のサンプリングが高速にでき、データ量が少ないので、ＣＰＵの処理能力や必要なメモリが比較的小さなものでもよいため、ゲーム機などの小型機器に搭載可能となる。また、人間の三次元の動作を検出できるので、交通事故体現シミュレーションツールなど移動体の動きを検出してディスプレイ画像に反映させるツールに幅広く使用可能である。
なお、顔１を２箇所の離れた位置にて撮像し、２つの画像信号を得ることが可能なセンサであれば、マルチライン光センサ１１に代え、どの様なセンサを用いても良い。例えば、２つのＣＣＤ(Charge Coupled Device)を使用しても良い。
Further, since the image data of the human body 1 is obtained by the multi-line optical sensor 11 having a small amount of imaging information, high-speed processing can be performed as compared with a case where a sensor having a large amount of imaging information such as an area sensor is used. . That is, since the image sampling can be performed at a high speed and the amount of data is small, the processing capacity of the CPU and the necessary memory may be relatively small, so that it can be mounted on a small device such as a game machine. In addition, since it can detect human three-dimensional movements, it can be widely used as a tool for detecting the movement of a moving object and reflecting it in a display image, such as a traffic accident manifestation simulation tool.
Note that any sensor may be used in place of the multi-line optical sensor 11 as long as the sensor can capture two faces of the face 1 and obtain two image signals. For example, two CCDs (Charge Coupled Devices) may be used.
１ 人体
１ａ 顔
１ｅ 鼻
１ｆ 拳
１０ 画像インターフェイス装置
１１ マルチライン光センサ
１２ Ａ／Ｄ変換部
１３ Ｉ／Ｏ部
１４ 動作解析部
１５ データ転送部
２０ センサ制御部
２２ 対象部位抽出部
２３ 対象ノード抽出部
２４ 距離算出部
２５ 前回データ差分算出部
２６ 制御データ作成部
３１ ゲーム機
３２ テレビモニタ
DESCRIPTION OF SYMBOLS 1 Human body 1a Face 1e Nose 1f Fist 10 Image interface apparatus 11 Multiline optical sensor 12 A / D conversion part 13 I / O part 14 Motion analysis part 15 Data transfer part 20 Sensor control part 22 Target part extraction part 23 Target node extraction part 24 Distance calculation unit 25 Previous data difference calculation unit 26 Control data creation unit 31 Game machine 32 Television monitor
Claims (2)
少なくとも２つのレンズを通して撮像される移動体の２つの画像データを得るセンサと、
前記２つの画像データから、該画像データをもとに前記移動体における基準部位と移動部位を抽出する第１の抽出手段と、
前記抽出された基準部位における特徴点と移動部位における複数の特徴点とを抽出する第２の抽出手段と、
前記第２の抽出手段で抽出された基準部位の特徴点及び移動部位の各特徴点をもとに、それら全ての特徴点から前記センサまでの距離を算出する距離算出手段と、
前記算出された全ての距離をもとに、前記センサから前記基準部位までの距離と、前記移動部位までの距離と、これら距離の差分距離とを求め、この求められた距離に前記センサでの検出時刻を対応付けて距離時刻データとし、この距離時刻データを別時刻のもの同士で比較することにより前記移動部位の移動距離、この距離を移動部位が移動する移動時間及び移動方向のデータを求める差分算出手段と、
前記差分算出手段で求められた移動部位の移動距離、移動時間及び移動方向のデータをもとに、前記ディスプレイ上の画像の動作を制御する制御データを作成する作成手段と
を備えたことを特徴とする画像インターフェイス装置。 In an image interface device that detects the movement of a moving object by imaging and reflects it in the operation of an image on a display,
A sensor for obtaining two image data of a moving body imaged through at least two lenses;
First extraction means for extracting a reference part and a moving part in the moving body from the two image data based on the image data;
Second extraction means for extracting the feature points in the extracted reference part and the plurality of feature points in the movement part;
Based on the feature points of the reference part extracted by the second extraction means and the feature points of the moving part, distance calculation means for calculating the distance from all the feature points to the sensor;
Based on all the calculated distances, a distance from the sensor to the reference part, a distance to the moving part, and a difference distance between these distances are obtained, and the distance obtained by the sensor is calculated to the obtained distance. The detection time is associated with distance time data, and the distance time data is compared with another time to obtain the movement distance of the moving part, the moving time and the moving direction of the moving part. Difference calculation means;
Creating means for creating control data for controlling the operation of the image on the display based on the data of the moving distance, moving time, and moving direction of the moving part determined by the difference calculating means. Image interface device.
ことを特徴とする請求項１に記載の画像インターフェイス装置。 The sensor is a multi-line optical sensor in which a plurality of a pair of one-dimensional photosensor arrays on which an image of the moving body is formed through two lenses and image data is obtained in accordance with the received light intensity of these photosensors. The image interface device according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005092369A JP2006277076A (en) | 2005-03-28 | 2005-03-28 | Image interface device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005092369A JP2006277076A (en) | 2005-03-28 | 2005-03-28 | Image interface device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006277076A true JP2006277076A (en) | 2006-10-12 |
Family
ID=37211807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005092369A Pending JP2006277076A (en) | 2005-03-28 | 2005-03-28 | Image interface device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006277076A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100903490B1 (en) * | 2006-12-16 | 2009-06-18 | 김종철 | Ergonomic Human Computer Interface |
| WO2009093461A1 (en) * | 2008-01-22 | 2009-07-30 | Ssd Company Limited | Imaging device, online game system, operation object, input method, image analysis device, image analysis method, and recording medium |
| JP2010063528A (en) * | 2008-09-09 | 2010-03-25 | British Virgin Islands CyWee Group Ltd | Electronic game controller capable of sensing image of player's body and method of the same |
| JP2010122727A (en) * | 2008-11-17 | 2010-06-03 | Ricoh Co Ltd | Movement measuring apparatus and movement measuring program |
| WO2011011029A1 (en) * | 2009-07-23 | 2011-01-27 | Hewlett-Packard Development Company, L.P. | Display to determine gestures |
| JP5101622B2 (en) * | 2007-09-07 | 2012-12-19 | 株式会社コナミデジタルエンタテインメント | Operation determination device, game device, and computer program |
| US8904430B2 (en) | 2008-04-24 | 2014-12-02 | Sony Computer Entertainment America, LLC | Method and apparatus for real-time viewer interaction with a media presentation |
| KR101609861B1 (en) * | 2010-11-16 | 2016-04-20 | 주식회사 케이티 | Input control system and method based on users behavior |
| WO2017078283A1 (en) * | 2015-11-05 | 2017-05-11 | 삼성전자 주식회사 | Electronic device for determining position of user, and method of controlling said device |
| CN106924957A (en) * | 2017-03-17 | 2017-07-07 | 西安理工大学 | A kind of athletic training amount of exercise monitoring system |
| JP2017143992A (en) * | 2016-02-16 | 2017-08-24 | 株式会社トプコン | Ophthalmologic examination system and ophthalmologic examination apparatus |
| WO2018103656A1 (en) * | 2016-12-07 | 2018-06-14 | 腾讯科技（深圳）有限公司 | Motion processing method and device for props in vr scene, and storage medium |
| CN111061360A (en) * | 2019-11-12 | 2020-04-24 | 北京字节跳动网络技术有限公司 | Control method, device, medium and electronic equipment based on head action of user |
-
2005
- 2005-03-28 JP JP2005092369A patent/JP2006277076A/en active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100903490B1 (en) * | 2006-12-16 | 2009-06-18 | 김종철 | Ergonomic Human Computer Interface |
| JP5101622B2 (en) * | 2007-09-07 | 2012-12-19 | 株式会社コナミデジタルエンタテインメント | Operation determination device, game device, and computer program |
| WO2009093461A1 (en) * | 2008-01-22 | 2009-07-30 | Ssd Company Limited | Imaging device, online game system, operation object, input method, image analysis device, image analysis method, and recording medium |
| US9584862B2 (en) | 2008-04-24 | 2017-02-28 | Sony Interactive Entertainment America Llc | Method and apparatus for real-time viewer interaction with a media presentation |
| US8904430B2 (en) | 2008-04-24 | 2014-12-02 | Sony Computer Entertainment America, LLC | Method and apparatus for real-time viewer interaction with a media presentation |
| US10412456B2 (en) | 2008-04-24 | 2019-09-10 | Sony Interactive Entertainment, LLC | Method and apparatus for real-time viewer interaction with a media presentation |
| JP2010063528A (en) * | 2008-09-09 | 2010-03-25 | British Virgin Islands CyWee Group Ltd | Electronic game controller capable of sensing image of player's body and method of the same |
| JP2010122727A (en) * | 2008-11-17 | 2010-06-03 | Ricoh Co Ltd | Movement measuring apparatus and movement measuring program |
| WO2011011029A1 (en) * | 2009-07-23 | 2011-01-27 | Hewlett-Packard Development Company, L.P. | Display to determine gestures |
| KR101609861B1 (en) * | 2010-11-16 | 2016-04-20 | 주식회사 케이티 | Input control system and method based on users behavior |
| WO2017078283A1 (en) * | 2015-11-05 | 2017-05-11 | 삼성전자 주식회사 | Electronic device for determining position of user, and method of controlling said device |
| KR20170052984A (en) * | 2015-11-05 | 2017-05-15 | 삼성전자주식회사 | Electronic apparatus for determining position of user and method for controlling thereof |
| US11132537B2 (en) | 2015-11-05 | 2021-09-28 | Samsung Electronics Co., Ltd. | Electronic device for determining position of user based on image pixels, and method of controlling said device |
| KR102355759B1 (en) * | 2015-11-05 | 2022-01-26 | 삼성전자주식회사 | Electronic apparatus for determining position of user and method for controlling thereof |
| JP2017143992A (en) * | 2016-02-16 | 2017-08-24 | 株式会社トプコン | Ophthalmologic examination system and ophthalmologic examination apparatus |
| WO2018103656A1 (en) * | 2016-12-07 | 2018-06-14 | 腾讯科技（深圳）有限公司 | Motion processing method and device for props in vr scene, and storage medium |
| CN106924957A (en) * | 2017-03-17 | 2017-07-07 | 西安理工大学 | A kind of athletic training amount of exercise monitoring system |
| CN111061360A (en) * | 2019-11-12 | 2020-04-24 | 北京字节跳动网络技术有限公司 | Control method, device, medium and electronic equipment based on head action of user |
| CN111061360B (en) * | 2019-11-12 | 2023-08-22 | 北京字节跳动网络技术有限公司 | Control method and device based on user head motion, medium and electronic equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006277076A (en) | Image interface device | |
| CN108780586B (en) | Image processing method, display device and inspection system | |
| CN101432776B (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| JP7367764B2 (en) | Skeleton recognition method, skeleton recognition program, and information processing device | |
| KR101002785B1 (en) | Method and System for Spatial Interaction in Augmented Reality System | |
| US11783580B2 (en) | Input apparatus, input method of input apparatus, and output apparatus | |
| JP6892286B2 (en) | Image processing equipment, image processing methods, and computer programs | |
| JP6723061B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JP7164045B2 (en) | Skeleton Recognition Method, Skeleton Recognition Program and Skeleton Recognition System | |
| CN104035557B (en) | Kinect action identification method based on joint activeness | |
| JP2006011880A (en) | Environmental map creation method and device, and mobile robot device | |
| JP2010282615A (en) | Object motion detection system based on combining 3d warping technique and proper object motion (pom) detection | |
| EP2476999B1 (en) | Method for measuring displacement, device for measuring displacement, and program for measuring displacement | |
| US9595095B2 (en) | Robot system | |
| US11282222B2 (en) | Recording medium, object detection apparatus, object detection method, and object detection system | |
| JP5396585B2 (en) | Feature identification method | |
| JP2008015815A (en) | Image processor and image processing program | |
| JP6237122B2 (en) | Robot, image processing method and robot system | |
| JP2006113645A (en) | Moving locus analysis method | |
| JPH06301477A (en) | Input device for pointed position of three-dimensional space | |
| JPH05173644A (en) | Three-dimensional body recording device | |
| JP2019197278A (en) | Image processing apparatus, method of controlling image processing apparatus, and program | |
| JP2003280808A (en) | Three-dimensional position inputting device | |
| JPH0973543A (en) | Moving object recognition method/device | |
| JP2001264010A (en) | Three-dimensional input device and recording medium |