New! View global litigation for patent families

JP2011027707A - Person motion detecting device, play apparatus, person motion detecting method, gaming method, control program, and readable recording medium - Google Patents

Person motion detecting device, play apparatus, person motion detecting method, gaming method, control program, and readable recording medium

Info

Publication number
JP2011027707A
JP2011027707A JP2009275952A JP2009275952A JP2011027707A JP 2011027707 A JP2011027707 A JP 2011027707A JP 2009275952 A JP2009275952 A JP 2009275952A JP 2009275952 A JP2009275952 A JP 2009275952A JP 2011027707 A JP2011027707 A JP 2011027707A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
range
frame
person
motion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009275952A
Other languages
Japanese (ja)
Inventor
Keiji Nagase
Yasuta Tanaka
Manabu Yumoto
圭司 永瀬
学 湯元
康太 田中
Original Assignee
Sharp Corp
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To accurately detect a direction and a change amount of range of a person motion in an image capturing range without making a computation amount to be huge even in a high frame rate when many space areas are planarly computed. <P>SOLUTION: A high speed person motion detection control means 4 is adapted to detect motion information of a person on the basis of range information from a TOF range image sensor 31. The high speed person motion detection control means 4 includes a range frame generating unit 431 that generates range frames in a time series manner on the basis of the range information from the TOF range image sensor 31, a range balance frame generating unit 432 that generates a range balance frame (background image frame) as range information not having a range change of a person on the basis of at least two range frames, and a frame difference computing section 46 that computes a frame difference between each of the plurality of range frames and the range balance frame by each range frame, and computes a change amount of a range and a change direction of the person as motion information of the person based on the frame difference. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、距離フレームから人物の動作を検出して目的とする人物情報を抽出する人物動作検出装置および人物動作検出方法、この人物動作検出装置を用いて人物の動作を検出して、ゲーム内容の各種制御を行うテレビゲーム機などの遊具装置、これを用いたゲーム方法、これらの人物動作検出方法およびゲーム方法をコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体に関する。 The present invention, Human Motion detector and the person operating the detection method to extract personal information of the distance frame intended to detect the operation of a person, detects the behavior of the person using the person operation detecting apparatus, the game content playground equipment devices such as video game machines for performing various controls of the game method using the same, a control program for executing these human Motion detection method and a game method in a computer, computer-readable this control program is stored on-readable recording medium.

従来、テレビゲーム機などの遊具装置では、テニスや野球などのスポーツを題材に、人間の動きを利用した体験型ゲームが多く開発されている。 Conventionally, in a play equipment device, such as a video game machine, the sports such as tennis and baseball themed, hands-on game that uses human motion have been developed. これらの体験型ゲームでは、コントローラを例えばテニスのラケットや野球のバットなどに見立て、テレビジョン画面上のアニメーションの動きに合わせて、ラケットやバットなどのコントローラを振ったり突き出したりして移動させる。 In these hands-on game, it resembles such as, for example, a tennis racket or baseball bat controller, according to the movement of the animation on the television screen, move or projects or shake the controller, such as a racket or bat. このコントローラの動きの速さや方向の時間変化をコントローラに搭載した加速度センサや角速度センサにより検出して、テレビジョン画面上で、ゲーム内の登場人物が動作するテニスのラケットや野球のバットなどの動き、さらには各種イベントの発生などに反映させている。 The time variation of the speed and direction of movement of the controller is detected by the acceleration sensor or an angular velocity sensor mounted on the controller, the movement of the television screen, such as tennis rackets and baseball bat characters to work in the game , and even more to reflect on such as the occurrence of various events.

従来の遊具装置がコントローラを使用していることを図29を用いて説明する。 Conventional playground equipment device will be described with reference to FIG. 29 that are using the controller.

図29は、従来の遊具装置の外観図である。 Figure 29 is an external view of a conventional playground equipment device.

図29において、従来の遊具装置111は、表示手段の一例の家庭用テレビジョン受像機113(以下、モニタという)と、このモニタ113に接続コードを介して接続する据置型のゲーム装置本体112と、このゲーム装置本体112と無線により接続するゲームコントローラ114とから構成されている。 29, conventional play equipment device 111, an example of a home television receiver 113 (hereinafter, referred to as a monitor) of the display means and a game apparatus main body 112 of the stationary connecting via a connection cord to the monitor 113 , and a game controller 114 which connects with the game apparatus main body 112 wirelessly. このゲームコントローラ114は加速度センサ115を内蔵しており、加速度センサ115は上述のようにコントローラの動きの速さや方向の時間変化を検出して、その検出値を無線によりゲーム装置本体112に送信している。 The game controller 114 has a built-in acceleration sensor 115, the acceleration sensor 115 detects the time variation of speed and direction of movement of the controller as described above, and transmitted to the game apparatus main body 112 and the detection value by radio ing.

しかし、上記センサによって検出できるのは、人間が移動させるコントローラの動きだけであり、人間の身体全体の3次元空間内の位置や動きは検出することができない。 However, can be detected by the sensor, a human is only the movement of the controller to move the position and movement of the three-dimensional space of the entire human body can not be detected. このため、ゲーム操作が単純化され過ぎてしまい、ユーザが充分な操作感を得られなかったり、すぐにゲーム操作に習熟して飽きてしまったりするという課題がある。 For this reason, the game operation becomes too is simplified, there is a problem that the user can not be obtained a feeling of sufficient operation, immediately or got bored familiar with the game operation.

例えばテニスゲームでは、ラケットとしてコントローラを持つ手首を動かすだけで強い打球が得られるため、全身を用いる実際のテニスの場合と操作感が乖離してしまっている。 For example, in a tennis game, for only a strong hitting moving the wrist with the controller as a racket obtained, and feel the case of actual tennis using the whole body is gone and divergence. また、例えば野球ゲームで、バットとしてのコントローラの3次元空間での高低などの位置は検出されないため、バットスウィングの高低が区別できず、バットとボールが衝突するタイミングだけがモニタされている。 Further, for example, in a baseball game, the position of such height in the three-dimensional space of the controller as a bat is not detected, indistinguishable height of the bat swing is only the timing of the bat and the ball collides is being monitored.

そこで、人間の3次元空間での位置や動作を検出してゲーム内容に反映することができれば、現実のスポーツに操作感が近くて臨場感の高いゲームを提供することができたり、ゲームを通じて現実のスポーツでの技術の向上が期待できたりする。 So, reality if it is possible to detect the position and behavior of the human three-dimensional space to reflect on the content of the game, or it is possible to provide a high sense of realism close operational feeling the reality of sports games, through games improvements in sports technology or can be expected.

しかし、人間の3次元空間での位置や動作を検出するために、従来のRGBカメラを用いて、対象物体である人物と背景とのRGB画像上の相違点を解析して対象物体を抽出するという手法(例えば、単一色の背景から色差を利用して対象となる人間を切り出す)をとる場合、特殊な撮像環境が必要であったり複雑な画像認識処理が必要であったりするため、広く普及するテレビゲーム機などの遊具装置に適用することは困難であった。 However, in order to detect the position and behavior of the human 3-dimensional space, using a conventional RGB camera, extracts a target object by analyzing the differences between the RGB image of the person and the background is the object technique (for example, cut out human of interest by using the color difference from the single color background) that when taking, for because they involve complicated image recognition processing because they involve special imaging environment, widely it has been difficult to apply to play equipment device, such as a video game machine for.

そこで、上記目的で、距離画像センサを適用することが期待されている。 Therefore, the above purpose, it is expected that the application of the range image sensor. この距離画像センサを用いると、設定した距離範囲内の対象物体のみを検出することが可能であるため、特殊な背景や画像認識処理を用いることなく、人物の位置や動作の検出が可能である。 Using this distance image sensor, since it is possible to detect only target object within a distance range set, without using a special background and image recognition processing, it is possible to detect the position and behavior of the person .

特に、スポーツなどの体験型ゲームでは対象となる人物の動作が速いため、ユーザの操作感や動作の検出精度を向上させるためには、距離画像センサのフレームレートを高くする必要がある。 In particular, since faster operation of the person of interest in interactive games such as sports, in order to improve the detection accuracy of the user's operational feeling and operation, it is necessary to increase the frame rate of the range image sensor.

ところが、フレームレートを高くすると、CCDイメージセンサやCMOSイメージセンサである固体撮像素子の信号蓄積時間が減少するためS/N比が低下する。 However, increasing the frame rate, S / N ratio for signal storage time of the solid-state image sensor is a CCD image sensor or a CMOS image sensor is reduced is reduced. しかしながら、信号成分とノイズ成分を区別するために、高度なフィルタリング処理などの複雑な信号処理を行うと、演算量が増加してしまいゲーム進行に合わせたリアルタイム処理が困難になってしまうか、または、リアルタイム処理を行うには高性能のハードウェアが必要になり、部品コストが増加してしまう。 However, in order to distinguish a signal component and a noise component, when a complex signal processing, such as advanced filtering processing, or real-time processing of computing the amount matching the game progress will increases it becomes difficult, or , to perform real-time processing is required high-performance hardware, parts cost is increased.

このため、特に、高いフレームレートでテレビゲーム機などの遊具装置で人物動作の検出を行う際には、計算的に安価な計算手段に基づいてリアルタイムに処理を行うことが求められている。 Therefore, particularly, when performing detection of a person operating in playground equipment apparatus such as a video game machine in a high frame rate, by performing the process in real time on the basis of the computationally inexpensive computing means are required.

距離フレームを利用したこの種の従来の情報抽出装置が特許文献1に開示されている。 Distance frame conventional information extraction apparatus of this type utilizing is disclosed in Patent Document 1. 上記従来の情報抽出装置では、反射光の強度分布により対象物体までの距離を取得している。 The above-described conventional information extraction device, which obtains the distance to the object by the intensity distribution of the reflected light. 即ち、反射光の強度は対象物体までの距離の2乗に反比例して減少する性質があるため、反射光の強度分布によって、撮像範囲の対象物体の各構成部分の遠近関係を求めている。 That is, the intensity of reflected light because of the property of decreasing in inverse proportion to the square of the distance to the object, the intensity distribution of the reflected light, seeking distance relationship between the components of the object of the imaging range.

図17は、距離フレームを利用した特許文献1に開示されている従来の情報抽出装置の要部構成例を示すブロック図である。 Figure 17 is a block diagram showing a main configuration example of a conventional information extraction apparatus disclosed distance frame in Patent Document 1 using. なお、図17では、1つの撮像領域内の複数の箇所から対象物の形状、動きおよび位置などの情報を抽出(認識)して、その抽出した情報を、例えばモグラ叩きゲームなどの他のシステムへ入力している。 In FIG 17, the shape of the object from a plurality of locations of one imaging area, and extracts information such as motion and position (recognition), other systems the extracted information, such as whack-a-mole game It is input to.

図17に示すように、従来の情報抽出装置100は、反射光を受光し、距離画像を取得する距離画像取得部101と、取得した距離画像を別途指定された領域に分割する領域分割処理部102と、この領域分割処理部102で分割された各領域毎に距離画像を解析し、対象物の輪郭、重心の抽出や対象物までの距離の算出、対象物の移動速度、移動ベクトルの算出などの認識対象に関する目的とする情報を抽出する画像処理部103と、例えば大型の液晶パネルやスピーカなどから構成される呈示部104と、各部の制御を司る情報管理部105とを有している。 As shown in FIG. 17, the conventional information extraction device 100 receives the reflected light, and the distance image acquiring unit 101 for acquiring a distance image, the area dividing unit for dividing the distance image acquired separately specified region and 102, the moving speed of the area dividing unit analyzes the distance image for each of the regions divided by 102, of the object contour, calculating the distance to the center of gravity of the extraction and the object, the object, calculation of the movement vector an image processing unit 103 for extracting information of interest regarding the recognition object such as, for example, the presentation unit 104 and the like large-sized liquid crystal panel and speaker, and a data management unit 105 for controlling the respective units .

画像処理部103で抽出された情報は、例えば情報管理部105を介して他のシステムに入力される。 Information extracted by the image processing unit 103 is input to other systems via, for example, information managing unit 105. 即ち、他のシステムとして、例えばモグラ叩きゲームなどは、情報管理部5を介して他のシステムに接続されている。 That is, as the other systems, for example whack-a-mole game, etc., through the information managing unit 5 is connected to other systems. この他のシステムは、例えばコンピュータに実行させることのできる制御プログラムを搭載したゲームシステムであってもよい。 Other systems may be a game system with a control program that can be executed, for example, in a computer.

図17に示すような情報抽出装置100が、例えば呈示部104の表示画面上の任意の表示領域からモグラを出現させ、ユーザがそのモグラの出現した表示領域めがけてひっぱたく動作(ユーザは表示画面に触れるほど叩く必要はない)を行って、命中したモグラの数を競うモグラ叩きゲームに接続されている場合、1つの距離画像取得部101は、ユーザが呈示部104の表示画面上のどのモグラめがけてひっぱたこうとしているかを認識できるように(表示画面全体に対する対象物としての手の位置が認識できるように)設置されている。 Information extraction device 100 as shown in FIG. 17, for example, are allowed to appear Mole from any of the display area on the display screen of the presentation section 104, a user Hippataku on him emerging display area of ​​the mole operation (user on the display screen performed as no need to tap) touch, when connected to the whack-a-mole game to compete how many hits the mole, one distance image acquiring unit 101, aiming at which mole on the display screen of the user presentation unit 104 Let a and are either to recognize the in Hippatako Te is (the position of the hand as the object for the entire display screen to recognize) installed.

領域分割処理部102では、呈示部104の表示画面上のモグラの出現領域に対応して、距離画像取得部101で取得した距離画像の領域分割を行う。 In the region dividing unit 102, in response to appearance region of moles of the display on the screen of the presentation section 104 performs the area division of the acquired range image in the distance image acquiring unit 101.

ここで、距離画像取得部101および、距離画像取得部101にて取得される距離画像について簡単に説明する。 The distance image acquiring unit 101 and will be briefly described range image acquired by the distance image acquiring unit 101.

距離画像取得部101の外観が図18に示されている。 Appearance of the distance image acquiring unit 101 is shown in Figure 18. 図18に示すように、中央部には円形レンズとその後部にあるエリアセンサ(図示せず)から構成される受光部101aが配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するLEDから構成される発光部101bが複数個(ここでは例えば8個)、等間隔に配置されている。 As shown in FIG. 18, the central portion is disposed a light receiving portion 101a composed of an area sensor in the rear circular lens (not shown), around the circular lens along its contour, infrared, etc. plurality light emitting portion 101b composed of LED for emitting light of (here, for example, eight) are arranged at equal intervals.

この発光部101bから照射された光が物体に反射され、受光部101aのレンズにより集光されて、レンズの後部にあるエリアセンサで受光される。 Light emitted from the light emitting portion 101b is reflected on the object is condensed by the lens of the light receiving portion 101a, and is received by the area sensor in the rear of the lens. このエリアセンサは、例えば256×256のマトリックス状に配列された複数のセンサ群で、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。 The area sensor, for example, a plurality of sensors arranged in a matrix of 256 × 256, the respective pixel value intensities of received reflected light in each sensor in the matrix. このようにして取得された画像が、図19に示すような各分割領域毎の反射光の強度分布としての距離画像データである。 Thus images acquired is a range image data as the intensity distribution of the reflected light of the divided every region as shown in FIG. 19.

図20は、図17の距離画像取得部101の要部構成例を示したブロック図であり、主に、受光部101a、発光部101b、反射光抽出部101cおよびタイミング信号生成部101dから構成されている。 Figure 20 is a block diagram showing a main configuration example of a distance image acquiring unit 101 of FIG. 17, mainly includes a light receiving portion 101a, the light emitting unit 101b, reflected light extraction unit 101c and the timing signal generating unit 101d ing.

発光部101bは、タイミング信号生成部101dにて生成されたタイミング信号に従って時間的に強度変動する光を発光する。 Emitting unit 101b emits light time-varying intensity according to the timing signal generated by timing signal generator 101d. この光は発光部101bの前方にある対象物体に照射される。 The light is applied to the target object in front of the light emitting portion 101b.

受光部101aは、発光部101bが発した光の対象物体による反射光の量を検出する。 Receiving unit 101a detects the amount of light reflected by the target object light emitting portion 101b uttered.

反射光抽出部101cは、受光部101aにて受光された反射光の空間的な強度分布を抽出する。 It reflected light extraction unit 101c extracts the spatial intensity distribution of the reflected light received by the light receiving portion 101a. この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを距離画像と呼ぶ。 This spatial intensity distribution of the reflected light can be regarded as an image, hereinafter referred to as a distance image.

受光部101aは、一般的に発光部101bから発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。 Receiving unit 101a, not only the light reflected by the object generally light emitted from the light emitting portion 101b, also received at the same time the external light such as illumination light or sunlight. そこで、反射光抽出部102は発光部101bが発光しているときに受光した光の量と、発光部101bが発光していないときに受光した光の量の差をとることによって、発光部101bからの光の対象物体による反射光成分だけを取り出すことができる。 Therefore, reflected light extraction unit 102 by taking the amount of light received when the light emitting portion 101b is emitting light, the difference in the amount of light received when the light emitting portion 101b does not emit light, the light emitting portion 101b only the reflected light component by the object of light from can be taken out.

反射光抽出部101cでは、受光部101aにて受光された反射光から、その強度分布、即ち、図19に示すような距離画像データを抽出する。 In reflected light extraction unit 101c, the reflected light received by the light receiving section 101a, the intensity distribution, i.e., extracts the range image data as shown in FIG. 19.

図19では、簡単のため、256×256画素の距離画像の一部である8×8画素の距離画像の場合について示している。 In Figure 19, for simplicity, it shows the case of 8 × 8 pixels of the distance image which is part of the 256 × 256 pixels of the distance image.

物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。 Light reflected from the object is greatly reduced as the distance of the object increases. 物体の表面が一様に光を散乱する場合、距離画像1画素当たりの受光量は物体までの距離の2乗に反比例して小さくなる。 If the surface of the object is scattered uniformly light, the received light amount of the distance image per pixel becomes smaller in inverse proportion to the square of the distance to the object.

図19において、行列中のセルの値(画素値)は、取得した反射光の強さを256階調(8ビット)で示したものである。 19, the values ​​of the cells in the matrix (pixel value) is a graph showing the intensity of the obtained reflected light with 256 gray levels (8 bits). 例えば、「255」の値があるセルは、距離画像取得部101に最も接近した状態、「0」の値があるセルは、距離画像取得部101から遠くにあり、反射光が距離画像取得部101にまで到達しないことを示している。 For example, a cell with the value "255" is length state closest to the image acquisition unit 101, a cell with the value "0", there from the distance image acquiring unit 101 in the distance, the reflected light the distance image acquiring unit shows that does not reach to 101.

距離画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。 Each pixel value of the distance image represents the amount of reflected light received by the unit receiving portion corresponding to the pixel. 反射光は、物体の性質(光を鏡面反射する、散乱する、吸収する、など)、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。 Reflected light, the object properties (specularly reflected light, scattered, absorbed, etc.), object orientation, is influenced such an object distance is the object entire object is scattered uniformly light If, the amount of reflected light has a close relationship with the distance to the object. 手などは、このような性質を持つため、距離画像取得部101の前方に手を差し出した場合の距離画像は、手までの距離、手の傾き(部分的に距離が異なる)などを反映する図21に示したような3次元的なイメージを得ることができる。 The hands, because it has such properties, the distance image when held out his hand in front of the distance image acquiring unit 101 reflects the distance to the hand, the hands of the slope (partly different distances) it is possible to obtain a three-dimensional image as shown in FIG. 21.

特開2004−333505号公報 JP 2004-333505 JP

しかし、上記特許文献1に開示されている従来の情報抽出装置100で求まるのは、対象物体の各構成部分の距離の相対値だけであり、距離の絶対値を得ることはできない。 However, obtained in the conventional information extraction device 100 disclosed in Patent Document 1 is only a relative value of the distance of the constituent parts of the target object can not be obtained the absolute value of the distance. 距離の絶対値を得る必要がある場合は、距離と反射光強度の間に基準となる対応関係を求める較正手順が必要になったり、相対値から絶対値に変換する手順が必要になったりする。 If the distance is necessary to obtain the absolute value of the distance between or become calibration procedure is necessary to obtain the corresponding relation of reference between the reflected light intensity, a procedure for converting the relative value to the absolute value may become necessary .

また、特許文献1に開示されている従来の情報抽出装置100では、反射光の強度の強弱により距離を求めるため、対象物体の表面全体が一様な光学的性質を有する物体にしか適用できない。 Further, in the conventional information extraction device 100 disclosed in Patent Document 1, for determining the distance by the strength of the intensity of the reflected light, the entire surface of the target object is not only applicable to objects having a uniform optical properties. 一般に、対象物体は表面の材質、色彩、加工処理などにより、光学的な性質(例えば、反射、散乱、吸収および屈折)が異なる。 Generally, the material of the object surface, color, and the like processing, optical properties (e.g., reflective, scattering, absorption and refraction) are different. 人間を対象物体とするとき、人間は光学的性質の異なる複数の構成部分(例えば、頭髪、肌、上半身の衣服および下半身の衣服)からなるため、上記従来の情報抽出装置では、人間のように光学的性質が異なる複数の構成部分からなる対象の距離情報を取得する場合、各構成部分の光学的性質を考慮に入れて距離の補正処理を行う必要性が生じる。 When a human target object, human because of different more components of optical properties (e.g., hair, skin, upper body garment and lower body garment), the above-described conventional information extraction device, like humans If optical properties to obtain the distance information of the target composed of a plurality of different components, need arises to perform a correction process of distance taking into account the optical properties of each component. スポーツゲームなどの遊具装置に適用するとき、距離画像センサを高いフレームレートで駆動して多数の距離フレームの演算処理を行う必要性が生じている中で、一層、演算量が増加してしまい、リアルタイム処理が困難になってしまう。 When applied to playground equipment device, such as a sports game, in the need to perform arithmetic processing of a large number of distance frame a distance image sensor is driven at a high frame rate is generated, further, the amount of computation will be increased, real-time processing becomes difficult.

さらに、上記従来の情報抽出装置では、対象物体の装置に対する向きも距離に影響する。 Furthermore, in the above-described conventional information extraction apparatus orientation also affects the distance to device of the target object. その向きによらず、光を一様に反射・散乱する物体(例えば球体)でない場合、対象物体の装置に対する向き(例えば、正対している、斜めを向いている、真横を向いている)により、それぞれ反射光の強度が異なるため、距離情報も異なって取得されてしまう。 Regardless of its orientation, if not the object of uniformly reflecting and scattering light (e.g. spheres), the orientation with respect to the apparatus of the target object (e.g., directly opposite, facing diagonally, facing sideways) by , the strength of each reflected light is different, the distance information would also be differently acquired. つまり、対象物体の並進運動は検出できても、回転運動は正確に検出することができない。 That is, even if able to detect translational motion of the object, the rotary motion can not be detected accurately.

本発明は、上記従来の問題を解決するもので、多数の空間領域を面状に演算処理する場合に、高いフレームレートでも演算量が膨大にならず、撮像範囲における人物動作の方向と距離の変化量の検出精度を高精度に検出できる人物動作検出装置および人物動作検出方法、これらを用いたテレビゲーム機などの遊具装置、これを用いたゲーム方法、これらの人物動作検出方法およびゲーム方法の少なくともいずれかをコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体を提供することを目的とする。 The present invention is intended to solve the aforementioned conventional problems, when processing a large number of spatial regions to the planar, not even enormous amount of calculation at a higher frame rate, a person operating in the imaging range direction and distance human Motion detector and the person operating the detection method capable of detecting a detection accuracy of variation in high accuracy, playground equipment apparatus such as a video game machine using these, the game method using the same, these human Motion detection method and a game method a control program for executing at least one in the computer, and it is an object of this control program and a computer-readable readable recording medium stored.

本発明の人物動作検出装置は、投射光を出射する発光手段と、該投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報を複数の受光部からそれぞれ出力するTOF(タイム・オブ・フライト)式距離画像センサとを有する人物動作検出装置であって、該TOF式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御手段を有するものであり、そのことにより上記目的が達成される。 Human Motion detection apparatus of the present invention includes: a light emitting means for emitting a projection light, by receiving the reflected light from the projection space-projecting Shako, distance plurality of receiving the distance information corresponding to the to the person of the projection space a person operation detecting device having a TOF (time-of-flight) type distance image sensor that outputs from each section, the person operation for detecting the operation information of the person based on the distance information from the TOF type distance image sensor those having a detection control unit, the object can be achieved.

また、好ましくは、本発明の人物動作検出装置における人物動作検知制御手段は、該TOF式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する。 Also, preferably, the person operating the detection control means in the human operation detecting apparatus of the present invention, a distance frame generating means for generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor, the It calculates the respective frame difference for a plurality of distance frame, and a frame difference calculating means for calculating a change amount of the direction of change of the distance of the person object as the operation information of the person thereof from the frame difference.

さらに、好ましくは、本発明の人物動作検出装置における人物動作検知制御手段は、該TOF式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、少なくとも2つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する。 Further, preferably, a person operating the detection control means in the human operation detecting apparatus of the present invention, a distance frame generating means for generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor, at least based on two of the distance frame, the distance balance frame generating means for generating a distance balance frame is not the distance information of the distance change in the person, the frame difference between the respective said distances balance frame the distance frame of the plurality of operation and has a frame difference calculating means for calculating a change amount of the direction of change of the distance of the person object as the operation information of the person thereof from the frame difference.

さらに、好ましくは、本発明の人物動作検出装置において、前記人物との距離をリアルタイムに計測し、少なくとも2つの距離フレームの間のフレーム差分から、該人物との距離の変化の有無を検出する距離変位検出手段を更に有する。 Further, the distance preferably in human operation detecting apparatus of the present invention, the distance between the detected persons is measured in real time, to detect the presence or absence of change in the distance from the frame difference, and the person of between at least two distance frame further comprising a displacement detector.

さらに、好ましくは、本発明の人物動作検出装置において、前記人物との距離をリアルタイムに計測し、少なくとも2つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定手段を更に有する。 Still preferably, in human operation detecting apparatus of the present invention, the distance between the detected persons is measured in real time, at least two times or more or a predetermined condition frame difference is less than a predetermined threshold value is predetermined between the distance frame of when continued over the number of frames, further comprising determining distance equilibrium state determining means and the distance information of the person thereof is in equilibrium.

さらに、好ましくは、本発明の人物動作検出装置における距離平衡フレーム生成手段は、前記距離平衡状態判定手段が距離平衡状態にあると判断した場合に、少なくとも2つの距離フレームの時間平均を算出して距離平衡フレームを生成する。 Further, preferably, the distance balance frame generation means in the human operation detecting apparatus of the present invention, when the distance equilibrium state determination means determines that a distance equilibrium, and calculates the time average of at least two distance frame to generate a distance equilibrium frame.

さらに、好ましくは、本発明の人物動作検出装置における距離平衡フレーム生成手段は、前記人物が撮像範囲内にいる場合において、遊具装置の指示により該人物を該撮像範囲の右側または左側に移動させて、該撮像範囲の左側または右側半分の該撮像範囲に人物がいない一方側半分の距離平衡フレームを生成し、該人物を該撮像範囲の左側または右側に移動させて、該撮像範囲の右側あるいは左側半分の撮像範囲に該人物がいない他方側半分の距離平衡フレームを生成して、それらの撮像範囲に該人物がいない距離平衡フレームを合成することにより距離平衡フレームを生成する。 Further, preferably, the distance balance frame generation means in the human operation detecting apparatus of the present invention, when the person is in the imaging range, and a the person was allowed to move right or left side of the imaging range in accordance with an instruction playground equipment device generates a left or right half one half of the distance balance frame that the imaging range not a person with a range imaging, by moving the the person was in the left or right side of the imaging range, the right or left side of the imaging range the person object is not in the imaging range of a half to generate the other half of the distance balance frame, for generating a distance balance frame by combining the distance equilibrium frames in their imaging range there are no the person thereof.

さらに、好ましくは、本発明の人物動作検出装置において、前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により人物を検出するフレーム差分演算手段を有する。 Furthermore, the frame preferably, in a human operation detecting apparatus of the present invention, which calculates the frame difference of the distance balance frame and the distance frame, the distance information to detect a person by the presence or absence of change in the distance from the background in equilibrium with a difference operation means.

さらに、好ましくは、本発明の人物動作検出装置において、前記距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から前記人物の中心座標を求める中心座標検出手段を有する。 Still preferably, in human operation detecting apparatus of the present invention, having a center coordinate detection means for determining the center coordinates of the person from a distance information of the person detected by the frame difference of the distance balance frame and the distance frame.

さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、前記距離フレーム間の中心座標の移動量を求める。 Further, preferably, the center coordinates detecting means in the human operation detecting apparatus of the present invention obtains the movement amount of the center coordinates between the distance frame.

さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する。 Further, preferably, the center coordinates detecting means in the human operation detecting apparatus of the present invention, a distance displacement calculated by the difference calculation between the distance frame, the center coordinates obtained by the frame difference between the between the distance frame distance balance frame from calculates the relative position of the distance displacement and said center coordinate.

さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、検出した人物の身体全体の距離情報から、3次元空間の各座標軸の重心座標を前記中心座標として算出する。 Further, preferably, the center coordinates detecting means in the human operation detecting apparatus of the present invention, the entire body of the distance information of the detected person, to calculate the barycentric coordinates of each coordinate axis of the three-dimensional space as the center coordinates.

さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、検出した人物の身体全体の距離情報から、3次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出する。 Further, preferably, the center coordinates detecting means in the human operation detecting apparatus of the present invention, the entire body of the distance information of the detected person, the center coordinates of the midpoint of the maximum and minimum values ​​in the directions of the axes of the three-dimensional space It is calculated as.

さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する。 Further, preferably, the center coordinates detecting means in the human operation detecting apparatus of the present invention, the the whole body of the distance information of the detected person, the point at which the sum of distances from each point on the contour of the person becomes minimum center It is calculated as coordinates.

さらに、好ましくは、本発明の人物動作検出装置における距離平衡フレーム生成手段は、前記距離平衡フレームの生成処理を、装置起動時、初期化時または所定時間毎に行う。 Further, preferably, the distance balance frame generation means in the human operation detecting apparatus of the present invention performs the process of generating the distance balance frame, when the apparatus starts, during initialization or at predetermined time intervals.

さらに、好ましくは、本発明の人物動作検出装置における発光手段は、前記投射光として近赤外のパルス光を一定周期で前記投射空間に投射する。 Still preferably, the light emitting means in the human operation detecting apparatus of the present invention is projected to the projection space in a constant cycle near infrared pulsed light as the projection light.

さらに、好ましくは、本発明の人物動作検出装置における受光部は、光電変換部が中央に設けられ、該光電変換部の中心に対する点対称位置に、互いに相反するゲート信号が入力される二つの電荷転送ゲートをそれぞれ介して2つの画素出力電極V1,V2が設けられ、該二つの画素出力電極V1,V2から、前記人物までの距離に相当した光の飛行時間に依存して分配された信号電荷をそれぞれ出力する。 Still preferably, the light receiving unit in the human operation detecting apparatus of the present invention, the photoelectric conversion unit is provided in the center, the point symmetry position with respect to the center of the photoelectric conversion unit, the two charges opposite the gate signal is inputted to each other the transfer gate via the respective two pixel output electrodes V1, V2 are provided, the two pixels from the output electrode V1, V2, distributed signal charges depending on the time of flight of light corresponding to the distance to the person and outputs, respectively.

さらに、好ましくは、本発明の人物動作検出装置における二つの画素出力電極V1,V2からの前記信号電荷はそれぞれ前記人物までの距離に応じた出力電圧情報に変換されて、前記TOF式距離画像センサから前記距離情報としてそれぞれ出力される。 More preferably, the signal charges from two pixels output electrodes V1, V2 in the human operation detecting apparatus of the present invention is converted to an output voltage information corresponding to the distance to each of the persons, the TOF type distance image sensor It is output as the distance information from.

さらに、好ましくは、本発明の人物動作検出装置における人物までの距離Lが、既知の光速をcとして該人物までの光の飛行時間Tを検出して、L=(1/2)・c・Tから求められている。 Further, preferably, the distance L to the person in the person operation detecting apparatus of the present invention, the known speed of light to detect the light flight time T until the person product as c, L = (1/2) · c · It has been determined from T.

さらに、好ましくは、本発明の人物動作検出装置における距離情報は、前記受光部に対応した画素毎の立体的な複数点の距離情報である。 Further, preferably, the distance information in the human operation detecting apparatus of the present invention, the distance information of three-dimensional multiple points of each pixel corresponding to the light receiving portion.

本発明の遊具装置は、本発明の上記人物動作検出装置と、該人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、ゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するアプリケーションプロセッサとを有するものであり、そのことにより上記目的が達成される。 Playground equipment device of the present invention, the above person operation detecting apparatus of the present invention, by using the amount of change and the operation information of the change direction of the distance of the person from the person object movement detection device, appeared operation or event of the person in the game It is those having the application processor for controlling the game so as to reflect the occurrence of the above objects can be achieved.

また、好ましくは、本発明の遊具装置において、前記アプリケーションプロセッサは、前記人物の動作の詳細情報を取得するために、上記連続して取得されるフレーム差分情報を比較して、前記人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび動作の加速度ベクトルの各種情報を抽出する人物動作検知手段を有する。 Preferably, in the playground equipment device of the present invention, the application processor, in order to obtain detailed information of the operation of the person, and comparing the frame difference information acquired in the continuous operation region of the person position information, having a human operation detection means for extracting various information of the acceleration vector of the velocity vector and the motion of the motion of the person thereof.

さらに、好ましくは、本発明の遊具装置において、前記動作領域の位置情報は前記距離フレームの水平方向および垂直方向のXY座標位置および遊具装置からの距離Lから立体的に求められ、前記人物の動作の速度ベクトルおよび加速度ベクトルは、該動作領域の平均移動距離、該動作領域の重心位置の移動距離および該人物の特定部位位置の移動距離のいずれかから求められる。 Further, preferably, in a play equipment device of the present invention, the position information of the operating area is sterically determined from the distance L from the XY coordinate position and playground equipment device in the horizontal direction and the vertical direction of the distance frame, the operation of the person velocity vector and acceleration vector of the average moving distance of said operating area is determined from one of the moving distance of the specific portion position of the moving distance and the person of the center of gravity of said operating area.

さらに、好ましくは、本発明の遊具装置において、前記人物が行う動作の時刻や空間領域に関して期待値を有しており、該期待値と合致する時刻や空間の距離情報を含む距離フレームに限定して前記人物動作検知手段による処理を行う。 Further, preferably, in a play equipment device of the present invention has an expected value with respect to time or spatial domain of operation in which the person is performing, it is limited to a distance frame including the distance information of the time and space that matches with the expected value performing processing by the person operating detecting means Te.

さらに、好ましくは、本発明の遊具装置における人物の中心座標の移動量が、前記期待値から設定した閾値以上であった場合に該人物の「全身移動があった」と判定し、また、該人物の中心座標の移動量が該閾値未満であった場合に該人物の「全身移動がなかった」と判定する中心座標移動判定手段を有する。 Further, preferably, the amount of movement of the center coordinates of the person in the playground equipment device of the present invention, it is determined that "there systemic movement" of the person object if were equal to or more than the threshold set from the expected value, also, the movement amount of the center coordinates of the person has a center coordinate movement determining means determines that the "whole body movement was not" in the person object if there were less than the threshold.

さらに、好ましくは、本発明の遊具装置において、前記中心座標と前記距離フレームの差分の距離変位の相対的な位置関係から、動作した人物の身体部位を判定する身体部位判定手段を有する。 Further, preferably, in a play equipment device of the present invention, the relative positional relationship of the difference of the distance displacement of the center coordinates and the distance frame, having a body part determining means for determining the body site of operation to person.

さらに、好ましくは、本発明の遊具装置における身体部位判定手段は、前記距離フレーム間のフレーム差分により検出した距離変位が、前記中心座標より右上であれば右腕の動作、前記中心座標より左上であれば左腕の動作、前記中心座標より右下であれば右足の動作、前記中心座標より左下であれば左足の動作であると判定する。 Furthermore, there preferably body sites judging means in playground equipment device of the present invention, detected distance displaced by the frame difference between the distance frame, the operation of the right arm if the upper right is from the central coordinates, from the top left to the center coordinates if left arm operation, the if the lower right of the center coordinates right foot operation, determines that the operation of the left foot if the lower left from the center coordinates.

さらに、好ましくは、本発明の遊具装置における身体部位判定手段は、その判定結果として身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかと前記期待値とを比較して、該少なくともいずれかが該期待値と一致する場合は該身体部位に「期待動作があった」と判定し、また、該少なくともいずれかが該期待値と不一致の場合は該身体部位に「期待動作がなかった」と判定する。 Further, preferably, the body part determination unit in the playground equipment device of the present invention, the time the body part is present as a result of the determination by comparing the expected value with at least one of the spatial and operation change, the at least If any matches with the expected value, it is determined that "there is expected operation" to bodily site, also, if the at least one of the expected value disagreement no "expected operation bodily site "said judges.

さらに、好ましくは、本発明の遊具装置における期待値として、前記人物が何らかの行動を起こすことを期待されるタイミングを期待時刻とし、該人物が移動動作を行うことを期待される空間領域を期待存在空間とし、該人物が行うであろうと期待される動作の速さや方向が期待動作変化とする。 Further, preferably, as the expected value of the playground equipment device of the present invention, the timing at which the person is expected to take some action with the expected time, the expected presence of a region of space the person thereof is expected to make a move operation and space, speed and direction of the expected behavior and would the person thereof is performed to the expected behavior change.

さらに、好ましくは、本発明の遊具装置におけるアプリケーションプロセッサは、前記人物の動作の時刻、空間領域および動作変化のうちの少なくともいずれかに関する期待値を有しており、該期待値と合致する人物動作を検知した場合に、無線または有線を介して、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を有する。 Further, preferably, application processors in playground equipment device of the present invention, the time of operation of the person, has at least the expected values ​​for any of the spatial and operation change, the person operating that matches with the expected value when detecting the via wireless or wired, with vibration, light, sensible stimulus generator for generating at least one of voice and aroma.

さらに、好ましくは、本発明の遊具装置において、従来の遊具装置に搭載されているゲームコントローラを使用することなく前記人物動作検出装置を用いて人物動作が検知され、当該人物動作の検知結果と前記期待値との比較処理が行わて、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を駆動させる。 Furthermore, the preferably, the playground equipment device of the present invention, the person operating with the person operating detecting device without using a game controller that is mounted on a conventional playground equipment device is detected, the detection result of the person operating and comparison with the expected value takes place, vibration, light, drives the sensible stimulus generator for generating at least one of voice and aroma.

本発明の人物動作検出方法は、発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報をTOF(タイム・オブ・フライト)式距離画像センサの複数の受光部からそれぞれ出力する人物動作検出方法であって、 該TOF式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御ステップを有するものであり、そのことにより上記目的が達成される。 Human Motion detection method of the present invention, by receiving the reflected light from the projection space of the projected light emitted from the light emitting means, the distance information corresponding to the distance to the person in the projection space TOF (time-of-flight ) a person operating detection method of outputting from a plurality of light receiving portions of the type range image sensor, which has a human operation detection control step of detecting motion information of a person based on the distance information from the TOF type distance image sensor , and the above objects can be achieved.

また、好ましくは、本発明の人物動作検出方法における人物動作検知制御ステップは、前記TOF式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する。 Also, preferably, human motion detection control step of Human Motion detection method of the present invention, a distance frame generation step of generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor, the It calculates the respective frame difference for a plurality of distance frame, and a frame difference calculation step of calculating the amount of change and direction of change of the distance of the person object as the operation information of the person thereof from the frame difference.

さらに、好ましくは、本発明の人物動作検出方法における人物動作検知制御ステップは、 前記TOF式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、少なくとも2つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する。 Further, preferably, a person motion detection control step of Human Motion detection method of the present invention, a distance frame generation step of generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor, at least based on two of the distance frame, the distance balance frame generation step of generating a distance balance frame is not the distance information of the distance change in the person, the frame difference between the respective said distances balance frame the distance frame of the plurality of operation and has a frame difference calculation step of calculating the amount of change and direction of change of the distance of the person object as the operation information of the person thereof from the frame difference.

さらに、好ましくは、本発明の人物動作検出方法において、前記人物の距離をリアルタイムに計測し、少なくとも2つの距離フレームの間のフレーム差分から、該人物の距離の変化の有無を検出する距離変位検出ステップを更に有する。 Still preferably, in human motion detection method of the present invention, the distance of the person is measured in real time, from the frame difference between at least two distance frame, the distance displacement detection for detecting the presence or absence of change in the distance the person thereof further comprising the step.

さらに、好ましくは、本発明の人物動作検出方法において、前記人物の距離をリアルタイムに計測し、少なくとも2つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定ステップを更に有する。 Still preferably, in human motion detection method of the present invention, the distance of the person is measured in real time, a frame difference between the at least two distances frame state time or more or a predetermined given is less than the predetermined threshold value If you continue above number of frames, further comprising determining distance equilibrium state determination step and distance information the person object is in equilibrium.

さらに、好ましくは、本発明の人物動作検出方法において、前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により前記人物を検出するフレーム差分演算ステップを有する。 Still preferably, in human motion detection method of the present invention, calculates the frame difference of the distance balance frame and the distance frame, the distance information to detect the person by the presence or absence of change in the distance from the background in equilibrium a frame difference calculation step.

さらに、好ましくは、本発明の人物動作検出方法における距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から中心座標を求める中心座標検出ステップを有する。 Further, preferably, it has a center coordinate detection step of obtaining the center coordinates from the distance information of the person detected as the distance frames in Human Motion detection method of the present invention by the frame difference of the distance balance frame.

さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、前記距離フレーム間の中心座標の移動量を求める。 Further, preferably, the center coordinate detection step in Human Motion detection method of the present invention obtains the movement amount of the center coordinates between the distance frame.

さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する。 Further, preferably, the center coordinate detection step in Human Motion detection method of the present invention, a distance displacement calculated by the difference calculation between the distance frame, the center coordinates obtained by the frame difference between the between the distance frame distance balance frame from calculates the relative position of the distance displacement and said center coordinate.

さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、検出した人物の身体全体の距離情報から、3次元空間の各座標軸の重心座標を前記中心座標として算出する。 Further, preferably, the center coordinate detection step in Human Motion detection method of the present invention, the entire body of the distance information of the detected person, to calculate the barycentric coordinates of each coordinate axis of the three-dimensional space as the center coordinates.

さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、検出した人物の身体全体の距離情報から、3次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出することを特徴とする。 Further, preferably, the center coordinate detection step in Human Motion detection method of the present invention, the entire body of the distance information of the detected person, the center coordinates of the midpoint of the maximum and minimum values ​​in the directions of the axes of the three-dimensional space and calculating a.

さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する。 Further, preferably, the center coordinate detection step in Human Motion detection method of the present invention, the the whole body of the distance information of the detected person, the point at which the sum of distances from each point on the contour of the person becomes minimum center It is calculated as coordinates.

本発明のゲーム方法は、本発明の上記人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するゲーム実行ステップを有するものであり、そのことにより上記目的が達成される。 Game method of the present invention uses a variation with the operation information of the change direction of the distance of the person from the person operating the detection device of the present invention, reflecting the application processor to the occurrence of the operation or event of the characters in the game those having a game execution step of controlling the game so as to, the objects can be achieved.

また、好ましくは、本発明のゲーム方法において、人物の動作詳細情報を取得するために、連続して取得されるフレーム差分情報を比較して、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を抽出する人物動作検知ステップを更に有し、前記人物の距離の変化量とその変化方向の情報と共に、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を用いて、前記ゲーム実行ステップとして、前記アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御する。 Preferably, in the game process of the present invention, in order to obtain the operation details of a person, by comparing the frame difference information acquired in succession, the position information of the operating region of the person was operating the the person thereof speed has vector and further person operation detection step for extracting various kinds of information of the acceleration vector, the change amount of the distance of the person and with its direction of change of information, the position information of the operating region of the person was operating the the person thereof using various information of the velocity vector and the acceleration vector, as the game execution step, the application processor to control the game to reflect the occurrence of the operation or event of the characters in the game.

本発明の制御プログラムは、本発明の上記人物動作検出方法のステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。 Control program of the present invention, the processing procedure for executing the steps of the person operating the detection method of the present invention on a computer are those have been described, the objects can be achieved.

本発明の制御プログラムは、本発明の上記ゲーム方法のステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。 Control program of the present invention, the processing procedure for executing the steps of the game process of the present invention on a computer are those have been described, the objects can be achieved.

本発明の可読記録媒体は、本発明の上記制御プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。 Readable recording medium of the present invention is capable computer reads the control program is stored in the present invention, the object is achieved.

上記構成により、以下、本発明の作用を説明する。 With the above configuration, hereinafter, the operation of the present invention.

本発明においては、TOF式距離画像センサからの距離情報に基づいて、時系列に複数の距離フレームを生成する距離フレーム生成手段と、少なくとも2つの距離フレームに基づいて距離の変化がないフレームである距離平衡フレームを生成する距離平衡フレーム生成手段と、各距離フレームについて距離平衡フレームとのフレーム差分を演算し、対象物体の人物との距離の変化量とその方向を算出する手段とを有して、人物として形状特定化された距離変位領域までの方向および距離を人物の動作情報として検出する。 In the present invention, based on the distance information from the TOF type distance image sensor, when a distance frame generating means for generating a plurality of distance frame in sequence, is the distance frame is no change in based on at least two distances frame has a distance balance frame generating means for generating a distance balance frame, calculates a frame difference between the distance balance frame for each distance frame, the variation of the distance between the object person with the means for calculating the direction , to detect the direction and distance to the distance displacement region which is shaped identified as a person as the operation information of the person.

これによって、多数の空間領域を面状に演算処理する場合であっても、従来の反射光の強度分布を用いた距離画像センサや三角測量式距離画像センサのように計算量が膨大にならず、フレームレートが高い場合であっても人物の動作検出をリアルタイムに行うことが可能となる。 Thus, even when the arithmetic processing a large number of spatial regions to the planar, calculation amount as the distance image sensor and triangulation type distance image sensor using the intensity distribution of a conventional reflected light does not become enormous , it is possible to carry out even when the frame rate is high the operation detection of a person in real time.

したがって、この高速な人物動作の検出により、人物動作に応じてゲーム内容の制御をリアルタイムに行うことが可能となって、遊具装置において操作性の向上や動きの検出精度の向上が大いに図られる。 Therefore, the detection of the high-speed person operation, it is possible to control the game contents in real time according to the person operating, improvement in detection accuracy of the operation of the improved and movement in the playground equipment device can be achieved greatly.

以上により、本発明によれば、TOF式距離画像センサからの距離情報(距離に応じた出力電圧情報)に基づいて、投射光の投射空間の物体までの距離変位を検出する距離変位検出手段と、距離変位の有無を判定する距離平衡状態判定手段とを有し、距離フレームと距離平衡フレームのフレーム差分による距離変位を人物動作として検出するため、多数の空間領域を面状に演算処理する場合であっても、従来の距離画像センサのように演算量が膨大にならず、人物の動作の検出を計算的に安価に行うことができる。 As described above, according to the present invention, based on the distance information from the TOF type distance image sensor (output voltage information corresponding to the distance), the distance displacement detecting means for detecting a distance displacement to the object of projection space of the projected light , and a distance equilibrium state determination means for determining whether distance displacement, in order to detect the distance displacement by frame difference of distance frame and the distance balance frame as the person operating, when processing a large number of spatial regions to surface even, the amount of computation does not become large as in the conventional range image sensor, it is possible to detect the operation of a person computationally inexpensive. よって、要求されるフレームレートが高い用途であっても、人物の動作をリアルタイムに抽出し、ゲーム内容や進行状況に反映することができる。 Therefore, even in high frame rate applications requiring, extracts the operation of a person in real time can be reflected in the game content and progress.

本発明の実施形態1に係る人物動作検出装置の要部構成例を示すブロック図である。 A main configuration example of the person operation detecting apparatus according to Embodiment 1 of the present invention is a block diagram showing. 図1の人物動作検出装置で用いるTOF式距離計測原理を模式的に示す説明図である。 The TOF type distance measurement principle used in human motion detection apparatus of FIG. 1 is an explanatory view schematically showing. 図1の画素アレイ部における1画素単位の受光部の平面構造図である。 It is a plan structural view of a light receiving portion of one pixel in the pixel array unit of FIG. 図2のTOF式距離計測原理を説明するための各要部での信号波形のタイミング図である。 Is a timing diagram of signal waveforms in each essential portion for explaining a TOF type distance measuring principle of FIG. 本発明の実施形態2に係る遊具装置の要部構成例を示すブロック図である。 It is a block diagram showing a main configuration example of a playground device according to a second embodiment of the present invention. 本実施形態2を実施するための最良の形態における期待時刻と期待存在空間を模式的に示す図である。 The expected time to the expected presence space in the best mode for carrying out the present embodiment 2 is a diagram schematically showing. 本実施形態2を実施するための最良の形態における期待時刻と期待存在空間と期待動作変化を模式的に示す図である。 The expected behavior changes expected time and the expected presence space in the best mode for carrying out the present embodiment 2 is a diagram schematically showing. 図5の人物動作検出装置の簡易な動作例を示すフローチャートである。 It is a flowchart showing a simple example of the operation of the human operation detecting apparatus of FIG. 図5の人物動作検出装置の高精度な動作例を示すフローチャートである。 It is a flowchart illustrating a high-precision operation example of the person operating the detection device of FIG. 図5の距離平衡フレーム生成部で取得した距離情報の具体例を示した画像図である。 It is an image diagram showing a specific example of the acquired distance information by the distance balance frame generation unit of FIG. ある時刻において、図5の距離フレーム生成部で取得した距離情報の具体例を示した画像図である。 At a certain time, which is an image diagram showing a specific example of the acquired distance information by the distance frame generator of FIG. 図10とは異なる時刻において、図5の距離フレーム生成部で取得した距離情報の具体例を示した画像図である。 At different times from the 10 is an image diagram showing a specific example of the acquired distance information by the distance frame generator of FIG. 図10の距離フレームと図11の距離平衡フレームとのフレーム差分画像(RFsubBRF)の具体例を示した画像図である。 It is an image diagram showing a specific example of a frame difference image between the distance balance frame distance frame and 11 in FIG. 10 (RFsubBRF). 図10の距離フレームと図11の距離平衡フレームのフレーム差分画像(RFsubBRF)の具体例を示した画像図である。 It is an image diagram showing a specific example of a frame difference image (RFsubBRF) distance balance frame distance frame and 11 in FIG. 10. 図12のBRF距離差分フレーム(RFsubBRF)と図11のBRF距離差分フレーム(RFsubBRF)のフレーム差分画像の具体例を示した画像図である。 It is an image diagram showing a specific example of a frame difference image BRF distance difference frame in FIG. 12 (RFsubBRF) and BRF distance difference frame in FIG. 11 (RFsubBRF). 図5のアプリケーションプロセッサの要部ハード構成例を示すブロック図である。 It is a block diagram showing a main example hardware configuration of the application processor of FIG. 距離フレームを利用した特許文献1に開示されている従来の情報抽出装置の要部構成例を示すブロック図である。 Essential structure of a conventional information extraction apparatus in Patent Document 1 using the distance frame is disclosed a block diagram showing the. 図17の従来の情報抽出装置における距離画像取得部の外観を模式的に示す図である。 The appearance of the distance image acquiring unit in the conventional information extraction apparatus of FIG. 17 is a diagram schematically illustrating. 図17の従来の情報抽出装置における分割領域毎の反射光の強度分布を示す距離画像のデータ図である。 It is a data diagram of a distance image showing the intensity distribution of the reflected light of each divided region in the conventional information extraction apparatus of FIG. 17. 図17の従来の情報抽出装置における距離画像取得部の要部構成例を示したブロック図である。 It is a block diagram showing a main configuration example of a distance image acquiring unit in the conventional information extraction apparatus of FIG. 17. 図17の従来の情報抽出装置における距離画像取得部の前方に手を差し出した場合の距離画像を示す図である。 It is a diagram showing the distance image when held out his hand in front of the distance image acquiring unit in the conventional information extraction apparatus of FIG. 17. 本発明の実施形態3に係る遊具装置の要部構成例を示すブロック図である。 Is a block diagram showing a main configuration example of a playground device according to a third embodiment of the present invention. 図22の人物動作検出装置の動作例を示すフローチャートである。 Is a flowchart showing an operation example of a person operation detecting apparatus of FIG. 22. 本発明の実施形態4に係る遊具装置の要部構成例を示すブロック図である。 Is a block diagram showing a main configuration example of a playground device according to a fourth embodiment of the present invention. 図24の人物動作検出装置の動作例を示すフローチャートである。 Is a flowchart showing an operation example of a person operation detecting apparatus of FIG. 24. 本発明の実施形態5に係る遊具装置の要部構成例を示すブロック図である。 Is a block diagram showing a main configuration example of a playground device according to a fifth embodiment of the present invention. 本発明の実施形態5に係る遊具装置の変形例を示すブロック図である。 The modification of the playground equipment apparatus according to a fifth embodiment of the present invention is a block diagram showing. 本発明の実施形態5に係る遊具装置の別の変形例を示すブロック図である。 Another variation of the playground equipment apparatus according to a fifth embodiment of the present invention is a block diagram showing. 従来の遊具装置の外観図である。 It is an external view of a conventional playground equipment device.

以下に、本発明の人物動作検出装置の実施形態1について説明した後に、本発明の人物動作検出装置の実施形態1を、対象物体としての人物の動作内容に応じてゲームの内容や進行を制御する遊具装置に用いた場合を実施形態2とし、人物動作の検出における人物の身体全体の移動の判定方法を実施形態3とし、人物動作の検出において、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する方法を実施形態4とし、さらに、体感刺激発生装置を有する遊具装置について実施形態5として、図面を参照しながら詳細に説明する。 Below, after explaining the first embodiment of the human operation detecting apparatus of the present invention, the embodiment 1 of the person operating the detection device of the present invention, controls the game content and progress in accordance with the operation details of a person as the target object the case of using the playground equipment device to the second embodiment, the method of determining the body of the overall movement of a person in the detection of a person operating the embodiment 3, in the detection of a person operating, which part distance displacement of the body between the distance frame the way to determine the appropriate and the fourth embodiment, and further, as embodiment 5 for playground equipment device having a sensible stimulus generation apparatus will be described in detail with reference to the drawings.

(実施形態1) (Embodiment 1)
図1は、本発明の実施形態1に係る人物動作検出装置の要部構成例を示すブロック図である。 Figure 1 is a block diagram showing a main configuration example of the person operation detecting apparatus according to Embodiment 1 of the present invention.

図1において、本実施形態1の人物動作検出装置1は、図2に示すように、距離計測の対象物体Aに対して投射光を出射するための光源としての発光手段2と、その投射光の距離計測の対象物体Aからの反射光を受光する受光手段3と、受光手段3からの受光情報に基づいて対象物体Aとしての人物の動作を検出する人物動作検知制御手段4とを有しており、受光手段3からの受光情報に基づいて対象物体Aまでの光の飛行時間(遅れ時間)Tを検出して既知の光速cからの演算で対象物体Aまでの距離Lを求めるTOF(タイム・オブ・フライト)技術を用いて、画素毎の複数点の距離情報を用いて立体的に高精度に人物の位置や動作を検出する。 In Figure 1, the person operating the detection device 1 of the first embodiment, as shown in FIG. 2, the light emitting means 2 as a light source for emitting a projection light with respect to the object A distance measuring, the projection light has the light-receiving unit 3 for receiving light reflected from the object a distance measuring, and a person operating detection control means (4) for detecting a person of operation as the object a based on the reception information from the receiving means 3 and which, TOF to determine the distance L to the object a light receiving time of flight (delay time) of the light to the object a based on the information by detecting a T by the calculation from the known speed of light c from the light receiving means 3 ( time-of-flight) using techniques to detect the position and behavior of a person in three-dimensional high precision by using the distance information at a plurality of points for each pixel.

発光手段2は、人物動作検知制御手段4により投射光の発光タイミングが制御されるパワーLEDドライバ21と、パワーLEDドライバ21により駆動されて複数のパワーLED22aから投射光を発光するパワーLEDモジュール22と、少なくとも1つ以上のパワーLED22aが設けられたパワーLEDモジュール22の前方位置に配置されて対象物体Aに対する投射光の放射角を調整可能とする放射角調整レンズ23とを有している。 Emitting unit 2, a power LED driver 21 controlled emission timing of the projection light by the person operating the detection control unit 4 is driven by a power LED driver 21 in a power LED module 22 for emitting a projection light from a plurality of power LED22a , and a radiation angle adjusting lens 23 to enable condition a radiation angle of the projection light with respect to the object a is placed in a forward position of the power LED module 22 in which at least one or more power LED22a is provided.

この場合の投射光は、投射光として近赤外のパルス光を一定周期で投射空間に投射するようにしてもよい。 The projection light in the case may be a near-infrared pulsed light to project a projection space in a constant cycle as the projection light.

受光手段3は、対象物体Aからの反射光を受光して対象物体Aまでの距離Lに応じた撮像信号を複数の画素でそれぞれ検出するTOF式距離画像センサ31と、TOF式距離画像センサ31の前方位置に配置されて、対象物体Aからの反射光が入射される視野角を調整可能とする視野角調整レンズ32とを有している。 Light receiving means 3 includes a TOF type distance image sensor 31 which detect an image signal corresponding to the distance L to the object A by receiving the reflected light from the object A by a plurality of pixels, TOF type distance image sensor 31 is disposed in a forward position of the reflected light from the object a has a view angle adjusting lens 32 be adjustable viewing angle to be incident.

TOF式距離画像センサ31は、複数の受光部である画素アレイ部311と、各画素(受光部)からの信号読出用のタイミング信号を生成するタイミング生成部312と、各画素(受光部)を垂直方向に走査する垂直スキャナ部313および、各画素(受光部)を水平方向に走査する水平スキャナ部314と、このタイミング信号を用いて垂直スキャナ部313および水平スキャナ部314を制御して各画素(受光部)からの信号読み出しを駆動する画素ドライバ部315と、画素ドライバ部315により画素アレイ部311から読み出された画像信号に対してノイズキャンセル処理を行うノイズキャンセラ部316と、ノイズキャンセラ部315からの出力信号をA/D変換して信号出力するA/Dコンバータ317とを有している。 TOF type distance image sensor 31 includes a pixel array section 311 is a plurality of light receiving portions, and the timing generator 312 for generating a timing signal for signal readout from each pixel (light receiving section), each pixel (light receiving unit) and a vertical scanner unit 313 scans in the vertical direction, a horizontal scanner 314 that each pixel (light receiving unit) is scanned in the horizontal direction, each pixel controls the vertical scanner 313 and the horizontal scanner unit 314 by using the timing signal a pixel driver 315 for driving a signal reading from the (light receiving unit), and the noise canceller 316 to perform noise cancellation processing on the image signal read from the pixel array unit 311 by the pixel driver unit 315, the noise canceller 315 and an a / D converter 317 to the signal output of the output signal into a / D.

画素アレイ部311は、対象物体Aからの反射光を受光してそれぞれ光電変換して信号電荷をそれぞれ生成する複数の受光部(例えば約8万画素)が行列方向のマトリクス状で面状に配列されているが、ここでは、本発明の特徴構成を持った1画素単位の受光部を図3の平面構造図に示している。 The pixel array section 311 has a plurality of light receiving portions for respectively generating light to convert to a signal charge each optical information from the object A (e.g., about 80,000 pixels) and column directions of the matrix at surface in sequence have been, here, the light-receiving portion of one pixel unit having the characteristic configuration of the present invention in plan structural view of FIG.

図3に示すように、その1画素単位の受光部は、対象物体Aからの反射光を受光する受光部が中央部に光電変換領域(電荷変換領域PG)として設けられており、この電荷変換領域PGの左右位置に電荷転送ゲートTX1,TX2をそれぞれ介して出力電極V1,V2がそれぞれ設けられ、各出力電極V1,V2から読み出される各信号電荷を、タイミング的に電荷転送ゲートTX1,TX2への相反のゲート信号によって振り分けられている。 As shown in FIG. 3, the light receiving unit of the one pixel unit, a light receiving unit for receiving light reflected from the object A is provided as a photoelectric conversion region (charge conversion area PG) in a central portion, the charge conversion output electrodes V1, V2 via respective charge transfer gate TX1, TX2 to the left and right position of the area PG are respectively provided, the signal charges read out from the output electrode V1, V2, to the timing to charge transfer gate TX1, TX2 It is sorted by the gate signal of the reciprocal. 要するに、対象物体Aまでの距離Lに相当した光の飛行時間(反射光の遅れ時間Td)に依存して分配された信号電荷をそれぞれ二つの画素出力電極V1,V2から出力し、その信号電荷はそれぞれ距離Lに応じた出力電圧情報に変換されて、TOF式距離画像センサ31から距離情報としてそれぞれ出力される。 In short, the output corresponding to the light of the flight time is distributed in dependence on (the delay time Td of the reflected light) was the signal charges from two pixel output electrodes V1, V2 respectively to the distance L to the object A, the signal charges is converted to output voltage information corresponding to each distance L, is output as distance information from TOF type distance image sensor 31. 即ち、図4に示すように、投射光のパルス幅T0が、反射光の遅れ時間Tdのタイミングによって、二つの画素出力電極V1,V2から距離Lに応じた出力電圧ΔV1、ΔV2として振り分けられて出力される。 That is, as shown in FIG. 4, a pulse width T0 of the projection light, the timing of the delay time Td of the reflected light, the output voltage ΔV1 in accordance with the distance L from the two pixel output electrodes V1, V2, and distributed as ΔV2 is output. なお、CDは電荷変換領域PGの上下位置に設けられた背景光信号排出ゲートである。 Incidentally, CD is the background light signal emissions gate provided above and below the position of the charge conversion area PG.

ここで、図2に示すTOF(タイム・オブ・フライト)技術を用いて対象物体Aまでの距離Lを複数点で立体的に求める原理について簡単に説明する。 Here, its principle will be briefly explained for obtaining sterically the distance L to the object A at a plurality of points using a TOF (time-of-flight) technique shown in FIG.

まず、電流をIとすると、電荷Qは時間ΔTの時間積分として求められ、Q=I・ΔTで与えられる。 First, when the current is I, the charge Q is determined as the time integral of the time [Delta] T, is given by Q = I · ΔT. また、電極に電圧ΔVを印加して蓄積できる電荷Qは、誘電体の容量をCとすると、Q=C・ΔVで与えられる。 The charge Q which can be stored by applying a voltage [Delta] V to the electrodes, when the capacitance of the dielectric as C, is given by Q = C · ΔV. これらの2つの式により、出力端子電圧Vは、ΔV=(1/C)・I・ΔTで与えられる。 These two equations, the output terminal voltage V is given by ΔV = (1 / C) · I · ΔT. 上記出力端子電圧Vを用いて、図4に示されるパルス投射光および信号電荷転送ゲートのタイミング図に基づいて、出力端子電圧ΔV1,ΔV2を以下に導出する。 By using the output terminal voltage V, based on the timing chart of the pulse projected light and the signal charge transfer gate shown in FIG. 4, the output terminal voltage [Delta] V1, derives below [Delta] V2. 図4に示されるように、パルス投射光の点灯時間幅をT0、反射光の光電変換にて流れる光電流をIph、光速をc、出力端子容量をC1,C2とすると、出力端子電圧V1,V2はそれぞれ、次の式1(数1)により求めることができる。 As shown in FIG. 4, a lighting time width of the pulse projection light T0, Iph the photocurrent flowing in the photoelectric conversion of the reflected light, light velocity c, and the output terminal capacitance and C1, C2, the output terminal voltage V1, V2 can be determined respectively by the following equation 1 (equation 1).

また、図3に示されるように、2つの出力端子の構造は同一のため、端子容量C1とC2は等しくなる。 Further, as shown in FIG. 3, the structure of the two output terminals for the same, terminal capacitance C1 and C2 are equal. 即ち、C1=C2である。 That is, C1 = C2. この条件を、上記式1(数1)に代入して距離Lを求めると、次の式2(数2)を求めることができる。 This condition, when determining the distance L is substituted into the equation 1 (Equation 1) can be obtained the following equation 2 (equation 2).

上記TOF技術に基づくTOF式距離画像センサ31を用いた人物動作検出装置1は、従来の対象物体からの反射光の強度分布を用いて距離情報を取得する距離画像センサを用いた人物動作検出装置の場合と比較して、以下の点で大幅に優れている。 Human Motion detection apparatus using a TOF type distance image sensor 31 based on the TOF technique 1, human motion detection device using a distance image sensor that acquires distance information using the intensity distribution of the reflected light from the conventional object as compared with the case of, it is significantly better in the following points.

第1に、空間上の複数点での距離Lを各画素の距離の相対的な遠近ではなく、距離の絶対値で計ることができる。 First, it is possible to measure the distance L at a plurality of points in space in relative rather than perspective, the absolute value of the distance of the distance of each pixel. 距離Lが絶対値で求まるため、A/D変換後の信号処理(例えば、距離変位の有無を判定する閾値の設定)が容易である。 The distance L is obtained as an absolute value, a signal processing after A / D conversion (e.g., setting of the presence or absence determining threshold distance displacement) is easy. よって、追加の演算処理が不要であり、テレビゲームなどの高いフレームレートが要求される用途でのリアルタイム処理に適している。 Therefore, additional processing is not necessary and is suitable for real-time processing in applications where high frame rate, such as video games are required.

一方、反射光の強度分布から距離を取得する従来の距離画像センサでは、距離Lが相対値でしか求まらないため、距離Lを相対値から絶対値に変換する演算が必要になり、演算量が増加してしまう。 On the other hand, in the conventional distance image sensor that acquires distance from the intensity distribution of the reflected light, the distance L is not determined only by a relative value, the distance L from the relative value to the necessary operations to convert the absolute value calculation the amount is increased. よって、テレビゲームなどの遊具装置での高いフレームレートでのリアルタイム処理に適さないことになる。 Therefore, it will not be suitable for real-time processing at a high frame rate in the playground equipment device, such as a video game.

第2に、対象物体Aの表面の光学的性質の影響を受けにくいため、距離情報を取得できる対象物体Aの適用範囲が広い。 Second, because less susceptible to optical properties of the surface of the object A, a wide application range of the object A to the distance information can be acquired. 上記式2によれば、距離Lは出力端子電圧ΔV1,ΔV2の比で求まるため、対象物体Aの表面の光学的性質の影響を受けにくい。 According to the equation 2, the distance L is the output terminal voltage [Delta] V1, since the determined by the ratio of [Delta] V2, less sensitive to the optical properties of the surface of the object A. 即ち、対象物体Aの表面の光学的性質が対象物体Aの構成部分により異なる場合(例えば対象物体Aの表面の一部分は反射率が高く、その他の部分は反射率が低い)、ΔV1,ΔV2の絶対値は上記構成部分により増減するが、ΔV1,ΔV2の比は一定であるため、距離Lは対象物体Aの表面の光学的性質の影響を受けにくい。 That is, when the optical properties of the surface of the object A are different by components of the object A (e.g., a portion of the surface of the object A has a high reflectivity, the other parts are low reflectivity), [Delta] V1, the ΔV2 the absolute value is increased or decreased by the components, [Delta] V1, since the ratio of ΔV2 is constant, the distance L is less sensitive to the optical properties of the surface of the object a. これによって、追加の演算処理が不要であり、テレビゲームなどの遊具装置での高いフレームレートでのリアルタイム処理に適することになる。 Thus, additional processing is not necessary, thus suitable for real-time processing at a high frame rate in playground equipment device such as a video game.

一方、反射光の強度分布から距離Lを取得する従来の距離画像センサでは、反射光の強度分布は対象物体Aの表面の光学的性質の影響を大きく受けるため、光学的性質が均一である対象物体にしか適用できない。 On the other hand, in the conventional range image sensor to obtain the distance L from the intensity distribution of the reflected light, the intensity distribution of the reflected light for largely affected by the optical properties of the surface of the object A, a uniform optical properties subject It can not be applied only to the object. このため、人物の全身動作を取得しようとする場合、光学的性質が均一の構成部位毎(例えば、手のみ、上半身の衣服のみ、下半身の衣服のみ)に変化量を見る演算処理や、構成部位毎の光学的性質を考慮に入れて距離を補正する演算処理が必要になる。 When trying to retrieve the entire body operation Therefore, the person, optical properties uniform construction sites each (e.g., hand only, only the upper body garment, lower body garment only) operation process or to see the variation in the structure portion arithmetic processing is necessary to correct the distance the optical properties of each into account. これによって、追加の演算量が膨大になり、テレビゲームなどの高いフレームレートでのリアルタイム処理に適さないことになる。 Thus, the additional amount of computation becomes huge, so that is not suitable for real-time processing at a high frame rate, such as video games.

図1の説明に戻って、本実施形態1の特徴構成である高速人物動作検知制御手段4は、人物動作検出装置1全体を制御するために必要な各種制御部から構成されており、パワーLEDドライバ21およびTOF式距離画像センサ31の各駆動タイミングをそれぞれ制御するタイミング制御手段としてのタイミング制御部41と、ホスト側の遊具装置11などのシステムと交信するためのホストインターフェイス手段としてのホストインターフェイス部42と、TOF式距離画像センサ31からの距離情報(距離に応じた出力電圧情報)に基づく出力データストリームを所定のフォーマットに変換するためのデータフォーマット手段としてのデータフォーマット部43と、投射光の投射空間の距離変位を検出する距離変位検出手段としての距離 Returning to the description of FIG. 1, a high speed Human Motion detection controller 4 is a characteristic feature of the present embodiment 1 is composed of various control unit necessary for controlling the entire human operation detecting apparatus 1, a power LED a timing controller 41 of each driving timing as a timing control means for controlling each of the drivers 21 and TOF type distance image sensor 31, the host interface portion of the host interface means for communicating with the system, such as playground equipment device 11 of the host side 42, a data format unit 43 as data formatting means for converting the output data stream based on the distance information from the TOF type distance image sensor 31 (output voltage information according to the distance) to a predetermined format, the projection light distance as the distance displacement detecting means for detecting a distance displacement of the projection space 位検出部44と、距離変位の有無を判定する距離変位判定手段としての距離平衡状態判定部45と、距離フレームと距離平衡フレームのフレーム差分を求めるフレーム差分演算手段としてのフレーム差分演算部46とを有し、受光手段3からの受光情報に基づいて対象物体Aとしての人物の動作を検出する。 A position detection unit 44, a distance equilibrium state determination section 45 as determined distance the displacement determining means whether the distance displacement, the frame difference calculation section 46 as a frame difference calculation means for calculating a frame difference of distance frame and the distance balance frame It has, for detecting a person of operation as the object a based on the reception information from the receiving means 3.
タイミング制御部41は、少なくとも1個以上のパワーLEDモジュール22を、パワーLEDドライバ21を介して発光させるタイミングを制御すると共に、図4に示すように時間経過に伴って信号を振り分けるために、画素アレイ部311の各受光部の転送ゲートTX1,TX2の開閉タイミングをそれぞれ相反に制御する。 The timing control unit 41, at least one or more power LED module 22, controls the timing of light emission is through the power LED driver 21, in order to distribute the signals over time as shown in FIG. 4, the pixel It controls the opening and closing timings of the transfer gates TX1, TX2 of the light receiving portions of the array 311, respectively reciprocal.
ホストインターフェイス部42は、図5で後述する制御対象の遊具装置11などのシステムのアプリケーションプロセッサ5と交信して必要な情報をやり取りするためのインターフェイスであって、例えば人物の動作を検出したときに、人物の動作情報を3次元空間座標でアプリケーションプロセッサ5に情報通信するためのインターフェイスである。 Host interface unit 42 is an interface for exchanging information necessary in communication with the application processor 5 of the system, such as playground equipment device 11 of the control object, which will be described later in FIG. 5, for example, upon detecting an operation of a person an interface for information communication to the application processor 5 the operation information of the person in three-dimensional space coordinates.

データフォーマット部43は、画素アレイ部311が複数の受光部として例えば8万画素からなっており、TOF式距離画像センサ31からのセンサ出力が、処理の高速化のために2画素単位の並列出力であり、1画素当りの出力情報が2つの端子の出力電圧のΔV1,ΔV2の形式で出力されるため、後段の信号処理として、演算処理が容易となるようにデータ形式の変換が為されている。 Data formatting unit 43, the pixel array portion 311 are made of for example 80,000 pixels as a plurality of light receiving portions, the sensor output from the TOF type distance image sensor 31, the parallel outputs of two pixels for high-speed processing in and, [Delta] V1 of the output information per pixel is output voltages of the two terminals, to be output in the form of [Delta] V2, as subsequent signal processing, arithmetic processing is conversion of the data format is made so as to facilitate there.

また、データフォーマット部43は、所定のフォーマットで距離フレーム(RangeFrame;RF)を生成する距離フレーム生成部431と、所定のフォーマットで距離平衡フレーム(背景画像フレーム)を生成する距離平衡フレーム生成部432とを有している。 The data formatting unit 43, the distance frame in a predetermined format; a distance frame generator 431 for generating a (RangeFrame RF), the distance balance frame generation unit 432 for generating a distance balance frame (background image frame) in a predetermined format and it has a door.

距離フレーム生成部431は、上記[式1]のTOF式距離画像センサ31の出力電圧情報を基に、上記[式2]より距離Lを演算して距離フレームを生成する。 Distance frame generator 431 based on the output voltage information of TOF type distance image sensor 31 of the above-mentioned [Expression 1], and generates a distance frame by computing the than the distance L above [Equation 2].

距離平衡フレーム生成部432は、少なくとも2つの距離フレームを基に、人物動作検出の際にフレーム差分演算の基準(背景画像フレーム)となる距離平衡フレームを生成する。 Distance balance frame generating unit 432, based on at least two distances frames, generates a distance equilibrium frame as a frame difference calculation of the reference (background image frame) when a person operating the detection. この距離平衡フレーム生成部432について、以下に更に詳細に説明する。 This distance balance frame generation unit 432 will be described in more detail below.

距離変位検出部44は、TOF式距離画像センサ31からの距離情報(距離に応じた出力電圧情報で、上記式1の情報)に基づいて投射光の投射空間の距離Lを上記[式2]によりリアルタイムに計測し、計測した距離L(距離フレーム)に基づいて、フレーム差分演算部46による距離フレーム間でのフレーム差分演算処理(RFsubRF)により投射空間の距離の変化量を算出して所定の閾値と比較することにより距離変位の有無を検出することができる。 The distance displacement detecting unit 44 (output voltage information corresponding to the distance, the above equation 1 information) distance information from TOF type distance image sensor 31 above the distance L of the projection space of the projected light based on [Formula 2] the measures in real time, based on the measured distance L (distance frame), the frame difference calculation processing between a distance the frame by the frame difference calculating unit 46 predetermined by calculating the amount of change in distance of the projection space by (RFsubRF) it is possible to detect the presence or absence of the distance displacement by comparing with a threshold.

即ち、距離変位検出部44は、人物が動作を行ったか行っていないかを求めるのに、距離フレーム間で距離の変化があるかどうかを求める。 That is, the distance displacement detector 44 for determining whether or not done or the person has performed the operation, a determination of whether the distance is changed between the distance frame. 例えば1秒間に120フレーム分の距離情報が距離画像センサ31から距離変位検出部44に入ってくるが、距離変位検出部44において、距離Lの時間に対する変化量をフレーム差分演算部46によるフレーム差分(RFsubRF)から求める。 For example, distance information 120 frames per second coming from the distance image sensor 31 to the distance displacement detector 44, at a distance displacement detection unit 44, the frame difference and the variation with time of the distance L by the frame difference calculating unit 46 obtained from (RFsubRF). なお、少なくとも2つの距離フレームの間のフレーム差分の算出はここではフレーム差分演算部46によって行っているが、距離変位検出部44が少なくとも2つの距離フレームの間のフレーム差分を算出してもよい。 Here, the calculation of the frame difference between at least two distance frame is performed by the frame difference calculating unit 46, but the distance displacement detector 44 may calculate a frame difference between the at least two distances frame .

各距離フレームは、TOF式距離画像センサ31の出力電圧情報の時間的な揺らぎ(ランダムノイズ)に由来する距離の時間的な揺らぎを持っているため、人物が全く動作せず距離Lの変化がなくても、上記フレーム差分(RFsubRF)が全画素で「0」にはならない。 Each distance frame, because it has a temporal fluctuation of the distance from a temporal fluctuation of the output voltage information of TOF type distance image sensor 31 (random noise), the change in the distance L without person operate at all even without, the frame difference (RFsubRF) is not a "0" in all the pixels. そこで、人物の動作があったかなかったかを確定するために、距離Lの変化に対する閾値(フレーム差分閾値)を設定する。 Therefore, in order to determine whether there was no there was any operation of a person, sets the threshold value (frame difference threshold) with respect to the change in the distance L. 上記距離Lの変化に対する閾値は、TOF距離画像センサ31の距離分解能性能を考慮して、代表的な距離L毎に、TOF距離画像センサ31の距離分解能以上で、複数個、テーブル形式で用意しておく。 Threshold for the change in the distance L, taking into account the distance resolution performance of TOF range image sensor 31, for each typical distance L, at least the distance resolution of the TOF distance image sensor 31, is prepared a plurality, in table form to keep.

上記フレーム差分(RFsubRF)が設定閾値未満となった場合、距離変位検出部44は投射光の投射空間における距離の変化がない(対象物体Aは動いていない)と判定する。 The case of frame difference (RFsubRF) becomes less than the set threshold value, the distance displacement detector 44 determines no change in distance in the projection space of the projected light (the object A is not moving). 一方、上記フレーム差分(RFsubRF)が設定閾値以上となった場合、距離変位検出部44は投射光の投射空間における距離の変化があった(対象物体Aが動いている)と判定する。 On the other hand determines, when the frame difference (RFsubRF) is equal to or greater than a set threshold, the distance displacement detector 44 has been a change in distance in the projection space of the projected light (moving target object A).

距離平衡状態判定部45は、投射光の投射空間が距離平衡状態にあるかどうかを判定する。 Distance equilibrium state determination section 45 determines whether the projection space of the projected light is in the range equilibrium. 距離平衡状態判定部45は、上記距離変位検出部44が距離Lの時間変化がないと判定した期間が所定の時間以上続くかまたは、所定のフレーム数以上続けば、投射光の投射空間は距離平衡状態にあると判定する。 Distance equilibrium state determination section 45, or the period it is determined that the distance displacement detector 44 is no time variation of the distance L lasts longer than a predetermined time or, if continued more than a predetermined number of frames, the projection space of the projected light is the distance It is determined to be in the equilibrium state. なお、少なくとも2つの距離フレームの間のフレーム差分の算出はここではフレーム差分演算部46によって行っているが、距離平衡状態判定部45が少なくとも2つの距離フレームの間のフレーム差分を算出してもよい。 Here, the calculation of the frame difference between at least two distance frame is performed by the frame difference calculating unit 46, but the distance equilibrium state determination section 45 also calculates the frame difference between the at least two distances frame good.

フレーム差分演算部46は、連続して取得される距離フレーム間でフレーム差分演算(RFsubRF)を行ったり、距離フレームと距離平衡フレームの間でフレーム差分演算(RFsubBRF)を行ったりする。 Frame difference calculating unit 46, or perform or performs frame difference calculation (RFsubRF) between the distance frames acquired successively, frame difference operation between the distance frame and the distance balance frame the (RFsubBRF).

このように、フレーム差分演算部46は、複数の距離フレームについてそれぞれ距離平衡フレーム(背景画像)とのフレーム差分を演算し、そのフレーム差分から、例えば変化した水平方向および垂直方向(XY座標)の面積が最も広い領域や、距離Lの変化量が最も大きい領域などを、人物の動作情報として距離の変化量と変化方向を算出するようにしている。 Thus, the frame difference calculation unit 46 calculates the frame difference between the respective distances balance frame for a plurality of distance frame (background image) from the frame difference, for example, altered horizontal and vertical (XY coordinates) area and the widest area, the distance L change amount and the largest area of, and to calculate the distance variation and change direction as the operation information of the person.

距離平衡フレーム生成部432は、連続して取得される距離フレームの中から、上記距離変位検出部44が距離の変化がないと判定した少なくとも1つの連続した距離フレームを記憶する。 Distance balance frame generating unit 432, from among the distance frames acquired successively stores at least one continuous length frame is determined that the distance displacement detector 44 is no change in the distance. 距離平衡状態判定手段45が、投射光の投射空間が距離平衡状態にあると判定したら、距離平衡フレーム生成部432は、記憶しておいた少なくとも2つの距離フレームの時間平均を算出し、距離平衡フレーム(BalancedRange Frame;BRF)を生成する。 Distance equilibrium state determination section 45, if it is determined that the projection space of the projection light is in a range equilibrium distance balance frame generation unit 432 calculates a time average of at least two distances frame has been stored, the distance equilibrium generating a; (BRF BalancedRange frame) frame. この時間平均をとることにより、距離平衡フレームが含む時間的なランダムノイズが減少し、距離フレームと距離平衡フレームのフレーム差分をとって人物動作を検出する際の誤検出を減少させることができる。 By taking this time average distance temporal random noise balance frame contains is reduced, it is possible to reduce erroneous detection when detecting a person operating taking frame difference of distance frame and the distance balance frame.

上記距離平衡フレーム生成処理は、所定の時刻毎(例えば毎秒1回)など頻繁に行う必要はなく、例えば高速人物動作検出装置1の起動時やアプリケーションプロセッサ5によるゲームプログラムの初期化時などに行えばよい。 The distance balance frame generation process, every predetermined time (e.g., once per second) need not be frequently performed, such as for example lines, such as during initialization of the game program by starting or application processor 5 fast Human Motion detector 1 Ebayoi. よって、上記距離平衡フレーム生成処理の演算量は多いが頻度が少ないため、高いフレームレートでの駆動時におけるリアルタイム処理を阻害することはない。 Therefore, since the computation amount of the distance balance frame generation process often but less frequently, does not hinder the real-time processing at the time of driving at a high frame rate.

(実施形態2) (Embodiment 2)
上記実施形態1では、対象物体Aまでの距離Lを複数点で立体的に求める本発明の人物動作検出装置1について説明したが、本実施形態2では、上記高速人物動作検出装置1を、対象物体Aとしての人物の動作内容に応じてゲーム内容や進行を制御する遊具装置に適用した場合について詳細に説明する。 In Embodiment 1 has described the human operation detecting apparatus 1 of sterically determine the present invention the distance L to the object A at a plurality of points, in the second embodiment, the high-speed Human Motion detection apparatus 1, the subject It will be described in detail when applied to playground equipment device for controlling the game contents and progresses according to the operation content of the person as the object a.

図5は、本発明の実施形態2に係る遊具装置の要部構成例を示すブロック図である。 Figure 5 is a block diagram showing a main configuration example of a playground device according to a second embodiment of the present invention. なお、図1の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。 Constituent members the same effects as the components of FIG. 1 will be denoted by the same reference numerals.

図5において、本実施形態2の遊具装置11は、上記実施形態1の人物動作検出装置1と、ゲームプログラムの実行や人物動作検出装置1との距離情報のやり取りなどゲーム進行に必要な各種制御を行うアプリケーションプロセッサ5とを有している。 5, play equipment device 11 of the present embodiment 2, the person operating the detection device 1 of the first embodiment, exchange various control necessary for game progress, such as the distance information between the execution and the person operating the detection device 1 of the game program and a application processor 5 for.

人物動作検出装置1は、TOF式距離画像センサ31を有することで、後段の信号処理での演算量を大幅に減らすことができるため、特に、テレビゲームなどの高いフレームレートが要求される遊具装置11におけるリアルタイム処理に適している。 Human Motion detection apparatus 1, by having a TOF type distance image sensor 31, it is possible to reduce the amount of calculation in a subsequent signal processing greatly, especially playground equipment device a high frame rate, such as video games are required It is suitable for real-time processing in 11.

アプリケーションプロセッサ5は、この人物の動作情報の3次元空間座標に基づいて、人物の動作をゲーム内の登場人物の動作やイベントの発生に反映させるなどゲーム内容を制御してゲームを進行させる。 Application processor 5, based on three-dimensional coordinates of the operation information of the person, and controls the game content, etc. to reflect the behavior of the person on the occurrence of the operation or event of the characters in the game to progress the game.

アプリケーションプロセッサ5の人物動作検出部51は、検出しようとする人物の動作の詳細な情報を取得するために、上記連続して取得されるフレーム差分(RFsubRFやRFsubBRF)を比較して、人物の動作領域の位置(距離と方向)、人物の動作の速度ベクトル(動作の速さと方向)、人物の動作の加速度ベクトル(動作の加速度の大きさと方向)などの各種情報を抽出する。 Human Motion detector 51 of the application processor 5, in order to obtain detailed information on the behavior of the person to be detected, by comparing the frame difference (RFsubRF or RFsubBRF) which is obtained by the continuous operation of the person position of the area (distance and direction), (speed and direction of movement) velocity vector of the operation of a person, and extracts various kinds of information such as an acceleration vector of the operation of a person (magnitude and direction of acceleration of the operation). 動作領域の位置は距離フレームの水平・垂直方向(XY座標)の位置および距離L(XY平面に直交する人物動作検出装置1からの距離L)から立体座標(XYZ座標)として求める。 Position of the operating region is determined as the horizontal and vertical distances frame position and the distance L from the stereoscopic coordinate (a distance L from the person operating the detection device 1 that is perpendicular to the XY plane) of the (XY coordinates) (XYZ coordinate). 人物の動作の速度ベクトルや加速度ベクトルは動作領域の平均移動距離から求めてもよく、動作領域の重心位置の移動距離から求めてもよく、特定位置(例えば人物の頭部や腕や手)について求めてもよい。 Velocity vector and acceleration vector of the operation of the person may be determined from the average moving distance of the operating region may be obtained from the moving distance of the center of gravity of the operating region, for a particular position (e.g., a person's head and arms and hands) it may be obtained.

ここで、人物動作検出装置1と人物動作検出部51の間で、ゲームの内容や進行状況に応じて、アプリケーションプロセッサ5が必要とする距離情報に対してのみ信号処理を限定するように、ホストインターフェイス部42を介して情報のやり取りを行ってもよい。 Here, between the person operating the detection device 1 and the person operating the detection unit 51, depending on the content and progress of the game, only to limit the signal processing with respect to the distance information is an application processor 5 requiring host it may be carried out exchange of information through the interface unit 42. 即ち、アプリケーションプロセッサ5のゲームプログラム側では、ゲームの内容や進行状況に応じて、対象物体Aである人物が動作を行うことを期待する時刻(以下、期待時刻)や、人物が存在することを期待する空間(以下、期待存在空間)、および人物が動作することを期待する空間(以下、期待動作変化)の情報を持っている。 That is, in the game program side of the application processor 5, depending on the content and progress of the game, the time when a person is the object A is expected to perform the operation (hereinafter, the expected time) or that the person is present expected space (hereinafter, the expected presence space), and the person is space expected to operate (hereinafter, expected operation changes) has information.

図6は、本実施形態2を実施するための最良の形態における期待時刻と期待存在空間を模式的に示す図であり、図7は、本実施形態2を実施するための最良の形態における期待時刻と期待存在空間と期待動作変化を模式的に示す図である。 Figure 6 is a diagram schematically showing the expected time and the expected presence space in the best mode for carrying out the present embodiment 2, FIG. 7 is expected in the best mode for carrying out the present embodiment 2 the expected behavior change time and the expected presence space is a view schematically showing.

図6および図7において、テニスゲームを例にして期待時刻、期待存在空間および期待動作変化について詳細に説明する。 6 and 7, the expected tennis game as an example the time, will be described in detail for the presence space and expected behavior change expected. 対象物体Aである人物が何らかの行動を起こすことを期待されるタイミングが期待時刻である。 Timing the person which is the target object A is expected to cause some action is expected time. 例えば図6の時刻t0では、ゲーム内でテニスが開始されていないので対象物体Aである人物は移動や動作を期待されていない。 For example at time t0 in FIG. 6, a person is the object A so tennis is not started in the game is not expected to move or operation. 次の時刻t1では、ゲーム内の対戦相手が返球する順番で、対象物体Aである人物は移動の構えをとっているだけであり、ここではまだ、対象物体Aである人物や対戦相手が移動や動作を期待されていない。 At the next time t1, in the order in which the opponent in the game is to Henkyu, a person is the object A is only taking the stance of the movement, still, move the person or the opponent is the target object A here the and the operation has not been expected. 更に次の時刻t2において、ゲーム内のプレイヤが返球する順番であり、対象物体Aである人物はボールに届く位置まで移動を開始することが期待されている。 Furthermore at the next time t2, and the order in which the player of the game is Henkyu, a person is the object A is expected to start moving to a position reaching the ball.

対象物体Aである人物が移動するなどの動作を行うことを期待される空間領域が期待存在空間である。 Space region are expected to person is the object A performs an operation such as moving the expected presence space. 例えば図6の時刻t2において、ゲーム内のプレイヤが返球するためにテニスコートの右に移動しなければならないとき、対象物体Aである人物は期待存在空間P2まで右に移動することが期待されている。 For example, at time t2 in FIG. 6, when a player in the game must move to the right of the tennis court to Henkyu, a person is the object A is expected to move to the right until the expected presence space P2 there. さらに、対象物体Aである人物が行うであろうと期待される動作の速さや方向が期待動作変化である。 Furthermore, speed and direction of the expected behavior and will perform a person is the object A is expected behavior change.

図7の時刻t3において、対象物体Aである人物は期待存在空間P3まで右に移動し、図7の時刻t4において、ゲーム内のプレイヤの近くにボールが来たら、対象物体Aである人物は期待存在空間P4において手に持ったラケットで返球動作(期待動作変化V4)を行うことが期待されている。 At time t3 in FIG. 7, a person is the object A moves to the right until the expected presence of space P3, at time t4 in FIG. 7, when the ball is coming close to the player in the game, the person is the target object A is It is expected to perform Henkyu operation in racket in his hand (expected behavior change V4) in the expected presence space P4.

アプリケーションプロセッサ5では、ゲームプログラムの進行に合わせて期待時刻tでの期待存在空間Pにおける期待動作変化Vのみが意味を持つため、それ以外のモニタ量は不要と見なせる。 In application processor 5, since only the expected operation change V in expected presence space P at the expected time t in accordance with the progress of the game program is meaningful monitoring of others can be regarded as unnecessary. よって、人物動作検出部51は上記各期待値と合致する距離情報についてのみ、人物動作を検出するための演算処理を行えばよい。 Thus, the person operating the detection unit 51 the distance information matching with the respective expected values ​​only, it is sufficient to arithmetic processing for detecting a person operating.

人物動作検出部51は、不要な信号処理を実施しないことにより演算量を減らすことができるため、人物動作検出装置1を高いフレームレートで駆動してもリアルタイム処理を行うことが可能になる。 Human Motion detection unit 51, it is possible to reduce the amount of computation by not performing the unnecessary signal processing, even if driving the human operation detection device 1 at a high frame rates it is possible to perform real-time processing. また、対象物体Aである人物のゲーム進行と無関係の動作や、複数人が撮像領域内にいるときに対象物体Aである人物以外の動作を誤検出する可能性が低くなる。 The game independent behavior or the progression of a person which is the target object A, may be several people erroneously detects the operation other than a person is the object A when you are in the imaging area becomes low.

ここで、まず、図8に示すフローチャートを参照して、図5の人物動作検出装置1の簡易で特に高速な人物動作検知処理について説明する。 Here, first, with reference to a flowchart shown in FIG. 8, it will be described particularly fast person motion detection processing in the simple person operation detecting apparatus 1 of FIG.

図8に示すように、まず、ステップS1において、電源の投入または遊具装置11のゲームプログラムからの動作開始の指示などにより、高速人物動作検知制御手段4は、発光手段2や受光手段3を用いて、例えば1秒間に120枚程度のフレームレートで距離フレームを取得する。 As shown in FIG. 8, first in step S1, due instruction of operation start from power-on or playground apparatus 11 game program of a fast person operation detection controller 4, using the light emitting unit 2 and the light receiving unit 3 Te, for example, obtains the distance frame 120 sheets about the frame rate per second.

次に、ステップS2でフレーム差分を演算する。 Then, it calculates a frame difference at step S2. 即ち、高速人物動作検知制御手段4のフレーム差分演算部46は、距離フレーム間でフレーム演算を行う。 That is, the frame difference calculation unit 46 of the high-speed Human Motion detection controller 4 performs frame operation between the distance frame. 出力端子電圧ΔV1,ΔV2の大きさが、対象物体Aとなる人物が存在する領域と存在しない領域(背景)とで比較すると1桁から2桁違うため、人物の存在や動作を検出することが可能である。 Output terminal voltage [Delta] V1, the magnitude of ΔV2 is, since different 2 digits Compared out with region TA is present a person to be an object A (background) 1 digit, to detect the presence and operation of a person possible it is.

その後、演算結果の情報は、ホストインターフェイス部42を介してアプリケーションプロセッサ5に渡される。 Then, information of the operation result is passed to the application processor 5 via the host interface unit 42. アプリケーションプロセッサ5の人物動作検知部51では、ステップS3で、距離変位がアプリケーションプロセッサ5の有する期待値と一致するかどうかを判定し、それが一致する場合は、ステップS4で「人物動作があった」と判定し、それが不一致の場合は、ステップS5で「人物動作がなかった」と判定する。 In Human Motion detection unit 51 of the application processor 5, in step S3, the distance displacement to determine if it matches the expected value with the application processor 5, if it matches, it was "person operation in step S4 It determines that "decides it is not matched, a" person operation was not "in step S5.

以上の簡易で高速な人物動作検知制御ステップは、距離フレーム生成部431がTOF式距離画像センサ31からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、フレーム差分演算部46が複数の距離フレームについてそれぞれのフレーム差分を演算し、その演算したフレーム差分から人物の動作情報として人物の距離の変化量とその変化方向を算出するフレーム差分演算ステップとを有している。 Fast Human Motion detection controlling step in the above simple is the distance frame generation step of generating a plurality of distance frame in chronological distance frame generator 431 based on the distance information from the TOF type distance image sensor 31, the frame difference calculation unit 46 calculates the respective frame difference for a plurality of distance frame, and a frame difference calculation step of calculating the amount of change in the distance between the persons as the operation information of the person from the frame difference which is the operation and the change direction there.

次に、図9に示すフローチャートを参照して、図1の高速人物動作検出装置1の高精度な人物動作検知処理について説明する。 Next, with reference to a flowchart shown in FIG. 9, a description will be given accurate Human Motion detection processing of the high-speed Human Motion detection apparatus 1 of FIG. 1.

図9に示すように、まず、ステップS11において、電源の投入または遊具装置11のゲームプログラムからの動作開始の指示などにより、高速人物動作検知制御手段4は、発光手段2や受光手段3を用いて、例えば1秒間に120枚程度のフレームレートで距離フレームを取得する。 As shown in FIG. 9, first, in step S11, such as by instructing the start of operation of the power-up or play equipment device 11 game program of a fast person operation detection controller 4, using the light emitting unit 2 and the light receiving unit 3 Te, for example, obtains the distance frame 120 sheets about the frame rate per second.

次に、ステップS12で、高速人物動作検知制御手段4が、所定のタイミングで、距離フレーム毎のフレーム差分を求める動作を開始する。 Next, in step S12, the high speed Human Motion detection control means 4, at a predetermined timing to start the operation for obtaining a frame difference for each distance frame.

ステップS13で、上記フレーム差分(RFsubRF)が、設定された閾値未満であるかどうかが判定される。 In step S13, the frame difference (RFsubRF) is determined if it is less than the threshold set. 上記フレーム差分(RFsubRF)が、設定された閾値未満であるとき、ステップS14で、距離変位検出部44は「距離変位がない」と判定する。 Determining the frame difference (RFsubRF) is when it is less than the threshold set in step S14, the distance displacement detection unit 44 as "no distance displacement." また、上記フレーム差分(RFsubRF)が、設定された閾値以上であるとき、ステップS15で、距離変位検出部44は「距離変位有り」と判定し、その後、ステップS11の距離フレーム取得処理に戻る。 Further, the frame difference (RFsubRF) is, when not less than a threshold set in step S15, the distance displacement detector 44 determines "distance there displacement", then returns to the distance frame acquisition process in step S11.

さらに、ステップS14で、距離変位検出部44により「距離変位がない」と判定された状態が、所定の時間以上または所定のフレーム枚数以上継続した場合、距離平衡状態判定部45は投射光の投射空間が距離平衡状態にあると判定する。 Further, in step S14, the distance displacement detector 44 is determined to be state "no distance displacement", if continued more or a predetermined number of frames or predetermined time, distance equilibrium state determination section 45 projects the projection light It determines that space is in the range equilibrium.

その後、ステップS16で、距離平衡状態判定部45は投射光の投射空間が距離平衡状態にあると判定すると、距離平衡フレーム生成部432は、少なくとも1つの距離フレームの時間平均をとり、距離平衡フレームを生成する。 Thereafter, in step S16, the distance equilibrium state determination section 45 determines that the projection space of the projection light is in a range equilibrium distance balance frame generation unit 432 takes a time average of at least one distance frame, the distance balance frame to generate.

続いて、距離平衡フレームの具体例を示した画像を図10に示している。 Subsequently, an image showing a specific example of the distance balance frame is shown in FIG. 10. 図10では対象物体Aである人物がおらず、背景のみから距離平衡フレームを生成しているが、人物が撮像範囲にいても、例えば遊具装置11のゲームプログラムからの指示により人物を右側に移動させて左側半分の距離フレームを生成し、続いて人物を左側に移動させて右側半分の距離フレームを生成し、最後にそれらを合成することにより距離平衡フレームを生成することができる。 FIG person not folded is 10, the object A, transferred from the background only has to generate the distance balance frame, can have the person imaging range, a person on the right side for example by an instruction from the playground equipment device 11 game program is allowed to generate the left half of the distance frame, followed a person is moved to the left by generating the right half of the distance frame, the end can generate distance balance frame by synthesizing them. または、人物が静止している状態であれば、静止した人物を含めて距離平衡フレームを生成しても、フレーム差分演算(RFsubBRF)により距離の変位を検出することができる。 Or, if a state in which the person is at rest, and generate a distance balance frame including stationary person, it is possible to detect the displacement of the distance by a frame difference calculation (RFsubBRF).

以上の高精度な人物動作検知制御ステップは、距離フレーム生成部431がTOF式距離画像センサ31からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、距離平衡フレーム生成部432が、少なくとも2つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、フレーム差分演算部46が複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、その演算したフレーム差分から人物の動作情報として人物の距離の変化量とその変化方向を算出するフレーム差分演算ステップとを有している。 More accurate Human Motion detection control step, a distance frame generation step of generating a plurality of distance frame in chronological distance frame generator 431 based on the distance information from the TOF type distance image sensor 31, the distance balance frame generator 432, based on at least two distances frames, each distance and the distance the balance frame generation step of generating a distance balance frame is not the distance information of the distance change in a person, the frame difference calculation unit 46 for a plurality of distance frame calculating a frame difference between the balance frame, and a frame difference calculation step of calculating the amount of change in the distance between the persons as the operation information of the person from the computed frame difference and the changing direction.

図11および図12に、ある時刻とその後の時刻において図5の距離フレーム生成部431で取得した距離情報の具体例を示した画像をそれぞれ示している。 11 and 12, shows an image illustrating a specific example of the acquired distance information by the distance frame generation unit 431 of FIG. 5 at a certain time and subsequent times respectively.

ステップS17において、フレーム差分演算部46が、距離フレームと距離平衡フレームの間のフレーム差分演算を行う。 In step S17, the frame difference calculating unit 46 performs the frame difference operation between the distance frame and the distance balance frame. 図10と図11のフレーム差分(RFsubBRF)および図10と図12のフレーム差分(RFsubBRF)をそれぞれ図13と図14に示している。 Figure 10 and frame difference in FIG. 11 (RFsubBRF) and FIGS. 10 and 12 of the frame difference of (RFsubBRF) are shown in FIG. 13, respectively and 14. 距離変位がない領域はフレーム差分演算により相殺され距離変位がある領域のみが残る。 Distance displacement is no region only area where the offset distance displaced by the frame difference calculation remains.

図15に、図13と図14のフレーム差分を示している。 Figure 15 shows the frame difference in FIG. 13 and FIG. 14. それぞれ図11と図12に示す距離フレームを取得する間に対象物体Aである人物がどれだけ移動したかが検出されることになる。 Or a person is the object A during the obtaining distance frames shown in FIGS. 11 and 12 has moved much is to be detected.

その後、演算結果の情報は、ホストインターフェイス部42を介してアプリケーションプロセッサ5に渡される。 Then, information of the operation result is passed to the application processor 5 via the host interface unit 42. 人物動作検知部51では、ステップS18で、距離変位がアプリケーションプロセッサ5の有する期待値と一致するかどうかを判定し、それが一致する場合は、ステップS19で「人物動作があった」と判定し、それが不一致の場合は、ステップS20で「人物動作がなかった」と判定する。 In Human Motion detection unit 51, at step S18, the distance displacement to determine if it matches the expected value with the application processor 5, if it matches, it is determined that "there is a person operating" in step S19 determines it is in the case of disagreement, in step S20 as a "person operation did not."

(実施形態3) (Embodiment 3)
上記実施形態1では、対象物体Aまでの距離Lを複数点で立体的に求める本発明の人物動作検出装置1について説明し、上記実施形態2では、上記高速人物動作検出装置1を、対象物体Aとしての人物の動作内容に応じてゲーム内容や進行を制御する遊具装置に適用した場合について説明し、本実施形態3では、上記実施形態2の図9のステップS17のフレーム差分演算(RFsubRF)以降のステップを追加することにより、対象物体Aである人物の身体全体が移動したかどうかを判定する方法について詳細に説明する。 In the first embodiment, it describes human operation detecting apparatus 1 of sterically determine the present invention the distance L to the object A at a plurality of points, in Embodiment 2, the high-speed Human Motion detection apparatus 1, the target object It described as being applied to a playground equipment device for controlling the game contents and progresses according to the operation content of the person as a, in the third embodiment, the frame difference calculation in step S17 in FIG. 9 of the embodiment 2 (RFsubRF) by adding a subsequent step, the entire body of a person which is the object a will be described in detail a method of determining whether the movement.

図22は、本発明の実施形態3に係る遊具装置の要部構成例を示すブロック図である。 Figure 22 is a block diagram showing a main configuration example of a playground device according to a third embodiment of the present invention. なお、図1および図5の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。 Constituent members the same effects as the components of FIGS. 1 and 5 are denoted by the same reference numerals.

図22において、本実施形態3の遊具装置11Aは、対象物体Aまでの距離Lを複数点で立体的に求める人物動作検出装置1Aと、ゲームプログラムの実行や人物動作検出装置1Aとの距離情報のやり取りなどゲーム進行に必要な各種制御を行うアプリケーションプロセッサ5Aとを有している。 In Figure 22, play equipment device 11A of the present embodiment 3, the distance information of the person operating detecting device 1A sterically determined at a plurality of points the distance L to the object A, the execution and the person operating detecting device 1A of the game program and an application processor 5A for performing various controls necessary for the game progress, such as the exchange.

人物動作検出装置1Aは、上記実施形態1、2の人物動作検出装置1の構成に中心座標検出部47をさらに有している。 Human Motion detection apparatus 1A further includes a center coordinate detection unit 47 to the structure of the person operating the detection device 1 of the above first and second embodiments.

距離平衡フレーム生成手段よしての距離平衡フレーム生成部432が距離平衡フレーム(BRF)を生成し、フレーム差分演算手段としてのフレーム差分演算部46がN番目の距離フレームと距離平衡フレームとの差分(RFsubBRF)を演算する。 Distance balance frame generating unit 432 of the distance balance frame generating means Yoshi and generates a distance balance frame (BRF), the frame difference calculation section 46 as a frame difference calculation means with the N-th distance frame and the distance balance frame difference ( RFsubBRF) to calculate the. これによって、距離変化のない背景情報から、対象物体Aである人物を切り出して検出することができる。 Thus, the no background information of the distance change can be detected by cutting out a person is the object A. 即ち、フレーム差分演算部46は、距離フレームと距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景情報からの距離の変化の有無により人物を検出する。 That is, the frame difference calculation unit 46 calculates the frame difference of the distance frame and the distance balance frame, the distance information is detecting a person by the presence or absence of change in the distance from the background information in equilibrium.

この状態で、中心座標検出手段としての中心座標検出部47は、距離フレームと距離平衡フレームのフレーム差分により検出した人物の距離情報から中心座標および中心座標の移動量を求める。 In this state, the center coordinate detection unit 47 as the center coordinate detection means obtains a movement amount of the center coordinates and the center coordinates from the distance information of the person detected by the frame difference of the distance frame and the distance balance frame. つまり、中心座標検出部47は、N番目の距離フレームについて、その検出した人物の距離情報から中心座標を求める。 That is, the center coordinate detection unit 47, the N-th distance frame, obtains the center coordinates from the distance information of the detected person. 次のN+1番目の距離フレームについても同様に中心座標を求め、N番目とN+1番目の各距離フレーム間の中心座標の移動量を求める。 Calculated center coordinates Similarly, the next (N + 1) -th distance frame, obtains the movement amount of the center coordinates between the N-th and (N + 1) -th each distance frame. この場合の中心座標とは、例えば、検出した人物の身体全体の距離情報から重心座標を求めてもよく、検出した人物の全身のX,Y,Z座標の最大値および最小値からそれぞれ中点座標を求めてもよく、検出した人物の輪郭の各点からの距離の和が最小になる点の座標を求めてもよい。 The center coordinates of this case, for example, may be determined barycentric coordinates from the detected person's body entire distance information, X systemic detected person, Y, from the maximum and minimum values ​​of the Z coordinates respectively midpoint may be obtained coordinates may be obtained coordinates of the points where the sum of distances from each point of the contour of the detected person is minimized.

即ち、中心座標検出部47は、検出した人物の身体全体の距離情報から、3次元空間の各座標軸の重心座標を中心座標として算出する。 That is, the center coordinate detection unit 47, the whole body of the distance information of the detected person is calculated as the center coordinates of the centroid coordinates of each coordinate axis of the three-dimensional space. または、中心座標検出部47は、検出した人物の身体全体の距離情報から、3次元空間の各座標軸方向の最大値および最小値から中点を中心座標として算出する。 Or, the center coordinate detection unit 47, the detected person's body entire distance information, calculates a middle point as the center coordinate from the maximum and minimum values ​​in the directions of the axes of the three-dimensional space. または、中心座標検出部47は、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を中心座標として算出する。 Or, the center coordinate detection unit 47, the whole body of the distance information of the detected person, the sum of the distances from each point on the contour of the person is calculated as the center coordinates of the point having the minimum.

アプリケーションプロセッサ5Aは、この人物の動作情報の3次元空間座標に基づいて、人物の動作をゲーム内の登場人物の動作やイベントの発生に反映させるなどゲーム内容を制御してゲームを進行させる。 Application processor 5A, based on the three-dimensional coordinates of the operation information of the person, and controls the game content, etc. to reflect the behavior of the person on the occurrence of the operation or event of the characters in the game to progress the game.

アプリケーションプロセッサ5Aの人物動作検出手段としての人物動作検出部51Aは、連続して取得される距離フレーム間の中心座標の移動量と、ゲーム内の期待値とを比較して、中心座標移動判定手段としての中心座標移動判定部511は、人物の中心座標の移動量が期待値から設定した閾値以上であった場合には人物の「全身移動があった」と判定し、また、人物の中心座標の移動量が閾値未満であった場合には人物の「全身移動がなかった」と判定する。 Human Motion detector 51A as human operation detecting means of the application processor 5A compares the amount of movement of the center coordinates of the distance between frames acquired successively, the expected value of the game, the center coordinates movement determining means center coordinate movement determination section 511 as is the case the amount of movement of the center coordinates of the person is greater than or equal to the threshold set from the expected value is determined to be "had systemic movement" of the person, also, the center coordinates of the person If the amount of movement is less than the threshold value it determines that the "whole body movement was not" person.

ここで、人物動作検出装置1Aの高速人物動作検知制御手段4Aと人物動作検出部51の間で、ゲームの内容や進行状況に応じて、アプリケーションプロセッサ5Aが必要とする距離情報に対してのみ信号処理を限定するように、ホストインターフェイス部42を介して情報のやり取りを行ってもよい。 Here, among the high-speed Human Motion detection controller 4A and the person operating the detection unit 51 of the person operating the detection device 1A, in accordance with the contents and the game progress status, relative distance information application processor 5A requires only signal to limit the processing may be performed to exchange information through the host interface unit 42. 即ち、アプリケーションプロセッサ5Aのゲームプログラム側では、ゲームの内容や進行状況に応じて、対象物体Aである人物が動作を行うことを期待する時刻(以下、期待時刻)や、人物が存在することを期待する空間(以下、期待存在空間)、および人物が動作することを期待する空間(以下、期待動作変化)の情報を持っている。 That is, in the game program side of the application processor 5A, in accordance with the content and the progress of the game, the time when a person is the object A is expected to perform the operation (hereinafter, the expected time) or that the person is present expected space (hereinafter, the expected presence space), and the person is space expected to operate (hereinafter, expected operation changes) has information.

次に、図23に示すフローチャートを参照して、図22の高速人物動作検出装置1Aの高精度な人物動作検知処理について説明する。 Next, with reference to a flowchart shown in FIG. 23, a description will be given accurate Human Motion detection processing of the high-speed human motion detection device 1A of FIG. 22.

図23に示すように、まず、ステップS11において、電源の投入または遊具装置11Aのゲームプログラムからの動作開始の指示などにより、高速人物動作検知制御手段4Aは、発光手段2や受光手段3を用いて、例えば1秒間に120枚程度のフレームレートで距離フレームを取得する。 As shown in FIG. 23, first, in step S11, such as by instructing the start of operation of the power-up or play equipment device 11A game program of a fast person operation detection controller 4A uses a light-emitting unit 2 and the light receiving unit 3 Te, for example, obtains the distance frame 120 sheets about the frame rate per second.

次に、ステップS12で、高速人物動作検知制御手段4Aが、所定のタイミングで、距離フレーム毎のフレーム差分を求める動作を開始する。 Next, in step S12, the high speed Human Motion detection controller 4A is at a predetermined timing to start the operation for obtaining a frame difference for each distance frame.

ステップS13で、上記フレーム差分(RFsubRF)が、設定された閾値未満であるかどうかが判定される。 In step S13, the frame difference (RFsubRF) is determined if it is less than the threshold set. 上記フレーム差分(RFsubRF)が、設定された閾値未満であるとき、ステップS14で、距離変位検出部44は「距離変位がない」と判定する。 Determining the frame difference (RFsubRF) is when it is less than the threshold set in step S14, the distance displacement detection unit 44 as "no distance displacement." また、上記フレーム差分(RFsubRF)が、設定された閾値以上であるとき、ステップS15で、距離変位検出部44は「距離変位有り」と判定し、その後、ステップS11の距離フレーム取得処理に戻る。 Further, the frame difference (RFsubRF) is, when not less than a threshold set in step S15, the distance displacement detector 44 determines "distance there displacement", then returns to the distance frame acquisition process in step S11.

さらに、ステップS14で、距離変位検出部44により「距離変位がない」と判定された状態が、所定の時間以上または所定のフレーム枚数以上継続した場合、距離平衡状態判定部45は投射光の投射空間が距離平衡状態にあると判定する。 Further, in step S14, the distance displacement detector 44 is determined to be state "no distance displacement", if continued more or a predetermined number of frames or predetermined time, distance equilibrium state determination section 45 projects the projection light It determines that space is in the range equilibrium.

その後、ステップS16で、距離平衡状態判定部45は投射光の投射空間が距離平衡状態にあると判定すると、距離平衡フレーム生成部432は、少なくとも1つの距離フレームの時間平均をとり、距離平衡フレームを生成する。 Thereafter, in step S16, the distance equilibrium state determination section 45 determines that the projection space of the projection light is in a range equilibrium distance balance frame generation unit 432 takes a time average of at least one distance frame, the distance balance frame to generate.

さらに、ステップS17において、フレーム差分演算部46が、距離フレームと距離平衡フレームの間のフレーム差分演算を行う。 Further, in step S17, the frame difference calculation unit 46 performs the frame difference operation between the distance frame and the distance balance frame. 距離変位がない領域はフレーム差分演算により相殺され距離変位がある領域のみが残っている。 Distance displacement is no region remains only area where the offset distance displaced by the frame difference calculation.

このように、この距離平衡フレーム生成方法に従って、距離平衡フレーム(BRF)を求め(ステップS16)、N番目の距離フレームと距離平衡フレームとの差分(RFsubBRF)を演算する(ステップS17)ことにより、距離が平衡状態にある、即ち距離変化のない背景情報から、対象物体Aである人物を切り出して検出することができる。 Thus, in accordance with the distance balance frame generating method, it obtains distances balance frame (BRF) (step S16), and calculates the difference (RFsubBRF) with N-th distance frame and the distance balance frame (step S17) by, distance is in equilibrium, that is, from background information no distance variation can be detected by cutting out a person is the object a.

ここまでは、図9のステップS17のフレーム差分演算(RFsubRF)までのステップと同様であるが、ステップS17以降のステップを追加することにより、対象物体Aである人物の身体の全体が移動したかどうかを判定することができる。 Up to this point, or it is similar to step up the frame difference calculation in step S17 in FIG. 9 (RFsubRF), by adding the step of after step S17, the entire body of a person which is the object A has moved it is possible to determine how.
即ち、フレーム差分演算処理に続くステップS21において、高速人物動作検知制御手段4Aの中心座標検出部47は、N番目の距離フレームについて、検出した人物の距離情報から中心座標を求める。 That is, in step S21 subsequent to the frame difference operation, the center coordinate detection unit 47 of the high-speed Human Motion detection controller 4A, for N-th distance frame, obtains the center coordinates from the distance information of the detected person. 中心座標とは、例えば、検出した人物の身体全体の距離情報から重心座標を求めてもよく、検出した人物の全身のX,Y,Z座標の最大値および最小値からそれぞれ中点座標を求めてもよく、検出した人物の輪郭の各点からの距離の和が最小になる点の座標を求めてもよい。 The center coordinates, for example, may be determined barycentric coordinates from the detected person's body entire distance information, X systemic detected person, Y, each of the middle point coordinates from the maximum value and the minimum value of Z-coordinate calculated at best, it may be obtained coordinates of the points where the sum of distances from each point of the contour of the detected person is minimized. これと同様に、次のN+1番目の距離フレームについても同様に中心座標を求め、N番目とN+1番目の距離フレーム間の中心座標の移動量を求める。 Similarly, as well as determine the center coordinates also for the next (N + 1) -th distance frame, obtains the movement amount of the center coordinates between the N-th and (N + 1) -th distance frame. 例えば、テニスゲームにおいてボールの返球位置に人物が移動するために、人物が投射光の投射空間を前後左右に移動すると、人物の中心座標は距離フレーム間で移動するため、人物の身体がどこからどこに移動したのか、演算が簡易で演算量の少ない指標値とすることができる。 For example, to person Henkyu position of the ball is moved in the tennis game, when a person moves a projection space of the projected light in all directions, since the center coordinates of the person to be moved between a distance frame, where from where the body of the person or moved to, operations may be less index value of the amount of computation in a simple manner.

さらに、ステップS22において、中心座標の移動量の情報は、ホストインターフェイス部42を介してアプリケーションプロセッサ5Aに渡される。 Further, in step S22, the moving amount of the information of the center coordinates are passed to the application processor 5A through the host interface unit 42. ゲームプログラム側では、ゲーム内容に応じて人物がどこにどの程度移動すべきか期待値を持っており、アプリケーションプロセッサ5Aの人物動作検知部51Aは、人物の中心座標の移動量を期待値と比較する。 In the game program side, depending on the game content has a expected value should be what extent the movement where the person, the person operating the detection unit 51A of the application processor 5A is compared with the expected value the amount of movement of the center coordinates of the person.

その人物の中心座標の移動量が期待値から設定した閾値以上であった場合、次のステップS23で、中心座標移動判定部511は、対象物体Aである人物が単に手足を動かしただけでなく「全身移動があった」と判定する。 If the amount of movement of the center coordinates of the person is greater than or equal to the threshold set from the expected value, in the next step S23, the center coordinates the movement judging section 511, not only the person who is the target object A has just moved the limbs It determined that "there was systemic movement". 一方、人物の中心座標の移動量が閾値未満であった場合、ステップS24で、中心座標移動判定部511は人物の「全身移動がなかった」と判定する。 On the other hand determines, when the movement amount of the center coordinates of the person is less than the threshold value, in step S24, the center coordinates the movement judging section 511 "systemic movement was not" person. このようにして、対象物体Aである人物の身体の全体が移動したかどうかを判定することができる。 In this way, it is that the entire person's body is the object A to determine whether the move.

(実施形態4) (Embodiment 4)
上記実施形態3では、対象物体Aである人物の身体全体が移動したかどうかを判定する方法について説明したが、本実施形態4では、人物動作の検出において、上記実施形態3の中心座標演算処理以降のステップを追加することにより、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する方法について説明する。 In Embodiment 3, although the whole body of a person which is the object A described method for determining whether the movement, in the present embodiment 4, in the detection of a person operating the center coordinates calculation process of the embodiment 3 by adding a subsequent step, the distance displacement between the distance frame is described a method of determining whether corresponds to which part of the body.

図24は、本発明の実施形態4に係る遊具装置の要部構成例を示すブロック図である。 Figure 24 is a block diagram showing a main configuration example of a playground device according to a fourth embodiment of the present invention. なお、図1および図5の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。 Constituent members the same effects as the components of FIGS. 1 and 5 are denoted by the same reference numerals.

図24において、本実施形態4の遊具装置11Bは、対象物体Aまでの距離Lを複数点で立体的に求める人物動作検出装置1Bと、ゲームプログラムの実行や人物動作検出装置1Aとの距離情報のやり取りなどゲーム進行に必要な各種制御を行うアプリケーションプロセッサ5Bとを有している。 In Figure 24, play equipment device 11B of the fourth embodiment, the distance information of the person operating the detection device 1B sterically determined at a plurality of points the distance L to the object A, the execution and the person operating detecting device 1A of the game program and an application processor 5B for performing various controls necessary for the game progress, such as the exchange.

人物動作検出装置1Bは、上記実施形態1、2の人物動作検出装置1の構成に中心座標検出部47Bをさらに有している。 Human Motion detection device 1B further includes a center coordinate detector 47B in the configuration of the person operating the detection device 1 of the above first and second embodiments.

中心座標検出部47Bは、N番目の距離フレームとN+1番目の距離フレームについて、その検出した人物の距離情報から各中心座標を求め、N番目とN+1番目の距離フレーム間の中心座標の移動量を求めると共に、距離フレーム間の差分演算で求めた距離変位と、距離フレームと距離平衡フレーム間のフレーム差分演算で求めた中心座標から、距離変位と中心座標の相対位置を演算する。 Center coordinate detection unit 47B, for N-th distance frame and the (N + 1) -th distance frame, obtains the respective center coordinates from the distance information of the detected person, the movement amount of the center coordinates between the N-th and (N + 1) -th distance frame with determined, calculates the distance displacement calculated by the difference calculation of the distance between frames, the center coordinates obtained by the frame difference operation between the distance frame and the distance balance frame, the relative positions of the distance displacement and center coordinates.

アプリケーションプロセッサ5Bは、この人物の動作情報の3次元空間座標に基づいて、人物の動作をゲーム内の登場人物の動作やイベントの発生に反映させるなどゲーム内容を制御してゲームを進行させる。 Application processor 5B, based on the three-dimensional coordinates of the operation information of the person, and controls the game content, etc. to reflect the behavior of the person on the occurrence of the operation or event of the characters in the game to progress the game.

アプリケーションプロセッサ5Bの人物動作検出部51Bは、連続して取得される距離フレーム間の中心座標の移動量と、ゲーム内の期待値とを比較して、中心座標移動判定手段としての中心座標移動判定部511は、人物の中心座標の移動量が期待値から設定した閾値以上であった場合には人物の「全身移動があった」と判定し、また、人物の中心座標の移動量が閾値未満であった場合には人物の「全身移動がなかった」と判定する。 Human Motion detector 51B of the application processor 5B compares the amount of movement of the center coordinates of the distance between frames acquired successively, the expected value of the game, the center coordinates movement determination as center coordinates movement determining means parts 511, when the movement amount of the center coordinates of the person is greater than or equal to the threshold set from the expected value is determined to be "had systemic movement" of the person, also less than the amount of movement of the center coordinates of the person threshold It determines that the "systemic movement was not" of a person in the case had been in.

また、アプリケーションプロセッサ5Bの人物動作検出部51Bは、中心座標と距離フレーム差分の距離変位の相対的な位置関係から、動作した人物の身体部位を判定する身体部位判定手段としての身体部位判定部512を有している。 The application Human Motion detector 51B processor 5B, the center coordinates and the distance frame from the relative positional relationship between the distance displacement difference, the body part of the body part determining means for determining the body site of operation the person determination section 512 have. 身体部位判定部512は、その判定結果としての身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかと期待値とを比較して、身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかが期待値と一致する場合は身体部位に「期待動作があった」と判定し、また、身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかが期待値と不一致の場合は身体部位に「期待動作がなかった」と判定する。 Body part determination unit 512, the time the body part as a result of the determination exists, by comparing the least expected with any of the spatial and operation change, the time when the body part is present, spatial and operation change If at least one is consistent with the expected value, it is determined that "there is expected operation" in the body part, also, the time when the body part is present, at least one of the spatial and operation changes expected of in the case of the value and the discrepancy it is determined that the "expected behavior was not" on the body site. 要するに、身体部位判定部512は、中心座標と距離変位の座標の相対的な位置関係から、対象物体Aである人物の身体のどの部分が動作したのかを判定する。 In short, the body part determination unit 512 determines whether the relative positional relationship between the center coordinates and the distance displacement of the coordinates, which part of the person's body is the object A is operated.

ゲームプログラム側では、ゲーム内容に応じて人物が動作するべき身体部位が何であるか、期待値を持っており、身体の中心部に位置する中心座標と比較して、例えば、距離フレーム間の距離変位が中心座標より右上(水平方向および垂直方向のXY座標方向)であれば右腕の動作、左上であれば左腕の動作、右下であれば右足の動作、左下であれば左足の動作であると判定する。 In the game program side, or body part is what should the person operates in accordance with the game content, and have an expected value, compared to the center coordinates in the center of the body, for example, the distance between the distance-frame displacement right arm operation if the upper right of the center coordinates (XY coordinate direction in the horizontal direction and vertical direction), if the upper left left arm operation, the operation of the right foot, if the lower right, is the operation of the left foot if the lower left It determines that. 身体部位判定部512の判定結果が上記期待値と一致する場合は「期待動作があった」と判定し、また、身体部位判定部512の判定結果が上記期待値と不一致の場合は「期待動作がなかった」と判定する。 If the determination result of the body part determination unit 512 coincides with the expected value, it is determined that "there is expected operation", also in the case where the judgment result of the body part determination unit 512 of the expected value disagreement "expected operation It determined that there was no ".

ここで、人物動作検出装置1Bの高速人物動作検知制御手段4Bと人物動作検出部51Bの間で、ゲームの内容や進行状況に応じて、アプリケーションプロセッサ5Bが必要とする距離情報に対してのみ信号処理を限定するように、ホストインターフェイス部42を介して情報のやり取りを行ってもよい。 Here, among the high-speed Human Motion detection controller 4B and the person operating the detection unit 51B of the person operating the detection device 1B, in accordance with the contents and the game progress status, relative distance information application processor 5B needs only signal to limit the processing may be performed to exchange information through the host interface unit 42. 即ち、アプリケーションプロセッサ5Bのゲームプログラム側では、ゲームの内容や進行状況に応じて、対象物体Aである人物が動作を行うことを期待する時刻(以下、期待時刻)や、人物が存在することを期待する空間(以下、期待存在空間)、および人物が動作することを期待する空間(以下、期待動作変化)の情報を持っている。 That is, in the game program side of the application processor 5B, depending on the content and progress of the game, the time when a person is the object A is expected to perform the operation (hereinafter, the expected time) or that the person is present expected space (hereinafter, the expected presence space), and the person is space expected to operate (hereinafter, expected operation changes) has information.

次に、図25に示すフローチャートを参照して、図24の高速人物動作検出装置1Bの高精度な人物動作検知処理について説明する。 Next, with reference to a flowchart shown in FIG. 25, a description will be given accurate Human Motion detection processing of the high-speed human motion detection device 1B of FIG. 24. なお、ここでは、図23に示すフローチャートのステップと同一の作用効果を奏するステップには同一の符号を付してその説明を省略する。 Here, the description thereof is omitted the same reference numerals are given to the steps to achieve the step and same effects in the flowchart shown in FIG. 23.
人物動作の検出において、上記実施形態3の中心座標演算処理以降のステップを追加することにより、距離フレーム間の距離変位が身体のどの部分に該当するかを判定することができる。 In the detection of the person operating, by adding a step of the center coordinate calculation process after the above-described embodiment 3, the distance displacement between the distance frames can determine corresponding to any part of the body.

即ち、ステップS12において、距離フレーム間の差分演算(RFsubRF)で求めた距離変位と、ステップS21において、距離フレームと距離平衡フレーム間のフレーム差分演算(RFsubBRF)で求めた中心座標から、ステップS31において、距離変位と中心座標の相対位置を演算する。 That is, in step S12, the distance displacement calculated by the difference calculation of the distance between the frame (RFsubRF), in step S21, the center coordinates obtained by the frame difference operation between the distance frame and the distance balance frame (RFsubBRF), in step S31 , calculates the relative position of the distance displacement and center coordinates.
ステップS21で求めた距離フレーム間の中心座標の移動量がホストインターフェイス部42を介してアプリケーションプロセッサ5Bに渡されるのと同様に、ステップS12で求めた距離変位とその中心座標の相対位置がステップS31で演算され、その求められた距離変位と中心座標の相対位置がホストインターフェイス部42を介してアプリケーションプロセッサ5Bに渡される。 Just as the amount of movement of the center coordinates of the distance between the frame obtained in step S21 is passed to the application processor 5B through the host interface unit 42, a distance displacement and relative position of the center coordinates calculated in step S12 is step S31 in is calculated, the relative position of the sought distance displacement and center coordinates are passed to the application processor 5B through the host interface unit 42. ゲームプログラム側では、ゲーム内容に応じて人物がどの方向にどの程度移動すべきかの期待値を持っている。 In the game program side, it has an expected value of how much should be moved in any direction a person in accordance with the game content.
アプリケーションプロセッサ5Bにおいて、まず、ステップ22で、人物の身体の全体が移動したかどうかに関して、上記実施形態3の場合と同様に、中心座標の移動量を期待値と比較する。 The application processor 5B, first, in step 22, the whole of a person's body as to whether to move, as in the case of the embodiment 3, comparing the moving amount of the center coordinates and the expected value.

さらに、上記実施形態3の場合と同様に、中心座標の移動量が期待値から設定した閾値以上であった場合、ステップS23で、中心座標移動判定部511は、対象物体Aである人物が単に手足を動かしただけでなく人物の「全身移動があった」と判定する。 Furthermore, as in the case of the embodiment 3, when the movement amount of the center coordinates is greater than or equal to the threshold set from the expected value, in step S23, the center coordinates the movement judging section 511, a person is the object A is simply It determined that "there was systemic movement" of a person not only move the hands and feet. 一方、中心座標の移動量が閾値未満であった場合、ステップS24で、中心座標移動判定部511は人物の「全身移動がなかった」と判定する。 On the other hand determines, when the movement amount of the center coordinates is less than the threshold value, in step S24, the center coordinates the movement judging section 511 "systemic movement was not" person. これによって、対象物体Aである人物の身体の全体が移動したかどうかを判定することができる。 This allows the entire person's body is the object A to determine whether the move.

次に、ステップ32で、身体部位判定部512は、上記中心座標と上記距離変位の座標の相対的な位置関係から、対象物体Aである人物の身体のどの部分が動作したのかを判定することができる。 Next, at step 32, a body part determination unit 512 is to determine the relative positional relationship between the center coordinates and the distance displacement of the coordinates, which part of the person's body is the object A is operated can. 即ち、ゲームプログラム側では、ゲーム内容に応じて人物が動作するべき身体部位が何であるか、期待値を持っており、身体の中心部に位置する中心座標と比較して、例えば、距離フレーム間の距離変位が中心座標より右上(水平方向および垂直方向のXY座標方向)であれば右腕の動作、左上であれば左腕の動作、右下であれば右足の動作、左下であれば左足の動作であると判定する。 That is, the game program side, or body part is what should the person operates in accordance with the game content, and have an expected value, compared to the center coordinates in the center of the body, for example, the distance between the frame distance displacement right arm operation if the upper right of the center coordinates (XY coordinate direction in the horizontal direction and vertical direction) of, if the upper left left arm operation, the operation of the right foot, if the lower right, the operation of the left foot if the lower left It determines that it is.

身体部位判定部512の判定結果が上記期待値と一致する場合は、ステップ33で「期待動作があった」と判定する。 If the determination result of the body part determination unit 512 coincides with the expected value, it is determined that "there is expected operation" at step 33. 一方、身体部位判定部512の判定結果が上記期待値と不一致の場合は、ステップ34で「期待動作がなかった」と判定する。 On the other hand, if the judgment result of the body part determination unit 512 of the expected value disagreement, it is determined that the "expected behavior was not" at step 34. このようにして、距離フレーム間の距離変位が身体のどの部分に該当するかを判定することができる。 Thus, the distance displacement between the distance frames can determine corresponding to any part of the body.
このように、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する本実施形態4の方法は、従来の関節などの特徴点から人物の骨格を抽出することにより人物の全身をモデル化する方法と比べて演算量が大幅に少なく、要求されるフレームレートが高いテレビゲーム機などの遊具装置に適している。 Thus, the distance displacement between the distance frame is either present embodiment 4 determines corresponding to any part of the body method, systemic person by extracting the skeleton of a person from the feature point, such as a conventional joint computation amount compared with the method of modeling are suitable for playground equipment devices such as significantly less, the required frame rate is higher video game console.

(実施形態5) (Embodiment 5)
上記実施形態2では、人物動作検出装置1を、対象物体Aの人物の動作内容に応じてゲームの内容や進行を制御する遊具装置11に用いた場合について説明し、上記実施形態3では、対象物体Aである人物の身体全体が移動したかどうかを判定する方法について説明し、上記実施形態4では、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する方法について説明したが、本実施形態5では、上記実施形態2〜4の遊具装置に、衝撃や衝撃音などを発生させて臨場感を得るための体感刺激発生装置を更に有する場合について説明する。 In Embodiment 2, described the case where the person operating the detection device 1, used in playground equipment device 11 for controlling the game contents and progresses according to the operation contents of the person of the object A, in Embodiment 3, the subject entire body of a person is an object a is described a method of determining whether the mobile, in embodiment 4, the distance displacement between the distance frame is described how to determine corresponding to any part of the body in embodiment 5, the playground equipment device of this embodiment 2-4, description will be given of a case where further having a sensible stimulus generation device for obtaining a sense of realism by generating shock or impact sounds.

図26は、本発明の実施形態5に係る遊具装置の要部構成例を示すブロック図である。 Figure 26 is a block diagram showing a main configuration example of a playground device according to a fifth embodiment of the present invention. なお、図1および図5の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。 Constituent members the same effects as the components of FIGS. 1 and 5 are denoted by the same reference numerals. また、図26は、上記実施形態4の遊具装置11Bに、衝撃や衝撃音などを発生させて臨場感を得るための体感刺激発生装置を更に有する場合を示しているが、上記実施形態2の遊具装置11に体感刺激発生装置を更に有する場合を図27に示し、上記実施形態3の遊具装置11Aに体感刺激発生装置を更に有する場合を図28に示している。 Further, FIG. 26, the playground equipment device 11B of the fourth embodiment, the case further comprising a sensory stimulus generation device for obtaining a sense of realism by generating shock or impact noise, of the second embodiment the case where the playground equipment device 11 further comprises a bodily sensation stimulator shown in FIG. 27 shows a case where further having a sensible stimulator to playground equipment device 11A of the embodiment 3 in FIG. 28. ここでは、図26を用いて体感刺激発生装置の一例を説明する。 Here, an example of a sensory stimulus generator with reference to FIG.

図26において、遊具装置11Cのアプリケーションプロセッサ5Cは、ゲームの進行内容において期待値と一致する人物動作があったと判定した場合、人物動作検知部51Cで動作を検知し、無線送信部57(例えばBluetoothを用いた無線通信)または有線を通じて体感刺激発生装置8に体感刺激制御信号を送信する。 In Figure 26, the application processor 5C of the playground equipment device 11C, when determining that there is a person operating that matches the expected value in the progression content of the game to detect an operation by the person operating the detection unit 51C, a radio transmission unit 57 (e.g., Bluetooth transmitting the sensible stimulation control signals to the sensory stimulus generator 8 through the wireless communication) or wired with.

体感刺激発生装置8は、無線送信部57からの体感刺激制御信号を受信する無線受信部81と、例えばテニスゲームの場合テニスラケットにボールが当たる衝撃などを発生させる振動発生部82(例えばバイブレータ)と、発光させる発光部83(例えばLED)と、例えばテニスゲームの場合テニスラケットにボールが当たる衝撃音などを発生させる音声出力部84(例えばスピーカ)と、香りを発生させる香り発生部85(例えば香りを発する物体を封入した扉の開閉)とを有しており、受信した信号に応じて体感刺激発生装置8の筐体に振動や衝撃を発生させたり、発光させたり、衝突音などの音声を出力させたり、香りを発生させたりする。 Experience stimulator 8, the radio receiving unit 81, for example, a tennis game when the vibration generating unit 82 for generating and impact the ball hits the tennis racket for receiving sensible stimulation control signals from the radio transmitting unit 57 (e.g., a vibrator) when a light-emitting portion 83 to emit light (e.g. LED), for example, a tennis game when the audio output unit 84 for generating a ball hits impact noise tennis racket (e.g. a speaker), fragrance generation unit 85 that generates a fragrance (e.g. an object that emits fragrance has the opening and closing of the door) and enclosing, or generating a vibration or shock to the housing of the sensory stimulus generator 8 in response to the received signal, or to emit light, sound, such as collision sound or to output, or caused the smell. これによって、体感刺激発生装置8を保持する人物(対象物体Aである人物)は、ゲーム内容と自身の操作内容に応じたフィードバックを得て臨場感を得ることができる。 Thus, the person holding the bodily sensation stimulator 8 (a person which is the target object A) can be obtained realism to give a feedback in accordance with the operation contents of the game content and its own. 要するに、体感刺激発生装置8は、振動、光、音声および香りの少なくともいずれかを発生させるようになっている。 In short, bodily sensation stimulator 8, vibration, light, and is adapted to generate at least one of voice and aroma.

ここで、体感刺激発生装置8をラケットに見立てたテニスゲームを一例に説明する。 Here, explaining the tennis game likened the bodily sensation stimulator 8 racket as an example.

体感刺激発生装置8であるラケットがボールに当たるときに、中心座標検出部47Bが、検出した人物の距離情報から中心座標を求め、さらに、距離フレーム間の中心座標の移動量を求める、距離フレーム間の差分演算で求めた距離変位と、距離フレームと距離平衡フレーム間のフレーム差分演算で求めた中心座標から、距離変位と中心座標の相対位置を演算する。 When a bodily sensation stimulator 8 racket strikes the ball, the center coordinate detection unit 47B is, obtains the center coordinates from the distance information of the detected person, further, obtains the movement amount of the center coordinates of the distance frame, the distance between the frame and distance displacement calculated by the difference calculation, the center coordinates obtained by the frame difference operation between the distance frame and the distance balance frame, it calculates the relative position of the distance displacement and center coordinates. 次に、アプリケーションプロセッサ5Cの人物動作検出部51Bは、連続して取得される距離フレーム差分の距離変位と中心座標の相対的位置とゲーム内の期待値とを比較して、身体部位判定部512は、中心座標と距離変位の座標の相対的な位置関係から、対象物体Aである人物の身体のどの部分、ここでは右手にラケットを持っているので、人物の右手と共にラケットが動作したのかどうかを判定する。 Next, the person operating the detection unit 51B of the application processor 5C compares the expected value of the relative position and the game of the distance displacement and center coordinates of the distance frame difference acquired in succession, body part determination unit 512 from the relative positional relationship between the center coordinates and the distance displacement of the coordinates, which part of the person's body is the object a, since here has a racket in his right hand, whether the racket with the right hand of the person has operated the judges.

ゲームプログラム側では、ゲーム内容に応じて人物が動作するべき身体部位、右手およびラケットに対する期待値を持っており、身体部位判定部512の判定結果が上記期待値と一致する場合は「期待動作があった」と判定し、また、身体部位判定部512の判定結果が上記期待値と不一致の場合は「期待動作がなかった」と判定する。 In the game program side, the body part to operate a person in accordance with the game content, and have an expected value for the right hand and the racket, when the determination result of the body part determination unit 512 coincides with the expected value "expected action determined that there was "Moreover, when the determination result of the body part determination unit 512 of the expected value disagreement determined as" expected behavior was not. " この場合、期待値は、人物動作において身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかに関する期待値である。 In this case, the expected value, the time the body part is present in the human operation, at least the expected values ​​for any of the spatial and operation change.

身体部位判定部512が「期待動作があった」と判定した場合、即ち、ラケットがボールに当たった瞬間、アプリケーションプロセッサ5Cは、ゲームの進行内容において期待値と一致する人物動作(ラケットを振る動作)があったと判定した場合、人物動作検知部51Bで動作を検知し、アプリケーションプロセッサ5Cから無線送信部57を通じて体感刺激発生装置8に体感刺激制御信号を送信する。 If the body part determination section 512 has determined that "there is an expectation operation", that is, at the moment when the racket hits the ball, the application processor. 5C, shake the match person operation in which (racket with the expected value in the development content of the game action If) is determined that there is, it detects the operation in person operation detecting section 51B, and transmits the sensible stimulus control signal from the application processor 5C to experience stimulator 8 through the wireless transmission unit 57.

体感刺激発生装置8では、無線送信部57からの体感刺激制御信号を無線受信部81で受信すると、内部の振動発生部82を用いて体感刺激発生装置8の筐体を、ボールが当たった衝撃を受けたように振動させたり、音声出力部84を用いてボールが当たった衝突音を発生させたりする。 In sensory stimulator 8 receives the sensible stimulation control signals from the radio transmitting unit 57 in the radio reception section 81, the casing of the sensory stimulus generator 8 using an internal vibration generating portion 82, the ball hits the impact or vibrated to have received, or to generate a collision sound ball hit with an audio output unit 84.

これによって、ラケットである体感刺激発生装置8を保持する人物は、ラケットにボールが当たる瞬間の衝撃を手で感じることができる。 Thus, the person holding the bodily sensation stimulator 8 is a racquet can feel by hand the moment of impact the ball hits the racket. また、音声もテレビジョンのスピーカから聞こえてくるのではなく、手に保持した体感刺激装置8から聞こえてくるため、より現実のテニスに近い操作感および臨場感を得ることができる。 The audio even instead of hear from the television speakers, since heard from experience stimulator 8 held in the hand, it is possible to obtain an operation feeling and realism closer to actual tennis. なお、ボールの速さやボールの飛ぶ向き、ラケットのスウィングスピード、衝突のタイミングのずれの有無などに応じて、振動や音声の強弱、長さ、リズムなどを変化させてもよい。 It should be noted that the direction in which the flying of speed and ball of the ball, the racket swing speed, depending on the presence or absence of the deviation of the timing of the collision, the intensity of the vibration and sound, length, may be changed, such as rhythm.

本実施形態5の体感刺激発生装置8は、従来のテレビゲーム機などの遊具装置11Cにおけるリモートコントローラに相当する。 Experience stimulator 8 of the present embodiment 5 corresponds to the remote controller in the playground equipment device 11C, such as a conventional video game machine. ただし、ユーザの操作を制御信号として遊具装置11Cに無線送信するものに限らず、遊具装置11Cからの制御信号を受信する機能専用のものであってもよい。 However, not limited to wireless transmission to the playground equipment device 11C a user operation as a control signal may be of functionality dedicated for receiving control signals from the playground device 11C.

従来の遊具装置のように、リモートコントローラ内部に搭載した加速度センサや角速度センサにより人物動作を検出する場合、上記のようにゲーム内容に応じて、リモートコントローラ内部に搭載したバイブレータなどの振動発生装置によりリモートコントローラを振動させることができなかった。 As in the conventional playground equipment device, when detecting a person operating by the acceleration sensor or an angular velocity sensor mounted inside the remote controller, according to the game contents as described above, the vibration generating device such as a vibrator mounted inside the remote controller the remote controller can not be vibrated. これは、加速度センサや角速度センサでは、人物の動作とリモートコントローラの振動の区別ができないため、振動させた場合、目的とする人物動作のみを検出することができなくなるためである。 This is because an acceleration sensor or an angular velocity sensor, because it can not distinguish between the operation and the vibration of the remote controller of the person, when caused to vibrate, it becomes impossible to detect only the person operating of interest. 本実施形態5では、体感刺激発生装置8の外部の人物動作検知装置1、1Aまたは1Bのみで人物動作を検知しているため、体感刺激発生装置8を振動させても上記課題は生じない。 In Embodiment 5, because it detects a person works only on the outside of the person operating the sensing device 1,1A or 1B haptic stimulator 8, the problem does not occur be vibrated sensible stimulator 8. スポーツなどの体感型ゲームにおいて、ユーザへの触覚によるフィードバックは視覚や聴覚と同様に重要であり、ユーザの操作感を大きく向上させることができる。 In sensory game and sports, tactile by feedback to the user is as important as sight and hearing, it is possible to greatly improve the operation feeling of the user.

なお、上記テニスゲームを例にした説明では、ユーザがラケットとしての体感刺激発生装置8を手に保持する場合について説明したが、体感刺激発生装置8を手に保持する場合に限らず、振動であれば、身体のどの部分で保持していてもよく、光、音声、香りであればユーザが感知できる範囲に設置してあればよい。 In the description given as an example the tennis game, the user has been described that holds in hand feel stimulator 8 as racket is not limited to the case of holding the hand feel stimulator 8, vibration if, it may hold any part of the body, light, sound, if the aroma user may if installed in a range that can be sensed. また、体感刺激発生装置8は、振動、光、音声および香りの少なくともいずれかを発生させるが、テニスゲームで「振動」は衝撃の代わりに用い「音声」はボールを打つときの衝撃音の代わりに用い、これ以外の「光」の事例については、LEDを光らせるなど、例えば「刀」同士が衝突したときの火花の代わりに刀の一部または全部を光らせるようにすることができるし、また、「香り」の事例としては、薬品をヒータで熱するなどして各種の「香り」を発生させることができるし、例えばピストルで玉を撃った後の薬莢のにおいの代わり用いることができる。 Also, bodily sensation stimulator 8, vibrations, instead of light, but to generate at least one of voice and aroma, tennis game "oscillation" is used instead of the shock "audio" shock sound when hitting the ball used for other cases of "light", the like illuminate the LED, for example, "sword" to each other to be able to make illuminate some or all of the sword instead of spark upon impact, also as examples of the "fragrance" is to be able to generate a "scent" various by such heat the chemicals in the heater, can be used instead of the cartridge case of the odor after shot balls, for example pistol.

以上により、上記実施形態1〜5によれば、対象物体Aまでの距離Lに相当した光の飛行時間(遅れ時間)に依存して分配された信号電荷をそれぞれ二つの画素出力電極V1,V2から出力し、その信号電荷はそれぞれ距離Lに応じた出力電圧情報に変換されて、TOF式距離画像センサ31から距離情報として出力される。 As described above, according to the embodiment 1-5, the object A to correspond to the light of the flight time to the distance L (delay time) dependent on the respective two of the pixel output electrodes distributed signal charges V1, V2 output from the signal charge is converted to an output voltage information corresponding to the distance L, respectively, is output as distance information from TOF type distance image sensor 31. このTOF式距離画像センサ31からの距離情報に基づいて、既知の光速をcとして、光の飛行時間(遅れ時間)Tを検出して、L=(1/2)・c・Tから対象物体Aまでの距離Lを求め、これに基づいて、投射光の投射空間の対象物体Aまでの距離変位を検出する距離変位検出手段44と、投射空間が距離平衡状態にあるかどうかを判定する距離平衡判定手段45とを有しており、フレーム差分(RFsubBRF)によって、対象物体Aである人物が動作したかどうかを検出する。 Based on the distance information from the TOF type distance image sensor 31, a known light velocity as c, the light of the flight time by detecting the (delay time) T, the target object from L = (1/2) · c · T seek distance L to a, based on this, the distance is determined that the distance displacement detector 44 for detecting the distance displacement to the object a of the projection space of the projected light, whether the projection space is at a distance equilibrium has a balanced judgment unit 45, the frame difference (RFsubBRF), a person is the object a is detected whether the operation. これによって、多数の空間領域を面状に演算処理する場合に、高いフレームレートでもであっても従来の距離画像センサのように演算量が膨大にならず、撮像範囲における人物の動作の検出をリアルタイムに行うと共に、撮像範囲における人物動作の方向と距離の変化量の検出精度を高精度に検出することができる。 Thereby, in the case of processing a large number of spatial regions planar, even at high frame rate not enormous amount of calculation as in the conventional range image sensor, the detection of a person operating in the imaging range performs a real-time, the detection accuracy of the direction and distance of the variation of the person operating in the imaging range can be detected with high accuracy.

この高精度で計算的に安価な人物動作の検出により、テレビゲームなどの遊具装置11および11A〜11Eのゲーム内容や進行状況の制御をリアルタイムに行うことができて、遊具装置11および11A〜11Eの操作性の向上を図ることができる。 Detection of computationally inexpensive person operating in this high accuracy, and can be controlled playground equipment unit 11 and 11A~11E game content or progress of a television game in real time, playground equipment device 11 and 11A~11E it is possible to improve the operability.

また、従来の遊具装置において利用されていたゲームコントローラを利用することなく人物動作検知装置1,1Aまたは1Bが用いられ、人物動作検知装置1,1Aまたは1Bを用いて立体的な人物動作が検知され、当該人物動作の検知結果と期待値との比較処理が行わて、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を駆動させることにより、ゲームコントローラを用いないでゲームを行うことが可能となった。 Furthermore, the person operating the sensing device 1,1A or 1B is used without using the game controller that has been used in conventional playground equipment device, three-dimensional figures operation using Human Motion detection apparatus 1,1A or 1B is detected are, by comparison between the detection result and the expected value of the person operations performed, vibration, light, by driving the sensible stimulus generator for generating at least one of voice and aroma, without using a game controller game it has become possible to perform. これにより、ゲームコントローラ作成にかかる費用が不要になり、更に、ゲームコントローラを指で押したりする操作が不要となるため、現実のスポーツなどに操作感が近いゲームを実現できることや、ゲームを通じて現実のスポーツなどでの技術の向上を期待することもできる。 As a result, eliminates the need for the costs of game controller created, furthermore, since the operation to or press the game controller in the finger is not required, and that such as the reality of the sport can be achieved in the near operational feeling game, of reality through the game it is also possible to expect the improvement of the technology of the sport and the like.

なお、上記実施形態2〜5では、本発明の人物動作検出装置1、1Aまたは1Bを、その人物動作に応じてゲーム内容や進行状況を制御する遊具装置11および11A〜11Eなどに用いた場合について説明したが、これに限らず、リアルタイムで3次元空間の人物動作情報を検出する人物動作検出装置1、1Aまたは1Bによる人物動作検出情報を用いて制御できる電子機器であればどのようなものでもよい。 In the embodiment 2-5, when a person operating the detection device 1,1A or 1B of the present invention, is used such as toys 11 and 11A~11E controls the game content and progress in accordance with the person operating has been described, any one so long as it is a electronic device that can be controlled using not restricted to this, the person operating the information detected by the human operation detecting apparatus 1,1A or 1B for detecting a person operating information of the three-dimensional space in real time But good.

なお、上記実施形態2〜5では、特に説明しなかったが、アプリケーションプロセッサ5および5A〜5Eは、人物動作検知部51、51Aおよび51Bの他に各種構成部が配設されており、これについて以下に詳細に説明する。 In the embodiment 2-5, although not particularly described, the application processor 5 and 5A~5E are various components are arranged in the other person operation detection unit 51,51A and 51B, for which It will be described below in detail. ここでは、上記実施形態2のアプリケーションプロセッサ5により代表して説明する。 Here, a description will be representatively by the application processor 5 of the second embodiment.

図16は、図5のアプリケーションプロセッサ5の要部ハード構成例を示すブロック図である。 Figure 16 is a block diagram showing a main example hardware configuration of the application processor 5 in Figure 5.

図16において、上記実施形態2のアプリケーションプロセッサ5は、全体の制御を行う制御手段としてのCPU(中央演算処理装置)50と、前述したが、検出しようとする人物の動作の詳細な情報を取得するために、上記連続して取得されるフレーム差分(RFsubRFやRFsubBRF)を比較して、人物の動作領域の位置(距離と方向)、人物の動作の速度ベクトル(動作の速さと方向)、人物の動作の加速度ベクトル(動作の加速度の大きさと方向)などの各種情報を抽出する人物動作検知部51と、人物動作検知部51による人物動作検知情報を用いてゲーム進行に必要な各種制御を行うゲーム実行部52と、CPU50に対して入力指令を行うためのキーボード、マウス、タッチパネルおよびペン入力装置、さらには通信 16, the application processor 5 of the second embodiment, the acquisition of a CPU (central processing unit) 50 as a control means for performing overall control, was previously described, the detailed information of the operation of the person to be detected to compares frame difference (RFsubRF or RFsubBRF) which is obtained by the continuous, the position of the operation area of ​​a person (distance and direction), (speed and direction of movement) velocity vector of the operation of the person, the person It performs various controls necessary for the game progress using the acceleration vector of the operation (the magnitude of the acceleration of the operation and direction) human Motion detection unit 51 for extracting various kinds of information such as the person operating the detection information by the person operating the detection unit 51 a game execution unit 52, a keyboard for inputting command to the CPU 50, mouse, touch panel and a pen input device, further communication ットワーク(例えばインターネットやイントラネット)を介して受信入力する入力装置などの操作部53と、表示画面上に、初期画面、選択場面、ゲームプログラムに基づく制御結果画面および操作入力画面などを表示する表示部54と、ゲームプログラムおよびそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体としてのROM55と、起動時にゲームプログラムおよびそのデータなどが読み出されて、CPU1による制御毎にデータを読み出し・記憶するワークメモリとして働く記憶部としてのRAM56とを有している。 An operation unit 53 such as input device for receiving input via a Ttowaku (e.g., the Internet or an intranet), on the display screen, the initial screen, select scene, the game program based on the control result screen and the display unit for displaying the operation input screen 54, the ROM55 as a game program and data, etc. is stored computer-readable readable recording medium, and a game program and the data are read at startup, to read and store the data for each control by CPU1 and a RAM56 as a storage unit acting as a work memory.

CPU50は、ROM55内に記憶された制御プログラムとしてのゲームプログラムおよびそのデータを装置起動時にRAM56内に読み出して、そのゲームプログラムおよびそのデータ基づいて、人物動作検知部51が、上記連続して取得されるフレーム差分(RFsubRFやRFsubBRF)を比較して、人物の動作領域の位置(距離と方向)、人物の動作の速度ベクトル(動作の速さと方向)、人物の動作の加速度ベクトル(動作の加速度の大きさと方向)などの各種情報を抽出する人物動作検知ステップと、ゲーム実行部52が、人物動作検知部51による人物動作検知情報を用いてゲーム進行に必要な各種制御を行うゲーム実行ステップとを実行するようになっている。 CPU50 reads in the RAM56 when the game program and the data the device activation as a control program stored in the ROM 55, based the game program and the data, the person operating the detection unit 51, is obtained by the continuous that compares the frame difference a (RFsubRF or RFsubBRF), the position of the operation area of ​​a person (distance and direction), the velocity vector of the operation of the person (operation speed and direction), the acceleration vector of the operation of a person (the operation of the acceleration and persons operation detecting step of extracting magnitude and direction) various kinds of information such as a game execution portion 52, and a game execution step for performing various controls necessary for game progress using human Motion detection information by the person operating the detection unit 51 It is adapted to run.

可読記録媒体としてのROM55としては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびICメモリなどで構成されていてもよい。 The ROM55 as readable recording medium, other hard disk, form freely optical disk, a magneto-optical disk, or may be constituted by a magnetic disk and IC memory. このゲームプログラムおよびそのデータなどがROM55に記憶されるが、このゲームプログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してROM55にダウンロードされてもよい。 This game program or the like and the data is stored in the ROM 55, the game program and the data from other readable recording medium, or wireless, may be downloaded to the ROM 55 via a wired or Internet.

また同様に、本実施形態1〜5において、図示しない高速人物動作検知制御手段4のCPUは、ROM内に記憶された制御プログラムとしての人物動作検知プログラムおよびそのデータを装置起動時にRAM内に読み出して、その人物動作検知プログラムおよびそのデータに基づいて、タイミング制御部41が、パワーLEDドライバ21およびTOF式距離画像センサ31の各駆動タイミングをそれぞれ制御するタイミング制御ステップと、ホストインターフェイス部42が、ホスト側の遊具装置11などのシステムと交信するためのホストインターフェイスステップと、データフォーマット部43が、TOF式距離画像センサ31からの距離情報(距離に応じた出力電圧情報)に基づく出力データストリームを所定のフォーマットに変換 Similarly, in the present embodiment 1 to 5, CPU fast Human Motion detection controller 4 not shown, read in the RAM of a person operating detection program and its data as a control program stored in ROM at system startup Te, based on the person operating detection program and the data, the timing controller 41, a timing control step of controlling the drive timing of the power LED driver 21 and the TOF type distance image sensor 31, respectively, the host interface unit 42, a host interface steps for communicating with the system, such as host playground equipment device 11, the data format unit 43, an output data stream based on the distance information from the TOF type distance image sensor 31 (output voltage information according to the distance) converted into a predetermined format るデータフォーマットステップと、距離変位検出部44が、投射光の投射空間の距離変位を検出する距離変位検出ステップと、距離平衡状態判定部45が、距離変位の有無を判定する距離変位判定ステップと、フレーム差分演算部46が、距離フレームと距離平衡フレームのフレーム差分を求めるフレーム差分演算手段としてのフレーム差分演算ステップとを実行し、受光手段3からの受光情報に基づいて対象物体Aとしての人物の動作情報を検出する。 That a data format step, the distance displacement detector 44, a distance displacement detection step of detecting a distance displacement of the projection space of the projected light, the distance equilibrium state determination section 45, the distance the distance displacement determination step of determining whether the displacement , the frame difference calculation unit 46 executes the frame difference calculation step as a frame difference calculating means for calculating a frame difference of distance frame and the distance balance frame, a person as the target object a based on the reception information from the receiving means 3 detecting an operating information of.

このデータフォーマットステップは、ROM内に記憶された制御プログラムとしての人物動作検知プログラムおよびそのデータを装置起動時にRAM内に読み出して、その人物動作検知プログラムおよびそのデータに基づいて、距離フレーム生成部431が、TOF式距離画像センサ31からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、距離平衡フレーム生成部432が、少なくとも2つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレーム(背景画像フレーム)を生成する距離平衡フレーム生成ステップとを実行する。 The data format step reads in the RAM person operation detection program and the data as a control program stored in the ROM at the time of device activation, based on the person operating detection program and the data, the distance frame generator 431 but a distance frame generation step of generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor 31, the distance balance frame generation unit 432, based on at least two distance frame, the person performing a distance balance frame generation step of generating a distance which is no distance information the change distance balance frame (background image frame).

この場合も、前述したように、可読記録媒体としてのROMとしては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびICメモリなどで構成されていてもよい。 Again, as described above, as the ROM as readable recording medium, other hard disk, form freely optical disk, a magneto-optical disk, or may be constituted by a magnetic disk and IC memory. この人物動作検知プログラムおよびそのデータなどがROMに記憶されるが、この人物動作検知プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介して、そのROMにダウンロードされてもよい。 This etc. Human Motion detection program and its data is stored in the ROM, the person operating detection program and data from other readable recording medium, or wirelessly, such as via wired or Internet, downloaded into the ROM it may be.

なお、上記実施形態1〜5では、特に説明しなかったが、投射光を出射する発光手段2と、投射光の投射空間からの反射光を受光して、投射空間の人物までの距離に応じた距離情報を複数の受光部からそれぞれ出力するTOF式距離画像センサ31とを有する人物動作検出装置1であって、TOF式距離画像センサ31からの距離情報に基づいて人物の動作情報を検出する高速人物動作検知制御手段4を有している。 In the first to fifth embodiments, although not specifically described, the light emitting means 2 for emitting projection light, by receiving the reflected light from the projection space of the projected light, depending on the distance to the person in the projection space the distance information to a person operating detecting device 1 and a TOF type distance image sensor 31 which outputs from a plurality of light receiving portions to detect the operation information of the person based on the distance information from the TOF type distance image sensor 31 and a high-speed human Motion detection controller 4. この高速人物動作検知制御手段4は、TOF式距離画像センサ31からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成部431と、少なくとも2つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレーム(背景画像フレーム)を生成する距離平衡フレーム生成部432と、複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、フレーム差分から人物の動作情報として人物の距離変化量と変化方向を算出するするフレーム差分演算部46とを有している。 The Fast Human Motion detection controller 4 includes a distance frame generator 431 for generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor 31, based on at least two distances frame, People the distance balance frame generation unit 432 for generating a distance which is no distance information the change distance balance frame (background image frame), calculates a frame difference of each distance balance frame for a plurality of distance frame, the frame difference of the person and a frame difference calculating unit 46 for calculating a and changing direction distance change amount of the person as the operation information.

これによって、多数の空間領域を面状に演算処理する場合に、高いフレームレートでも演算量が膨大にならず、撮像範囲における人物動作の方向と距離の変化量の検出精度を高精度に検出できる本発明の目的を達成することができる。 Thus, when processing a large number of spatial regions to the planar, not even enormous amount of calculation at a high frame rate can be detected and the detection accuracy of the direction and distance of the variation of the person operating the imaging range with high precision it can achieve the object of the present invention.

以上のように、本発明の好ましい実施形態1〜5を用いて本発明を例示してきたが、本発明は、この実施形態1〜5に限定して解釈されるべきものではない。 As described above, although the preferred embodiment 1-5 of the present invention has been illustrated the invention using, the present invention should not be construed as limited to the embodiment 1-5. 本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。 The present invention is understood that should the scope only by the scope of the claims. 当業者は、本発明の具体的な好ましい実施形態1〜5の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。 Those skilled in the art from the specific preferred description of embodiments 1-5 of the present invention, it is understood that it is possible to implement equivalent scope based on the description and common technical knowledge of the present invention. 本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。 Patents cited herein, patent applications and publications, that the contents themselves should likewise its contents to that described in specifically herein incorporated by reference with respect to the specification It is understood.

本発明は、人物の動作を検出するための人物動作検出装置および人物動作検出方法、この人物動作検出装置を用いて人物の動作を検出して、ゲーム内容の各種制御を行う遊具装置、これを用いたゲーム方法、これらの人物動作検出方法およびゲーム方法をコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体の分野において、TOF式距離画像センサからの距離情報(距離に応じた出力電圧情報)に基づいて、時系列に複数の距離フレームを生成する手段と、少なくとも1つの該距離フレームに基づいて、距離の変化のない距離フレームである距離平衡フレームを生成する手段と、各距離フレームについて距離平衡フレームとのフレーム差分を演算し、対象物体の距離 The present invention, Human Motion detector and the person operating the detection method for detecting an operation of a person, detects the behavior of the person using the person operation detecting apparatus, playground equipment device which controls the game content, it game method using a control program for executing these human Motion detection method and a game method in a computer, in the field of this control program is stored computer-readable readable recording medium, the distance from the TOF type distance image sensor based on the information (output voltage information corresponding to the distance), when the means for generating a plurality of distance frame in sequence, based on at least one of said distance frame, the distance the distance balance frame the distance frame without a change in It means for generating calculates a frame difference between the distance balance frame for each distance frame, the distance of the target object 変化量と方向を算出する手段を有し、距離変位が生じた領域までの距離や方向の変化を人物の動作として検出するため、多数の空間領域を面状に演算処理する場合であっても、従来の反射光の強度を用いた距離画像センサや三角測量式距離画像センサのように演算量が膨大にならず、高フレームレートにおける人物の動作検出をリアルタイムに行うことができる。 And means for calculating a change amount and direction, for detecting a change distance and direction to the region in which the distance displacement occurs as operation of the person, even in the case of processing a large number of spatial regions to surface , it is possible to perform calculation amount does not become large as the distance image sensor and triangulation type distance image sensor using the intensity of the conventional reflection light, the motion detection of a person in a high frame rate in real time. この人物動作検出により、人物動作に応じてゲーム内容の各種制御をリアルタイムで行うことができて、テレビゲームなどの遊具装置の操作性を大幅に向上させることができる。 This person motion detection, can be can be performed in real time various types of control of the game content based on who operation, greatly improving the operability of the playground equipment device such as a video game.

1、1A、1B 人物動作検出装置 2 発光手段 21 パワーLEDドライバ 22 パワーLEDモジュール 22a パワーLED 1, 1A, 1B Human Motion detector 2 light emitting means 21 power LED driver 22 power LED module 22a Power LED
23 放射角調整レンズ 3 受光手段 31 TOF式距離画像センサ 311 画素アレイ部 312 タイミング生成部 313 垂直スキャナ部 314 水平スキャナ部 315 画素ドライバ部 316 ノイズキャンセラ部 317 A/Dコンバータ部 32 視野角調整レンズ 4、4A、4B 高速人物動作検知制御手段 41 タイミング制御部 42 ホストインターフェイス部 43 データフォーマット部 431 距離フレーム生成部 432 距離平衡フレーム生成部 44 距離変位検出部 45 距離平衡状態判定部 46 フレーム差分演算部47、47B 中心座標検出部 5、5A〜5E アプリケーションプロセッサ 51、51A〜51E 人物動作検出部511 中心座標移動判定部512 身体部位判定部 52 ゲーム実行部 53 操作部 54 表示部 5 23 radiation angle adjusting lens 3 the light receiving means 31 TOF type distance image sensor 311 pixel array section 312 timing generator 313 vertical scanner unit 314 the horizontal scanner unit 315 pixel driver section 316 noise canceller 317 A / D converter unit 32 viewing angle adjusting lens 4, 4A, 4B fast human Motion detection controller 41 timing controller 42 host interface unit 43 data format unit 431 distance frame generator 432 distance balance frame generator 44 a distance displacement detector 45 distance equilibrium state determination section 46 frame difference calculating unit 47, 47B center coordinate detector 5,5A~5E application processor 51,51A~51E human Motion detector 511 center coordinate the movement determination section 512 body part determination unit 52 a game execution unit 53 operation unit 54 display unit 5 ROM ROM
56 RAM 56 RAM
57 無線送信部8 体感刺激発生装置81 無線受信部82 振動発生部83 発光部84 音声出力部85 香り発生部 6 ゲーム内容の模式図 7 テレビジョン 11、11A〜11E 遊具装置 A 対象物体 T 光の飛行時間 c 光速 C1 画素出力電極V1での容量 C2 画素出力電極V2での容量 PG 電荷変換領域 TX1,TX2 電荷転送ゲート V1,V2 画素出力電極 ΔV1,ΔV2 画素出力電極での出力電圧 T0 パルス幅 Td 反射光の遅れ時間 Iph 反射光による光電流 57 of the radio transmitting unit 8 sensory stimulator 81 wireless reception section 82 vibration generating unit 83 emitting unit 84 the audio output unit 85 scent generator 6 game content schematic view 7 television 11,11A~11E playground apparatus A target object T beam capacity PG charge conversion area in the capacitor C2 pixel output electrode V2 in flight time c the speed of light C1 pixel output electrodes V1 TX1, TX2 charge transfer gates V1, V2 pixel output electrode [Delta] V1, the output voltage T0 pulse width Td at ΔV2 pixel output electrode photocurrent due to the delay time Iph reflected light of the reflected light

Claims (48)

  1. 投射光を出射する発光手段と、該投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報を複数の受光部からそれぞれ出力するTOF(タイム・オブ・フライト)式距離画像センサとを有する人物動作検出装置であって、 Light emitting means for emitting a projection light, by receiving the reflected light from the projection space-projecting Shako, TOF (time to output the distance information corresponding to the distance to the person in the projection space from the plurality of light receiving portions a person operation detecting device having a of-flight) type distance image sensor,
    該TOF式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御手段を有する人物動作検出装置。 Human Motion detection device including a person operating detection control means for detecting operation information of the person based on the distance information from the TOF type distance image sensor.
  2. 前記人物動作検知制御手段は、 The person operating sensing control means,
    該TOF式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、 A distance frame generating means for generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor,
    該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する請求項1に記載の人物動作検出装置。 It calculates the respective frame difference for the distance frame of the plurality of claim 1 and a frame difference calculating means for calculating a change amount of the direction of change of the distance of the person object as the operation information of the person thereof from the frame difference the person operating the detection device.
  3. 前記人物動作検知制御手段は、 The person operating sensing control means,
    該TOF式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、 A distance frame generating means for generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor,
    少なくとも2つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、 Based on at least two of said distance frame, the distance balance frame generating means for generating a distance balance frame is not the distance information of the distance change on the person,
    該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する請求項1に記載の人物動作検出装置。 Respectively, for the distance frame of the plurality of calculating a frame difference between the distance balance frame, claims and a frame difference calculating means for calculating a change amount of the direction of change of the distance of the person object as the operation information of the person thereof from the frame difference human Motion detector according to claim 1.
  4. 前記人物との距離をリアルタイムに計測し、少なくとも2つの距離フレームの間のフレーム差分から、該人物との距離の変化の有無を検出する距離変位検出手段を更に有する請求項2または3に記載の人物動作検出装置。 Measuring the distance between the person in real time, between at least two distances from frame to frame difference, according to claim 2 or 3 further comprising a distance displacement detection means for detecting the presence or absence of a change in the distance between the person object the person operating the detection device.
  5. 前記人物との距離をリアルタイムに計測し、少なくとも2つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定手段を更に有する請求項3に記載の人物動作検出装置。 Measuring the distance between the person in real time, when the state frame difference between at least two distance frames is less than a predetermined threshold value has continued for more than a predetermined number of times or more or a predetermined frame, the distance information of the person thereof there human Motion detection apparatus as claimed in claim 3, further comprising determining distance equilibrium state determining means to be in equilibrium.
  6. 前記距離平衡フレーム生成手段は、前記距離平衡状態判定手段が距離平衡状態にあると判断した場合に、少なくとも2つの距離フレームの時間平均を算出して距離平衡フレームを生成する請求項5に記載の人物動作検出装置。 Said distance balance frame generating unit, when the distance equilibrium state determination means determines that a distance equilibrium, according to claim 5 for generating a distance balance frame by calculating the time average of at least two distance frame the person operating the detection device.
  7. 前記距離平衡フレーム生成手段は、前記人物が撮像範囲内にいる場合において、遊具装置の指示により該人物を該撮像範囲の右側または左側に移動させて、該撮像範囲の左側または右側半分の該撮像範囲に人物がいない一方側半分の距離平衡フレームを生成し、該人物を該撮像範囲の左側または右側に移動させて、該撮像範囲の右側あるいは左側半分の撮像範囲に該人物がいない他方側半分の距離平衡フレームを生成して、それらの撮像範囲に該人物がいない距離平衡フレームを合成することにより距離平衡フレームを生成する請求項3に記載の人物動作検出装置。 Said distance balance frame generating unit, when the person is in the imaging range, is moved by the instruction of the play equipment device the person was in the right or left side of the imaging range, the left or right half of the imaging range imaging range to generate the one half of the distance balance frame the person has not, the person was allowed to move left or right side of the imaging range, the other half of the person thereof is not in the imaging range of the right or left half of the range imaging It generates a distance balance frame, human Motion detection apparatus as claimed in claim 3 for generating a distance balance frame by combining the distance balance frame that not the person was their imaging range.
  8. 前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により人物を検出するフレーム差分演算手段を有する請求項5に記載の人物動作検出装置。 Calculating a frame difference of the distance balance frame and the distance frame, the distance information a person motion detection according to claim 5 having a frame difference calculating means for detecting a person by the presence or absence of change in the distance from the background in equilibrium apparatus.
  9. 前記距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から前記人物の中心座標を求める中心座標検出手段を有する請求項8に記載の人物動作検出装置。 Human Motion detection apparatus as claimed in claim 8 in which the distance information of the person detected by the frame difference of the distance balance frame and the distance frames having a center coordinate detection means for determining the center coordinates of the person.
  10. 前記中心座標検出手段は、前記距離フレーム間の中心座標の移動量を求める請求項9に記載の人物動作検出装置。 The center coordinate detection means, the person operating the detection device according to claim 9 for obtaining the movement amount of the center coordinates between the distance frame.
  11. 前記中心座標検出手段は、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する請求項10に記載の人物動作検出装置。 The center coordinates detecting means, a distance displacement calculated by the difference calculation between the distance frame, the center coordinates obtained by the frame difference between the between the distance frame distance balance frame, the relative positions of the distance displacement and said center coordinate human Motion detection apparatus as claimed in claim 10 for computing the.
  12. 前記中心座標検出手段は、検出した人物の身体全体の距離情報から、3次元空間の各座標軸の重心座標を前記中心座標として算出する請求項9に記載の人物動作検出装置。 The center coordinate detection means, the whole body of the distance information of the detected person, the person operation detecting apparatus according to the centroid coordinates of each coordinate axis of the three-dimensional space to claim 9, is calculated as the center coordinates.
  13. 前記中心座標検出手段は、検出した人物の身体全体の距離情報から、3次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出する請求項9に記載の人物動作検出装置。 The center coordinate detection means, the whole body of the distance information of the detected person, the person operating the detection according to the midpoint from the maximum and minimum values ​​in the directions of the axes of the three-dimensional space to claim 9, is calculated as the center coordinates apparatus.
  14. 前記中心座標検出手段は、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する請求項9に記載の人物動作検出装置。 The center coordinate detection means, the whole body of the distance information of the detected person, the person operating according to the point where the sum of distances from each point on the contour of the person is minimized to claim 9, is calculated as the center coordinates detection device.
  15. 前記距離平衡フレーム生成手段は、前記距離平衡フレームの生成処理を、装置起動時、初期化時または所定時間毎に行う請求項3または6に記載の人物動作検出装置。 Said distance balance frame generating means, said distance generation processing balance frame, apparatus startup, Human Motion detection apparatus as claimed in claim 3 or 6 performed at initialization or at a predetermined time interval.
  16. 前記発光手段は、前記投射光として近赤外のパルス光を一定周期で前記投射空間に投射する請求項1に記載の人物動作検出装置。 The light emitting means, the person operating the detection device according to claim 1 for projecting the projection space in a constant cycle near infrared pulsed light as the projection light.
  17. 前記受光部は、光電変換部が中央に設けられ、該光電変換部の中心に対する点対称位置に、互いに相反するゲート信号が入力される二つの電荷転送ゲートをそれぞれ介して2つの画素出力電極V1,V2が設けられ、該二つの画素出力電極V1,V2から、前記人物までの距離に相当した光の飛行時間に依存して分配された信号電荷をそれぞれ出力する請求項1に記載の人物動作検出装置。 The light receiving unit, the photoelectric conversion unit is provided in the center, the point symmetry position with respect to the center of the photoelectric conversion unit, of the two through the respective two charge transfer gate opposite the gate signal is inputted to each other pixel output electrodes V1 , V2 are provided, from the two pixel output electrodes V1, V2, the person operating according to the distance to be distributed depending on the time of flight of corresponding the optical signal charges until the person in claim 1, outputs detection device.
  18. 前記二つの画素出力電極V1,V2からの前記信号電荷はそれぞれ前記人物までの距離に応じた出力電圧情報に変換されて、前記TOF式距離画像センサから前記距離情報としてそれぞれ出力される請求項17に記載の人物動作検出装置。 The two of the signal charge from the pixel output electrodes V1, V2 are converted into output voltage information corresponding to the distance to each of the persons, claims are output as the distance information from the TOF type distance image sensor 17 human Motion detector according to.
  19. 前記人物までの距離Lが、既知の光速をcとして該人物までの光の飛行時間Tを検出して、L=(1/2)・c・Tから求められている請求項1または17に記載の人物動作検出装置。 The distance L to the person, the known velocity of light by detecting light flight time T until the person product as c, in L = (1/2) · c · claims are determined from T to claim 1 or 17 human Motion detection apparatus as claimed.
  20. 前記距離情報は、前記受光部に対応した画素毎の立体的な複数点の距離情報である請求項1〜3、5および18のいずれかに記載の人物動作検出装置。 Said distance information, the person operation detecting apparatus according to any one of claims 1 to 3, 5 and 18 is the distance information of a three-dimensional multiple points of each pixel corresponding to the light receiving portion.
  21. 請求項1〜20のいずれかに記載の人物動作検出装置と、該人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、ゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するアプリケーションプロセッサとを有する遊具装置。 And persons operation detecting apparatus according to any of claims 1 to 20, the person was operating with the variation and the operation information of the change direction of the distance of the person from the detector, the operation and events of the characters in the game playground equipment device having an application processor controlling the game so as to reflect the occurrence.
  22. 前記アプリケーションプロセッサは、前記人物の動作の詳細情報を取得するために、連続して取得されるフレーム差分情報を比較して、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび動作の加速度ベクトルの各種情報を抽出する人物動作検知手段を有する請求項21に記載の遊具装置。 The application processor, in order to obtain detailed information of the operation of the person, and comparing the frame difference information acquired in succession, the position information of the operating region of the person thereof, velocity vector and the motion of the motion of the person thereof playground equipment device of claim 21 having human operation detection means for extracting various information of the acceleration vector of.
  23. 前記動作領域の位置情報は前記距離フレームの水平方向および垂直方向のXY座標位置および距離から立体的に求められ、前記人物の動作の速度ベクトルおよび加速度ベクトルは、該動作領域の平均移動距離、該動作領域の重心位置の移動距離および該人物の特定部位位置の移動距離のいずれかから求められる請求項22に記載の遊具装置。 Position information of the operating area is sterically obtained from horizontal and vertical XY coordinate position and distance of the distance frame, the velocity vector and the acceleration vector of the operation of the person, the average moving distance of said operating region, the playground equipment according to claim 22 obtained from any of the moving distance of the specific portion position of the moving distance and the person of the center of gravity of the operating area.
  24. 前記人物が行う動作の身体部位の時刻、空間領域および動作変化のうちの少なくともいずれかに関して期待値を有しており、該期待値と合致する時刻、空間領域および動作変化のうちの少なくともいずれかの距離情報を含む距離フレームに限定して前記人物動作検知手段による処理を行う請求項22に記載の遊具装置。 Time of the body part of operation in which the person performing has an expected value for at least one of the spatial and operation change, time consistent with the expected value, at least one of the spatial and operation change playground equipment device of claim 22, to limit the distance the frame including the distance information performs processing by the person operating detecting means.
  25. 前記人物の中心座標の移動量が、前記期待値から設定した閾値以上であった場合に該人物の「全身移動があった」と判定し、また、該人物の中心座標の移動量が該閾値未満であった場合に該人物の「全身移動がなかった」と判定する中心座標移動判定手段を有する請求項22または24に記載の遊具装置。 Movement amount of the center coordinates of the person, the determination of "had systemic movement" of the person object if there was a expected value threshold above set from, also, the amount of movement of the center coordinates of the person thereof is the threshold playground equipment according to claim 22 or 24 having a center coordinate movement determining means determines that the "whole body movement was not" in the person object if the there was less than.
  26. 前記中心座標と前記距離フレームの差分の距離変位の相対的な位置関係から、動作した人物の身体部位を判定する身体部位判定手段を有する請求項22または24に記載の遊具装置。 Wherein the center coordinates and the distance difference relative positional relationship between the distance displacement of the frame, play equipment according to claim 22 or 24 having a body part determining means for determining the body site of operation to person.
  27. 前記身体部位判定手段は、前記距離フレーム間のフレーム差分により検出した距離変位が、前記中心座標より右上であれば右腕の動作、前記中心座標より左上であれば左腕の動作、前記中心座標より右下であれば右足の動作、前記中心座標より左下であれば左足の動作であると判定する請求項26に記載の遊具装置。 The body part determining means detected distance displaced by the frame difference between the distance frame, the if the upper right of the center coordinates right arm operation, left arm operation if the upper left and from the center coordinates, the right than the center coordinates if under the right foot of the operation, play equipment device of claim 26 judges that the operation of the left foot if the lower left from the center coordinates.
  28. 前記身体部位判定手段は、その判定結果として身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかと前記期待値とを比較して、該少なくともいずれかが該期待値と一致する場合は該身体部位に「期待動作があった」と判定し、また、該少なくともいずれかが該期待値と不一致の場合は該身体部位に「期待動作がなかった」と判定する請求項26または27に記載の遊具装置。 The body part determining means, the time when the body part is present as a result of the determination by comparing the expected value with at least one of the spatial and operation change, if the at least one matches with the expected value determines "had expected operation" to bodily site, also, the at least either the case of the expected value disagreement "had no expectation operation" in the bodily site as judged claim 26 or 27 playground equipment according to.
  29. 前記期待値として、前記人物が何らかの行動を起こすことを期待されるタイミングを期待時刻とし、該人物が移動動作を行うことを期待される空間領域を期待存在空間とし、該人物が行うであろうと期待される動作の速さや方向が期待動作変化とする請求項24〜27のいずれかに記載の遊具装置。 As the expected value, the timing at which the person is expected to take some action with the expected time, the person object is the expected present space space region are expected to make a move operation would the person thereof is carried out with playground equipment device according to any one of claims 24 to 27 in which the speed and direction of the expected behavior is the expected behavior change.
  30. 前記アプリケーションプロセッサは、前記人物の動作の時刻、空間領域および動作変化のうちの少なくともいずれかに関する期待値を有しており、該期待値と合致する人物動作を検知した場合に、無線または有線を介して、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を有する請求項21に記載の遊具装置。 The application processor, the time of operation of the person, has at least the expected values ​​for any of the spatial and operation change, when detecting a person operating that matches with the expected value, a wireless or wired through it, vibration, light, play equipment device of claim 21 having a sensory stimulus generator for generating at least one of voice and aroma.
  31. 従来の遊具装置に搭載されているゲームコントローラを使用することなく前記人物動作検出装置を用いて人物動作が検知され、当該人物動作の検知結果と前記期待値との比較処理が行わて、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を駆動させる請求項21に記載の遊具装置。 People operation using the person operating detecting device without using a game controller that is mounted on a conventional playground equipment device is detected, the comparison process between the detection result and the expected value of the person operation is performed, vibration, light, play equipment according to claim 21 for driving the sensible stimulus generator for generating at least one of voice and aroma.
  32. 発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報をTOF(タイム・オブ・フライト)式距離画像センサの複数の受光部からそれぞれ出力する人物動作検出方法であって、 By receiving the reflected light from the projection space of the projected light emitted from the light emitting means, a plurality of light receiving of the distance information corresponding to the distance to the person in the projection space TOF (time-of-flight) type distance image sensor a person operating the detection method of output from the section,
    該TOF式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御ステップを有する人物動作検出方法。 Human Motion detection method having a human operation detection control step of detecting motion information of a person based on the distance information from the TOF type distance image sensor.
  33. 前記人物動作検知制御ステップは、 The person operating the detection control step,
    前記TOF式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、 A distance frame generation step of generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor,
    該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する請求項32に記載の人物動作検出方法。 It calculates the respective frame difference for the distance frame of the plurality of claim 32 and a frame difference calculation step of calculating the amount of change and direction of change of the distance of the person object as the operation information of the person thereof from the frame difference Human Motion detection method.
  34. 前記人物動作検知制御ステップは、 The person operating the detection control step,
    前記TOF式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、 A distance frame generation step of generating a plurality of distance frame in time series based on the distance information from the TOF type distance image sensor,
    少なくとも2つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、 Based on at least two of said distance frame, the distance balance frame generation step of generating a distance balance frame is not the distance information of the distance change on the person,
    該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する請求項32に記載の人物動作検出方法。 Respectively, for the distance frame of the plurality of calculating a frame difference between the distance balance frame, claims and a frame difference calculation step of calculating the amount of change and direction of change of the distance of the person object as the operation information of the person thereof from the frame difference human Motion detection method according to claim 32.
  35. 前記人物の距離をリアルタイムに計測し、少なくとも2つの距離フレームの間のフレーム差分から、該人物の距離の変化の有無を検出する距離変位検出ステップを更に有する請求項33または34に記載の人物動作検出方法。 Measuring the distance of the person in real time, at least from the frame difference between the two distances frames, Human Motion of claim 33 or 34 further comprising a distance displacement detection step of detecting the presence or absence of change in the distance the person thereof detection method.
  36. 前記人物の距離をリアルタイムに計測し、少なくとも2つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定ステップを更に有する請求項34に記載の人物動作検出方法。 Measuring the distance of the person in real time, when the frame difference between the at least two distances frame state is less than a predetermined threshold value has continued for more than a predetermined number of times or more or a predetermined frame, the distance information the person thereof human Motion detection method according to claim 34, further comprising determining distance equilibrium state determination step to be in equilibrium.
  37. 前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により前記人物を検出するフレーム差分演算ステップを有する請求項36に記載の人物動作検出方法。 Calculating a frame difference of the distance balance frame and the distance frame, the distance information is a person operating according to claim 36 having a frame difference calculation step of detecting the person by the presence or absence of change in the distance from the background in equilibrium detection method.
  38. 前記距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から中心座標を求める中心座標検出ステップを有する請求項37に記載の人物動作検出方法。 Human Motion detection method according to claim 37 having a center coordinate detection step of obtaining the center coordinates from the distance information of the person detected by the frame difference of the distance balance frame and the distance frame.
  39. 前記中心座標検出ステップは、前記距離フレーム間の中心座標の移動量を求める請求項38に記載の人物動作検出方法。 The center coordinates detecting step, the person operating the detection method according to claim 38 for obtaining the movement amount of the center coordinates between the distance frame.
  40. 前記中心座標検出ステップは、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する請求項38または39に記載の人物動作検出装置。 The center coordinates detecting step, a distance displacement calculated by the difference calculation between the distance frame, the center coordinates obtained by the frame difference between the between the distance frame distance balance frame, the relative positions of the distance displacement and said center coordinate human Motion detector according to claim 38 or 39 for calculating a.
  41. 前記中心座標検出ステップは、検出した人物の身体全体の距離情報から、3次元空間の各座標軸の重心座標を前記中心座標として算出する請求項38に記載の人物動作検出方法。 The center coordinates detecting step, the whole body of the distance information of the detected person, the person operating the detection method according to claim 38 for calculating the centroid coordinates of each coordinate axis of the three-dimensional space as the center coordinates.
  42. 前記中心座標検出ステップは、検出した人物の身体全体の距離情報から、3次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出することを特徴とする請求項38に記載の人物動作検出方法。 The center coordinates detecting step, the whole body of the distance information of the detected person in claim 38, characterized in that for calculating the middle point as the center coordinate from the maximum and minimum values ​​in the directions of the axes of the three-dimensional space Human Motion detection method described.
  43. 前記中心座標検出ステップは、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する請求項38に記載の人物動作検出方法。 The center coordinates detecting step, the whole body of the distance information of the detected person, the person operating according to the point where the sum of distances from each point on the contour of the person is minimized to claim 38 which is calculated as the center coordinates detection method.
  44. 請求項1〜20のいずれかに記載の人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するゲーム実行ステップを有するゲーム方法。 With the variation and the operation information of the change direction of the distance of the person from the person operating the detection device according to any of claims 1 to 20, reflecting the application processor to the occurrence of the operation or event of the characters in the game game method with a game execution step of controlling the game so as to.
  45. 前記人物の動作詳細情報を取得するために、連続して取得されるフレーム差分情報を比較して、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を抽出する人物動作検知ステップを更に有し、前記人物の距離の変化量とその変化方向の情報と共に、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を用いて、前記ゲーム実行ステップとして、前記アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御する請求項44に記載のゲーム方法。 Extracted to obtain the operation details of the person, and comparing the frame difference information acquired in succession, the position information of the operating region of the person was a variety of information of the velocity vector and the acceleration vector of the operation of the person thereof further comprising a human Motion detection step of, variation of the distance of the person and with its direction of change of information, by using the position information of the operating region of the person was a variety of information of the velocity vector and the acceleration vector of the operation of the person thereof the as a game execution step, the game method according to claim 44, wherein the application processor to control the game to reflect the occurrence of the operation or event of the characters in the game.
  46. 請求項32〜43のいずれかに記載の人物動作検出方法のステップをコンピュータに実行させるための処理手順が記述された制御プログラム。 Control program procedure is described for executing the steps of the person operating the detection method according to the computer in any one of claims 32 to 43.
  47. 請求項44または45に記載のゲーム方法のステップをコンピュータに実行させるための処理手順が記述された制御プログラム。 Control program procedure is described for performing the steps of the game process according to a computer to claim 44 or 45.
  48. 請求項46または47に記載の制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体。 Computer readable readable recording medium in which control program is stored according to claim 46 or 47.
JP2009275952A 2009-06-25 2009-12-03 Person motion detecting device, play apparatus, person motion detecting method, gaming method, control program, and readable recording medium Pending JP2011027707A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009151558 2009-06-25
JP2009275952A JP2011027707A (en) 2009-06-25 2009-12-03 Person motion detecting device, play apparatus, person motion detecting method, gaming method, control program, and readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009275952A JP2011027707A (en) 2009-06-25 2009-12-03 Person motion detecting device, play apparatus, person motion detecting method, gaming method, control program, and readable recording medium

Publications (1)

Publication Number Publication Date
JP2011027707A true true JP2011027707A (en) 2011-02-10

Family

ID=43636609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009275952A Pending JP2011027707A (en) 2009-06-25 2009-12-03 Person motion detecting device, play apparatus, person motion detecting method, gaming method, control program, and readable recording medium

Country Status (1)

Country Link
JP (1) JP2011027707A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2957997A1 (en) 2014-06-20 2015-12-23 Funai Electric Co., Ltd. Image display device
WO2016035181A1 (en) * 2014-09-03 2016-03-10 株式会社ニコン Image pickup device, information processing device, and image pickup system
JP2016530701A (en) * 2013-06-13 2016-09-29 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se The method of manufacturing an optical detector and the optical detector

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016530701A (en) * 2013-06-13 2016-09-29 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se The method of manufacturing an optical detector and the optical detector
EP2957997A1 (en) 2014-06-20 2015-12-23 Funai Electric Co., Ltd. Image display device
US9841844B2 (en) 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
WO2016035181A1 (en) * 2014-09-03 2016-03-10 株式会社ニコン Image pickup device, information processing device, and image pickup system
JPWO2016035181A1 (en) * 2014-09-03 2017-06-22 株式会社ニコン Imaging device, an information processing apparatus, and an imaging system

Similar Documents

Publication Publication Date Title
US5913727A (en) Interactive movement and contact simulation game
US20060287086A1 (en) Scheme for translating movements of a hand-held controller into inputs for a system
US20080174550A1 (en) Motion-Input Device For a Computing Terminal and Method of its Operation
US20060264260A1 (en) Detectable and trackable hand-held controller
US20060256081A1 (en) Scheme for detecting and tracking user manipulation of a game controller body
US8715096B2 (en) Golf swing analyzer and analysis methods
US8418085B2 (en) Gesture coach
US20100302138A1 (en) Methods and systems for defining or modifying a visual representation
US20100302015A1 (en) Systems and methods for immersive interaction with virtual objects
US8659658B2 (en) Physical interaction zone for gesture-based user interfaces
US20050009605A1 (en) Image-based control of video games
US7961909B2 (en) Computer interface employing a manipulated object with absolute pose detection component and a display
US20120320080A1 (en) Motion based virtual object navigation
US20100238182A1 (en) Chaining animations
US20130050426A1 (en) Method to extend laser depth map range
US20100113153A1 (en) Self-Contained Inertial Navigation System for Interactive Control Using Movable Controllers
US20100283723A1 (en) Storage medium storing information processing program, information processing apparatus and information processing method
US20110175809A1 (en) Tracking Groups Of Users In Motion Capture System
US8253746B2 (en) Determine intended motions
Tanaka et al. A comparison of exergaming interfaces for use in rehabilitation programs and research
US20050148432A1 (en) Combined omni-directional treadmill and electronic perception technology
US20070265075A1 (en) Attachable structure for use with hand-held controller having tracking ability
US7826641B2 (en) Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US20110034300A1 (en) Sensor, Control and Virtual Reality System for a Trampoline
US20110028248A1 (en) Method of evaluating a golf club