JP2018190432A - Information processor and warning presentation method - Google Patents
Information processor and warning presentation method Download PDFInfo
- Publication number
- JP2018190432A JP2018190432A JP2018122892A JP2018122892A JP2018190432A JP 2018190432 A JP2018190432 A JP 2018190432A JP 2018122892 A JP2018122892 A JP 2018122892A JP 2018122892 A JP2018122892 A JP 2018122892A JP 2018190432 A JP2018190432 A JP 2018190432A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- warning
- image
- user
- play area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、撮影画像に基づき情報処理を行う情報処理装置および、それが行う警告提示方法に関する。 The present invention relates to an information processing apparatus that performs information processing based on a photographed image, and a warning presentation method performed by the information processing apparatus.
ゲーム機に接続されたヘッドマウントディスプレイ（以下、「ＨＭＤ」と呼ぶ）を頭部に装着して、表示された画面を見ながらゲームプレイすることが行われている（例えば特許文献１参照）。例えばユーザの頭部の位置や姿勢を取得し、顔の向きに応じて視野を変化させるように仮想世界の画像を表示すれば、あたかも仮想世界に入り込んだような状況を演出できる。ユーザの位置や姿勢は一般的に、ユーザを撮影した可視光や赤外線の画像の解析結果や、ＨＭＤに内蔵したモーションセンサの計測値などに基づいて取得される。 A head-mounted display (hereinafter referred to as “HMD”) connected to a game machine is attached to the head, and a game is played while viewing the displayed screen (see, for example, Patent Document 1). For example, by acquiring the position and orientation of the user's head and displaying an image of the virtual world so as to change the field of view according to the orientation of the face, it is possible to produce a situation as if entering the virtual world. The position and orientation of the user are generally acquired based on the analysis result of a visible light or infrared image obtained by photographing the user, the measurement value of a motion sensor built in the HMD, or the like.
撮影画像に基づき何らかの情報処理を行う技術は、ユーザなどの対象物がカメラの画角内にいることを前提としている。しかしながらＨＭＤを装着した状態では、ユーザは外界を見ることができないため、方向感覚を失ったり、ゲームに没頭するあまり実空間で思わぬ位置に移動していたりすることがあり得る。これによりカメラの画角から外れると、情報処理が破綻したり精度が悪化したりするうえ、ユーザ自身がその原因に気づかないことも考えられる。カメラとの位置関係など現実世界の事情をユーザに意識させるほど情報処理の精度を保てるが、同時にＨＭＤを利用し構築される仮想空間の世界観を阻害しやすくなる、というジレンマが生じる。 A technique for performing some information processing based on a captured image is based on the premise that an object such as a user is within the angle of view of the camera. However, since the user cannot see the outside world with the HMD attached, the user may lose a sense of direction or move to an unexpected position in the real space so that he / she is immersed in the game. If the angle of view of the camera deviates from this, information processing may fail or accuracy may deteriorate, and the user may not be aware of the cause. Although the accuracy of information processing can be maintained as the user is made aware of the situation in the real world, such as the positional relationship with the camera, a dilemma arises that at the same time, the world view of the virtual space constructed using the HMD tends to be hindered.
本発明はこうした課題に鑑みてなされたものであり、その目的は、ＨＭＤで実現される娯楽性と情報処理の精度のバランスを最適化できる技術を提供することにある。 The present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of optimizing the balance between entertainment and information processing accuracy realized by the HMD.
本発明のある態様は情報処理装置に関する。この情報処理装置は、実空間における対象物を検出し、当該対象物に基づき情報処理を行う情報処理部と、情報処理の結果として表示すべき画像のデータを生成する画像生成部と、対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に対象物が出る際にユーザへの警告が必要と判定し、画像生成部に警告画像を重畳させる警告状況判定部と、画像生成部が生成した画像のデータを表示装置に出力する出力部と、を備えることを特徴とする。 One embodiment of the present invention relates to an information processing apparatus. The information processing apparatus detects an object in real space, performs an information processing based on the object, an image generation unit that generates data of an image to be displayed as a result of the information processing, an object A warning area determination unit that sets a play area on the basis of the detection range, determines that a warning to the user is necessary when an object comes out of the play area, and superimposes a warning image on the image generation unit, And an output unit that outputs image data generated by the generation unit to a display device.
本発明のさらに別の態様は警告提示方法に関する。この警告提示方法は情報処理装置が、実空間における対象物を検出し当該対象物に基づき情報処理を行うステップと、情報処理の結果として表示すべき画像のデータを生成するステップと、対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に対象物が出る際にユーザへの警告が必要と判定するステップと、判定に応じて表示すべき画像に警告画像を重畳するステップと、生成された画像のデータを表示装置に出力するステップと、を含むことを特徴とする。 Yet another embodiment of the present invention relates to a warning presenting method. In this warning presentation method, an information processing device detects a target object in real space, performs information processing based on the target object, generates data of an image to be displayed as a result of the information processing, A step of setting a play area based on the detection range, determining that a warning to the user is required when an object comes out of the play area, and superimposing a warning image on an image to be displayed according to the determination And outputting the generated image data to a display device.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。 Note that any combination of the above-described components, and the expression of the present invention converted between a method, an apparatus, a system, a computer program, a recording medium on which the computer program is recorded, and the like are also effective as an aspect of the present invention. .
本発明によると、ＨＭＤを装着したユーザが、現実世界での拘束条件をできるだけ意識することなく表現世界を楽しむことができる。 According to the present invention, a user wearing an HMD can enjoy the expression world without being conscious of the constraint conditions in the real world as much as possible.
図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム８は、対象物を撮影する撮像装置１２、撮影した画像に基づき情報処理を行う情報処理装置１０、情報処理の結果として得られた画像を表示する平板型ディスプレイ１６およびＨＭＤ１８、ユーザが操作する入力装置１４を含む。 FIG. 1 shows a configuration example of an information processing system to which this embodiment can be applied. The information processing system 8 includes an imaging device 12 that captures an object, an information processing device 10 that performs information processing based on the captured image, a flat panel display 16 and an HMD 18 that display images obtained as a result of information processing, An input device 14 to be operated is included.
情報処理装置１０と、撮像装置１２、入力装置１４、平板型ディスプレイ１６、ＨＭＤ１８とは、有線ケーブルで接続されても、Bluetooth（登録商標）など既知の無線通信技術により接続されてもよい。また情報処理装置１０が実施する情報処理によっては、平板型ディスプレイ１６はなくてもよい。またこれらの装置の外観形状は図示するものに限らない。さらにこれらのうち２つ以上の装置を一体的に備えた装置としてもよい。例えば情報処理装置１０、入力装置１４、平板型ディスプレイ１６を、それらを備えた携帯端末などで実現してもよい。 The information processing device 10 and the imaging device 12, the input device 14, the flat display 16, and the HMD 18 may be connected by a wired cable or by a known wireless communication technology such as Bluetooth (registered trademark). Further, depending on the information processing performed by the information processing apparatus 10, the flat display 16 may be omitted. Further, the external shapes of these devices are not limited to those shown in the drawings. Furthermore, it is good also as an apparatus which provided two or more apparatuses among these integrally. For example, the information processing device 10, the input device 14, and the flat display 16 may be realized by a portable terminal equipped with them.
撮像装置１２は、ユーザなどの対象物を所定のフレームレートで撮影するカメラと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像の出力データを生成し、情報処理装置１０に送出する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。撮像装置１２が備えるカメラは１つのみでもよいし、図示するように２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラでもよい。 The imaging apparatus 12 generates output data of a captured image by performing general processing such as demosaic processing on a camera that captures an object such as a user at a predetermined frame rate, and outputs the output data to the information processing apparatus 10. A delivery mechanism. The camera includes a visible light sensor used in general digital cameras and digital video cameras, such as a CCD (Charge Coupled Device) sensor and a CMOS (Complementary Metal Oxide Semiconductor) sensor. The imaging device 12 may include only one camera, or may be a so-called stereo camera in which two cameras are arranged on the left and right sides at a known interval as illustrated.
あるいは単眼のカメラと、赤外線などの参照光を対象物に照射しその反射光を測定する装置との組み合わせで撮像装置１２を構成してもよい。ステレオカメラや反射光の測定機構を導入した場合、対象物の位置を３次元の実空間に対し求めることができ、情報処理装置１０による情報処理や表示装置による画像表示をより多様化させることができる。ステレオカメラが左右の視点から撮影したステレオ画像を用いて、三角測量の原理により被写体のカメラからの距離を特定する手法、反射光の測定によりＴＯＦ（Time of Flight）やパターン照射の方式で被写体のカメラからの距離を特定する手法はいずれも広く知られている。 Alternatively, the imaging device 12 may be configured by a combination of a monocular camera and a device that irradiates an object with reference light such as infrared rays and measures reflected light. When a stereo camera or a reflected light measurement mechanism is introduced, the position of the object can be obtained in a three-dimensional real space, and information processing by the information processing apparatus 10 and image display by the display apparatus can be further diversified. it can. Using stereo images taken by the stereo camera from the left and right viewpoints, the method of specifying the distance from the camera of the subject by the principle of triangulation, the method of TOF (Time of Flight) or pattern irradiation by measuring the reflected light Any method for specifying the distance from the camera is widely known.
以後では主に、撮像装置１２がステレオ画像を撮影する態様について説明するが、上記のとおり本実施の形態をそれに限る主旨ではなく、撮像装置１２には少なくとも一つのカメラが含まれていればよい。情報処理装置１０は、撮像装置１２から送信されたデータを用いて必要な情報処理を行い、画像や音声などの出力データを生成する。ここで情報処理装置１０が行う処理の内容は特に限定されず、ユーザが求める機能やアプリケーションの内容などによって適宜決定してよい。 Hereinafter, a mode in which the imaging device 12 captures a stereo image will be mainly described. However, as described above, the present embodiment is not limited to this, and the imaging device 12 only needs to include at least one camera. . The information processing device 10 performs necessary information processing using the data transmitted from the imaging device 12, and generates output data such as images and sounds. Here, the content of the processing performed by the information processing apparatus 10 is not particularly limited, and may be appropriately determined according to the function required by the user, the content of the application, or the like.
情報処理装置１０は例えば、撮影画像に対し一般的な顔検出や追跡処理を施すことにより、対象物であるユーザの動作を反映させたキャラクタが登場するゲームを進捗させたり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。このとき入力装置１４に設けたマーカーを利用して入力装置１４の動きを取得してもよい。またＨＭＤ１８の外面に設けた複数のマーカーを追跡することにより、ＨＭＤ１８を装着したユーザの頭部の位置や姿勢を特定し、それに対応して動く視点から見た仮想世界をＨＭＤ１８に表示させてもよい。情報処理装置１０が生成した出力データは、少なくともＨＭＤ１８に送信される。 The information processing apparatus 10 performs, for example, general face detection and tracking processing on a captured image to advance a game in which a character that reflects the user's action as a target object appears, or commands the user's movement. Convert information into input for information processing. At this time, the movement of the input device 14 may be acquired using a marker provided in the input device 14. Further, by tracking a plurality of markers provided on the outer surface of the HMD 18, the position and posture of the head of the user wearing the HMD 18 can be specified, and a virtual world viewed from a moving viewpoint can be displayed on the HMD 18 correspondingly. Good. The output data generated by the information processing apparatus 10 is transmitted to at least the HMD 18.
ＨＭＤ１８は、ユーザが頭に装着することによりその眼前に位置する有機ＥＬパネルなどの表示パネルに画像を表示する表示装置である。例えば左右の視点から見た視差画像を生成し、表示画面を２分割してなる左右の領域にそれぞれ表示させることにより、画像を立体視させてもよい。ただし本実施の形態をこれに限る主旨ではなく、表示画面全体に１つの画像を表示させてもよい。ＨＭＤ１８はさらに、ユーザの耳に対応する位置に音声を出力するスピーカーやイヤホンを内蔵していてもよい。 The HMD 18 is a display device that displays an image on a display panel such as an organic EL panel positioned in front of the user when the user wears the head. For example, the image may be stereoscopically viewed by generating a parallax image viewed from the left and right viewpoints and displaying the parallax images in left and right regions obtained by dividing the display screen into two. However, the present embodiment is not limited to this, and one image may be displayed on the entire display screen. The HMD 18 may further incorporate a speaker or earphone that outputs sound at a position corresponding to the user's ear.
平板型ディスプレイ１６は、２次元の画像を出力するディスプレイおよび音声を出力するスピーカーを有するテレビでよく、例えば液晶テレビ、有機ＥＬテレビ、プラズマテレビ、ＰＣディスプレイ等である。あるいはタブレット端末や携帯端末のディスプレイおよびスピーカーであってもよい。入力装置１４は、ユーザが操作することにより、処理の開始、終了、機能の選択、各種コマンド入力などの要求を受け付け、情報処理装置１０に電気信号として供給する。 The flat display 16 may be a television having a display for outputting a two-dimensional image and a speaker for outputting sound, such as a liquid crystal television, an organic EL television, a plasma television, and a PC display. Or the display and speaker of a tablet terminal or a portable terminal may be sufficient. The input device 14 accepts requests for processing start, end, function selection, various command inputs, and the like, and supplies them to the information processing device 10 as electrical signals.
入力装置１４は、ゲームコントローラ、キーボード、マウス、ジョイスティック、平板型ディスプレイ１６の表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。入力装置１４はさらに、所定の色で発光する素子またはその集合からなる発光マーカーを備えていてもよい。この場合、情報処理装置１０がマーカーの動きを、撮影画像を用いて追跡することにより、入力装置１４自体の動きをユーザ操作とすることができる。なお入力装置１４を、発光マーカーとそれを把持する機構のみで構成してもよい。 The input device 14 may be realized by any one of general input devices such as a game controller, a keyboard, a mouse, a joystick, a touch pad provided on the display screen of the flat display 16, or a combination thereof. The input device 14 may further include a light emitting marker composed of an element that emits light of a predetermined color or a set thereof. In this case, the information processing apparatus 10 tracks the movement of the marker using the captured image, so that the movement of the input apparatus 14 itself can be a user operation. Note that the input device 14 may be configured by only the light emitting marker and a mechanism for holding the light emitting marker.
図２はＨＭＤ１８の外観形状の例を示している。この例においてＨＭＤ１８は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。 FIG. 2 shows an example of the external shape of the HMD 18. In this example, the HMD 18 includes an output mechanism unit 102 and a mounting mechanism unit 104. The mounting mechanism unit 104 includes a mounting band 106 that goes around the head when the user wears to fix the device. The wearing band 106 is made of a material or a structure whose length can be adjusted according to the head circumference of each user. For example, an elastic body such as rubber may be used, or a buckle, a gear, or the like may be used.
出力機構部１０２は、ＨＭＤ１８をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。そして筐体１０８の外面には、発光マーカー１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、などを設ける。発光マーカーの数や配置は特に限定されないが、本実施の形態では出力機構部１０２の筐体前面の４隅に設ける。 The output mechanism unit 102 includes a housing 108 shaped to cover the left and right eyes when the user wears the HMD 18, and includes a display panel inside so as to face the eyes when worn. Then, light emitting markers 110a, 110b, 110c, 110d, and the like are provided on the outer surface of the housing 108. Although the number and arrangement of the light emitting markers are not particularly limited, in the present embodiment, the light emitting markers are provided at the four corners on the front surface of the casing of the output mechanism unit 102.
さらに、装着バンド１０６後方の両側面にも発光マーカー１１０ｅ、１１０ｆを設ける。このように発光マーカーを配置することにより、撮像装置１２に対しユーザが横を向いたり後ろを向いたりしても、撮影画像における発光マーカーの像の数や位置に基づきそれらの状況を特定できる。なお発光マーカー１１０ｃ、１１０ｄは出力機構部１０２の下側、発光マーカー１１０ｅ、１１０ｆは装着バンド１０６の外側にあり、図２の視点からは本来は見えないため、外周を点線で表している。 Further, light emitting markers 110e and 110f are also provided on both side surfaces behind the mounting band 106. By arranging the light emitting markers in this way, even if the user turns sideways or behind the imaging device 12, the situation can be specified based on the number and positions of the light emitting marker images in the captured image. The light emitting markers 110c and 110d are on the lower side of the output mechanism unit 102, and the light emitting markers 110e and 110f are outside the wearing band 106 and are not originally visible from the viewpoint of FIG.
図３は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、平板型ディスプレイ１６やＨＭＤ１８へデータを出力する出力部３６、撮像装置１２、入力装置１４、およびＨＭＤ１８からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。 FIG. 3 shows an internal circuit configuration of the information processing apparatus 10. The information processing apparatus 10 includes a CPU (Central Processing Unit) 22, a GPU (Graphics Processing Unit) 24, and a main memory 26. These units are connected to each other via a bus 30. An input / output interface 28 is further connected to the bus 30. The input / output interface 28 includes a peripheral device interface such as USB and IEEE1394, a communication unit 32 including a wired or wireless LAN network interface, a storage unit 34 such as a hard disk drive or a nonvolatile memory, a data to the flat display 16 or the HMD 18. Are connected to the output unit 36, the imaging device 12, the input device 14, and the input unit 38 that inputs data from the HMD 18, and the recording medium driving unit 40 that drives a removable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory. .
ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。 The CPU 22 controls the entire information processing apparatus 10 by executing an operating system stored in the storage unit 34. The CPU 22 also executes various programs read from the removable recording medium and loaded into the main memory 26 or downloaded via the communication unit 32. The GPU 24 has a function of a geometry engine and a function of a rendering processor, performs drawing processing according to a drawing command from the CPU 22, and stores a display image in a frame buffer (not shown). The display image stored in the frame buffer is converted into a video signal and output to the output unit 36. The main memory 26 is constituted by a RAM (Random Access Memory), and stores programs and data necessary for processing.
図４はＨＭＤ１８の内部回路構成を示している。ＨＭＤ１８は、ＣＰＵ５０、メインメモリ５２、表示部５４、音声出力部５６を含む。これらの各部はバス５８を介して相互に接続されている。バス５８にはさらに入出力インターフェース６０が接続されている。入出力インターフェース６０には、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部６２、加速度センサ６４、発光部６６が接続される。 FIG. 4 shows the internal circuit configuration of the HMD 18. The HMD 18 includes a CPU 50, a main memory 52, a display unit 54, and an audio output unit 56. These units are connected to each other via a bus 58. An input / output interface 60 is further connected to the bus 58. The input / output interface 60 is connected to a communication unit 62, an acceleration sensor 64, and a light emitting unit 66, which are wired or wireless LAN network interfaces.
ＣＰＵ５０は、バス５８を介してＨＭＤ１８の各部から取得した情報を処理し、出力データを表示部５４や音声出力部５６に供給する。メインメモリ５２はＣＰＵ５０における処理に必要なプログラムやデータを格納する。ただし実行するアプリケーションや装置の設計によっては、情報処理装置１０がほぼ全ての処理を行い、ＨＭＤ１８では情報処理装置１０から送信されたデータを出力するのみで十分な場合がある。この場合、ＣＰＵ５０やメインメモリ５２は、より簡易なデバイスで置き換えることができる。 The CPU 50 processes information acquired from each unit of the HMD 18 via the bus 58 and supplies output data to the display unit 54 and the audio output unit 56. The main memory 52 stores programs and data necessary for processing in the CPU 50. However, depending on the application to be executed and the design of the apparatus, it may be sufficient that the information processing apparatus 10 performs almost all the processing, and the HMD 18 only outputs the data transmitted from the information processing apparatus 10. In this case, the CPU 50 and the main memory 52 can be replaced with simpler devices.
表示部５４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ＨＭＤ１８を装着したユーザの眼前に画像を表示する。上述したように左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。表示部５４はさらに、ＨＭＤ１８装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。 The display unit 54 includes a display panel such as a liquid crystal panel or an organic EL panel, and displays an image in front of the user wearing the HMD 18. As described above, stereoscopic vision may be realized by displaying a pair of parallax images in a region corresponding to the left and right eyes. The display unit 54 may further include a pair of lenses that are positioned between the display panel and the user's eyes when the HMD 18 is mounted and that enlarge the viewing angle of the user.
音声出力部５６は、ＨＭＤ１８の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。出力される音声のチャンネル数は特に限定されず、モノラル、ステレオ、サラウンドのいずれでもよい。通信部６２は、情報処理装置１０や平板型ディスプレイ１６との間でデータを送受するためのインターフェースであり、例えばBluetooth（登録商標）などの既知の無線通信技術を用いて実現できる。 The audio output unit 56 is configured by a speaker or an earphone provided at a position corresponding to the user's ear when the HMD 18 is worn, and allows the user to hear the audio. The number of audio channels to be output is not particularly limited, and may be monaural, stereo, or surround. The communication unit 62 is an interface for transmitting and receiving data to and from the information processing apparatus 10 and the flat display 16 and can be realized using a known wireless communication technology such as Bluetooth (registered trademark).
加速度センサ６４は、所定軸方向の重力加速度を計測することによりＨＭＤ１８の傾きを検出する。ＨＭＤ１８にはさらに、ジャイロセンサなどその他の各種センサを設けてよい。センサによる測定値は通信部６２を介して情報処理装置１０に送信される。発光部６６は、所定の色で発光する素子またはその集合であり、図２で示したようにＨＭＤ１８の外面の複数箇所に設ける。これをマーカーとして追跡することによりＨＭＤ１８の位置を取得するほか、撮影画像におけるその像の数や位置関係からＨＭＤ１８の姿勢を取得する。 The acceleration sensor 64 detects the inclination of the HMD 18 by measuring the gravitational acceleration in the predetermined axis direction. The HMD 18 may further include other various sensors such as a gyro sensor. A measurement value obtained by the sensor is transmitted to the information processing apparatus 10 via the communication unit 62. The light emitting unit 66 is an element that emits light of a predetermined color or a set thereof, and is provided at a plurality of locations on the outer surface of the HMD 18 as shown in FIG. By tracking this as a marker, the position of the HMD 18 is acquired, and the attitude of the HMD 18 is acquired from the number and positional relationship of the images in the captured image.
情報処理装置１０は、加速度センサ６４および発光部６６といった複数の手段により得られた情報を統合することにより、より高い精度でユーザの頭の位置や姿勢を取得することができる。一方、本実施の形態では、場合によっては加速度センサ６４を省略することもできる。 The information processing apparatus 10 can acquire the position and posture of the user's head with higher accuracy by integrating information obtained by a plurality of means such as the acceleration sensor 64 and the light emitting unit 66. On the other hand, in the present embodiment, the acceleration sensor 64 may be omitted depending on circumstances.
図５は情報処理装置１０の機能ブロックの構成を示している。図５に示す各機能ブロックは、ハードウェア的には、図３に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。 FIG. 5 shows a functional block configuration of the information processing apparatus 10. Each functional block shown in FIG. 5 can be realized in terms of hardware by the configuration of the CPU, GPU, various memories, data bus, etc. shown in FIG. 3, and in terms of software, it is loaded into a memory from a recording medium, It is realized by a program that exhibits various functions such as a data input function, a data holding function, an image processing function, and a communication function. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
情報処理装置１０は、入力装置１４およびＨＭＤ１８からの入力情報を取得する入力情報取得部７２、撮像装置１２から撮影画像のデータを取得する撮影画像取得部７４、ゲームなどコンテンツに応じた情報処理を行う情報処理部７６、出力すべきデータを生成する出力データ生成部７８、情報処理や画像の生成に必要なデータを格納したコンテンツデータ記憶部８４を含む。情報処理装置１０はさらに、撮影画像に基づきユーザの位置情報を取得する位置情報取得部８０、ユーザの位置に基づき警告が必要な状況を判定する警告状況判定部８２、判定に必要な実空間上の領域に係る設定情報を格納したエリア設定情報記憶部８５、および、出力すべきデータをＨＭＤ１８に送信する出力データ送信部８６を含む。 The information processing device 10 includes an input information acquisition unit 72 that acquires input information from the input device 14 and the HMD 18, a captured image acquisition unit 74 that acquires captured image data from the imaging device 12, and information processing according to content such as a game. It includes an information processing unit 76 that performs data, an output data generation unit 78 that generates data to be output, and a content data storage unit 84 that stores data necessary for information processing and image generation. The information processing apparatus 10 further includes a position information acquisition unit 80 that acquires the user's position information based on the captured image, a warning situation determination unit 82 that determines a situation that requires a warning based on the user's position, and a real space necessary for the determination. An area setting information storage unit 85 that stores setting information relating to the area of the image data, and an output data transmission unit 86 that transmits data to be output to the HMD 18.
入力情報取得部７２は、ユーザ操作の内容を入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションやコンテンツの選択、処理の開始／終了、コマンド入力など、一般的な情報処理装置でなされるものでよい。入力情報取得部７２は入力装置１４から取得した情報を、その内容に応じて撮影画像取得部７４または情報処理部７６に供給する。入力情報取得部７２はさらに、ＨＭＤ１８の加速度センサ６４から計測値を受信し、情報処理部７６に供給する。 The input information acquisition unit 72 acquires the content of the user operation from the input device 14. Here, the user operation may be performed by a general information processing apparatus such as selection of an application to be executed or content, start / end of processing, command input, and the like. The input information acquisition unit 72 supplies the information acquired from the input device 14 to the captured image acquisition unit 74 or the information processing unit 76 in accordance with the content. The input information acquisition unit 72 further receives measurement values from the acceleration sensor 64 of the HMD 18 and supplies the measurement values to the information processing unit 76.
撮影画像取得部７４は、ステレオ画像など、撮像装置１２が動画撮影して得られる撮影画像のデータを所定のレートで取得する。撮影画像取得部７４はさらに、入力情報取得部７２が取得したユーザからの処理開始／終了要求に従い、撮像装置１２における撮影の開始／終了を制御したり、情報処理部７６における処理の結果に応じて、撮像装置１２から取得するデータの種類を制御したりしてもよい。 The captured image acquisition unit 74 acquires, at a predetermined rate, captured image data such as a stereo image obtained by the imaging device 12 capturing a moving image. The captured image acquisition unit 74 further controls the start / end of shooting in the imaging device 12 according to the processing start / end request from the user acquired by the input information acquisition unit 72, or according to the processing result in the information processing unit 76. Thus, the type of data acquired from the imaging device 12 may be controlled.
位置情報取得部８０は、撮影画像から所定の対象物の像を検出することにより、ユーザの位置情報を所定のレートで取得する。例えばＨＭＤ１８や入力装置１４に設けた発光マーカーの像に基づきユーザの頭部や手の実空間での位置を取得する。あるいはユーザの体の一部を、輪郭線を利用して追跡したり、顔や特定の模様を有する対象物をパターンマッチングにより認識したりする画像解析技術を組み合わせてもよい。また撮像装置１２の構成によっては上述のとおり、赤外線の反射を計測することによりユーザの距離を特定してもよい。 The position information acquisition unit 80 acquires user position information at a predetermined rate by detecting an image of a predetermined object from the captured image. For example, the position in the real space of the user's head or hand is acquired based on the image of the light emitting marker provided on the HMD 18 or the input device 14. Or you may combine the image analysis technique which tracks a part of a user's body using an outline, or recognizes the object which has a face and a specific pattern by pattern matching. Depending on the configuration of the imaging device 12, as described above, the distance of the user may be specified by measuring the reflection of infrared rays.
情報処理部７６は、ユーザが指定したゲームなどの電子コンテンツを処理する。この処理には、位置情報取得部８０が取得した、ユーザの位置情報の利用が含まれる。情報処理部７６は必要に応じて、ＨＭＤ１８の加速度センサによる計測結果などを統合することにより、ユーザの姿勢を特定してもよい。なお上述のように、入力装置１４を介したユーザ操作やユーザの動きに応じて、情報処理部７６が行う後段の情報処理の内容は特に限定されない。 The information processing unit 76 processes electronic content such as a game designated by the user. This process includes the use of the user position information acquired by the position information acquisition unit 80. The information processing unit 76 may specify the posture of the user by integrating the measurement results obtained by the acceleration sensor of the HMD 18 as necessary. As described above, the content of the subsequent information processing performed by the information processing unit 76 in accordance with the user operation or the user's movement via the input device 14 is not particularly limited.
出力データ生成部７８は、情報処理部７６からの要求に従い、情報処理の結果として出力すべき画像や音声のデータを生成する。例えばユーザの頭部の位置や姿勢に対応する視点から見た仮想世界を左右の視差画像として生成する。この視差画像をＨＭＤ１８において左右の目の前に表示させたり、仮想世界での音声を出力したりすれば、ユーザはあたかも仮想世界に入り込んだような感覚を得られる。情報処理部７６における情報処理や出力データ生成部７８におけるデータ生成処理に必要なプログラムや画像・音声のデータはコンテンツデータ記憶部８４に格納しておく。 The output data generation unit 78 generates image and audio data to be output as a result of information processing in accordance with a request from the information processing unit 76. For example, a virtual world viewed from a viewpoint corresponding to the position and posture of the user's head is generated as left and right parallax images. If this parallax image is displayed in front of the left and right eyes on the HMD 18 or the sound in the virtual world is output, the user can feel as if he / she entered the virtual world. Programs and image / sound data necessary for information processing in the information processing unit 76 and data generation processing in the output data generation unit 78 are stored in the content data storage unit 84.
警告状況判定部８２は、位置情報取得部８０が取得したユーザの位置情報に基づき、警告を与える状況の発生を常時監視し、その発生を判定する。具体的には、実世界の３次元空間に直接的あるいは間接的に設定したプレイエリアに対する内外判定を実施し、ユーザがプレイエリアから出たときに警告が必要であると判定する。本実施の形態では、撮影画像を利用して位置情報を取得するため、ユーザがカメラの画角内にいることを前提として情報処理が進捗する。 The warning situation determination unit 82 constantly monitors the occurrence of a situation that gives a warning based on the position information of the user acquired by the position information acquisition unit 80, and determines the occurrence. Specifically, the inside / outside determination is performed on the play area set directly or indirectly in the three-dimensional space in the real world, and it is determined that a warning is necessary when the user leaves the play area. In this embodiment, since position information is acquired using a captured image, information processing proceeds on the assumption that the user is within the angle of view of the camera.
ところが図２に示したようなＨＭＤを装着したユーザには、周囲の状況、ひいては自分が画角内にいるかどうかが認識しづらい。正常な情報処理を継続するためには、そのような実世界に係る情報を何らかの手段により与える必要があるが、コンテンツが表現する世界観を損なうことになりかねない。そのための方策として、画角から出そうなときのみユーザに警告を与えることが考えられる。しかしながらこのタイミングが早すぎれば、少しの移動で頻繁に警告が与えられ、実質的に可動範囲を狭めてしまうことになる。一方で、タイミングが遅いと画角から外れることを免れず、位置情報が得られない期間が発生し得る。 However, it is difficult for a user who wears the HMD as shown in FIG. 2 to recognize the surrounding situation and, therefore, whether or not he is within the angle of view. In order to continue normal information processing, it is necessary to provide such real-world information by some means, but this may impair the view of the world expressed by the content. As a measure for that, it is conceivable to give a warning to the user only when it is likely to come out from the angle of view. However, if this timing is too early, a warning is frequently given with a small amount of movement, and the movable range is substantially narrowed. On the other hand, if the timing is late, it is inevitable that the angle of view is deviated, and a period in which position information cannot be obtained may occur.
そこで本実施の形態では上述のとおり、警告を発生させるタイミングを実世界でプレイエリアとして設定した領域に対する内外判定により判断し、さらにプレイエリアと画角との関係を調整することにより、可動範囲と処理精度のバランスを状況に応じて最適化する。プレイエリアの設定情報はあらかじめ、エリア設定情報記憶部８５に格納しておく。具体的な設定内容については後に述べる。警告状況判定部８２は、警告が必要と判定したとき、その旨を出力データ生成部７８に通知する。 Therefore, in the present embodiment, as described above, the timing for generating the warning is determined by the inside / outside determination for the area set as the play area in the real world, and the relationship between the play area and the angle of view is further adjusted, The balance of processing accuracy is optimized according to the situation. The play area setting information is stored in advance in the area setting information storage unit 85. Specific settings will be described later. When it is determined that a warning is necessary, the warning status determination unit 82 notifies the output data generation unit 78 to that effect.
このとき出力データ生成部７８は、警告を表す部品画像を表示画像に追加で描画する。警告状況判定部８２はまた、ユーザが正常な位置に戻るなどして、警告の必要がなくなったことを判定し、その旨を出力データ生成部７８に通知する。これに応じて出力データ生成部７８は、警告を表す部品画像を非表示とする。なお警告は画像のみならず、音声を伴っていてもよい。出力データ送信部８６は、出力データ生成部７８が生成した出力データを順次取得し、必要に応じて成形したうえ、ＨＭＤ１８に送信する。 At this time, the output data generation unit 78 additionally draws a component image representing a warning on the display image. The warning status determination unit 82 also determines that the warning is no longer necessary, for example, by returning the user to a normal position, and notifies the output data generation unit 78 of the determination. In response to this, the output data generation unit 78 hides the component image representing the warning. The warning may be accompanied by sound as well as an image. The output data transmission unit 86 sequentially acquires the output data generated by the output data generation unit 78, shapes it as necessary, and transmits it to the HMD 18.
図６は、本実施の形態において撮影画像から取得できる情報を説明するための図である。同図においてユーザ１２０は、入力装置１４を把持しＨＭＤ１８を装着している。入力装置１４は、操作に適した持ち方で把持したときに撮像装置１２に正対する位置に発光マーカー１２２を備える。ＨＭＤ１８の発光マーカーは図２で示したとおりである。撮像装置１２をステレオカメラとした場合、ステレオ画像における像の視差に基づき、撮像装置１２の撮像面から各発光マーカーまでの距離Ｚが求められる。また、どちらかの撮影画像の画像平面（ＸＹ平面）における発光マーカーの像の位置は、撮像装置１２からの見かけ上の位置を表している。 FIG. 6 is a diagram for explaining information that can be acquired from a captured image in the present embodiment. In the figure, a user 120 holds the input device 14 and wears the HMD 18. The input device 14 includes a light emitting marker 122 at a position facing the imaging device 12 when held by a holding method suitable for operation. The luminescent marker of HMD18 is as shown in FIG. When the imaging device 12 is a stereo camera, the distance Z from the imaging surface of the imaging device 12 to each light emitting marker is obtained based on the parallax of the image in the stereo image. Further, the position of the image of the light emitting marker on the image plane (XY plane) of one of the captured images represents an apparent position from the imaging device 12.
これらの情報を統合する、具体的にはＸＹ平面における位置を撮像装置１２からの距離Ｚを用いて逆射影することにより、実世界の３次元空間における各発光マーカーの位置が求められる。さらにＨＭＤ１８の発光マーカーの像の数や位置関係からＨＭＤ１８の実空間における姿勢（ベクトルｖａ）が、入力装置１４の発光マーカー１２２の像の形状から入力装置１４の実空間における姿勢（ベクトルｖｂ）が求められる。 By integrating these pieces of information, specifically, by projecting the position in the XY plane using the distance Z from the imaging device 12, the position of each light emitting marker in the real world three-dimensional space is obtained. Further, the posture (vector va) in the real space of the HMD 18 is determined from the number and positional relationship of the light emitting marker images of the HMD 18, and the posture (vector vb) of the input device 14 in the real space is determined from the shape of the image of the light emitting marker 122 of the input device 14. Desired.
情報処理装置１０の情報処理部７６は、これらの装置の実空間における位置および姿勢に基づき、ユーザ１２０の顔の向きに応じて視野が変化する仮想世界や、入力装置１４の動きに応じて画像内のオブジェクトが動く様を表現することができる。なおマーカーの見かけ上の大きさによって撮像装置１２からの距離を推定したり、奥行き方向の動きが必要ない情報処理を行ったりする場合は、撮像装置１２はステレオカメラでなくてよい。参照光を利用した距離測定技術を導入する場合も同様である。また必ずしもＨＭＤ１８と入力装置１４の双方を追跡しなくてもよい。 The information processing unit 76 of the information processing device 10 is based on the position and orientation of these devices in real space, and in accordance with the virtual world whose field of view changes according to the orientation of the face of the user 120 or the image according to the movement of the input device 14. You can express how the objects inside move. When estimating the distance from the imaging device 12 based on the apparent size of the marker or performing information processing that does not require movement in the depth direction, the imaging device 12 may not be a stereo camera. The same applies when a distance measurement technique using reference light is introduced. Further, it is not always necessary to track both the HMD 18 and the input device 14.
このように発光マーカーの像を利用する場合、直接得られるのは、厳密にはＨＭＤ１８や入力装置１４の発光マーカーの位置である。ただしＨＭＤ１８はユーザが頭部に装着しているため、ユーザの頭部の位置と捉えることもできる。発光マーカー以外の被写体を拠り所として位置を特定する場合も、厳密にはそれらの被写体の位置が求められ、ユーザの重心位置などはそれらの情報から必要に応じて推定される。 When the image of the light emitting marker is used in this way, what is directly obtained is strictly the position of the light emitting marker of the HMD 18 or the input device 14. However, since the HMD 18 is mounted on the head by the user, it can also be regarded as the position of the user's head. Even when the position is specified based on a subject other than the light emitting marker, the position of the subject is strictly determined, and the position of the center of gravity of the user is estimated from the information as necessary.
以後の説明で「ユーザの位置」とは、ユーザ自身の位置でもよいし、位置取得の拠り所となる被写体の位置でもよい。また入力装置１４がプレイエリア外に出ても、ＨＭＤ１８が出ていなければ警告の必要はないとするなど、被写体の性質や状況に応じて判定基準に係る規則を設けてもよい。 In the following description, the “user position” may be the user's own position or the position of the subject that is the basis for the position acquisition. Further, even if the input device 14 goes out of the play area, a rule relating to the determination criterion may be provided according to the nature and situation of the subject, such as no warning is required unless the HMD 18 is out.
図７は、警告状況判定部８２が警告の必要性を判定するときに参照する、プレイエリアの設定例を模式的に示している。同図は実空間を俯瞰した状態を示しており、撮像装置１２に正対するようにユーザ１２０が存在している。撮像装置１２のカメラの水平画角θｈによって、点線で示した視野の境界面１８２ａ、１８２ｂが定まる。ステレオカメラの場合、両者の画角の積集合とする。このような視野の垂直方向の境界面を基準として、プレイエリア１８４の境界面を所定の規則で設定する。警告状況判定部８２はユーザがプレイエリア１８４の外に出たとき、警告の必要が発生したと判定する。 FIG. 7 schematically shows an example of setting a play area that is referred to when the warning situation determination unit 82 determines the necessity of warning. This figure shows a state in which the real space is looked down, and the user 120 exists so as to face the imaging device 12. The horizontal angle theta h of the image pickup device 12 a camera, the boundary surface 182a of the field indicated by the dotted line, 182b is determined. In the case of a stereo camera, it is the product set of both angles of view. The boundary surface of the play area 184 is set according to a predetermined rule with reference to the boundary surface in the vertical direction of the visual field. When the user goes out of the play area 184, the warning status determination unit 82 determines that a warning is required.
図示する例では、撮像装置１２からの距離ＺがＺ１≦Ｚ＜Ｚ３の範囲において、視野の境界面１８２ａ、１８２ｂより内側にプレイエリア１８４を設定している。撮像装置１２に近いＺ１≦Ｚ＜Ｚ２の範囲では、カメラの光軸を中心に距離Ｚに比例するように幅を増加させ、Ｚ２≦Ｚ＜Ｚ３の範囲では一定の幅Ｗを有するように設定している。Ｚ１≦Ｚ＜Ｚ２の範囲のプレイエリアの境界を決定づける垂直面１８６ａ、１８６ｂはすなわち、奥行き方向の位置によらず撮影画像上で左右の端より所定量、内側に結像する位置に対応する。したがって少なくとも垂直面１８６ａ、１８６ｂより内側をプレイエリアとすることで、画像上で当該所定量分をマージン領域として、ユーザが画角から外れる前の余裕を見たタイミングで警告を与えることができる。 In the example shown in the figure, the play area 184 is set on the inner side of the boundary surfaces 182a and 182b of the visual field when the distance Z from the imaging device 12 is in the range of Z1 ≦ Z <Z3. In the range of Z1 ≦ Z <Z2 close to the imaging device 12, the width is increased so as to be proportional to the distance Z around the optical axis of the camera, and in the range of Z2 ≦ Z <Z3, a constant width W is set. doing. The vertical planes 186a and 186b that determine the boundary of the play area in the range of Z1 ≦ Z <Z2 correspond to positions where the image is formed inward by a predetermined amount from the left and right ends on the captured image regardless of the position in the depth direction. Therefore, by setting at least the inner side of the vertical planes 186a and 186b as a play area, a warning can be given at a timing when the user sees a margin before deviating from the angle of view, with the predetermined amount as a margin area on the image.
撮像装置１２に近くなるほど、視野が狭くなるため可動範囲も狭くなる。そのため撮像装置１２に近い範囲では垂直面１８６ａ、１８６ｂより内側とする条件を最大限活用することで、警告を出さずにすむ範囲を広くとる。一方、撮像装置１２から離れた位置では視野が広がるため、画角から外れたか否かを基準とした場合、垂直面１８６ａ、１８６ｂより内側をプレイエリアとすれば、より広い範囲で警告を出さずにすむ。しかしながら図示する例では、情報処理の適性や周囲の物の存在などを考慮して、それより狭い幅Ｗでプレイエリアを限定している。 The closer to the imaging device 12, the narrower the field of view, so the movable range becomes narrower. For this reason, in the range close to the imaging device 12, the range in which the warning is not required is widened by making the best use of the conditions inside the vertical surfaces 186a and 186b. On the other hand, since the field of view widens at a position away from the image pickup device 12, when the play area is taken from the vertical planes 186a and 186b as a reference based on whether or not the angle of view is deviated, a warning is not issued in a wider range. I'm sorry. However, in the illustrated example, the play area is limited to a narrower width W in consideration of the suitability of information processing and the presence of surrounding objects.
このようにプレイエリア１８４は、画角からの逸脱可能性を低める以外に、適正な可動範囲を設定する役割も同時に備えることができる。またプレイエリアをカメラからの距離範囲に応じて異なる規則で設定することにより、視野の狭い領域では可動範囲を優先し、視野の広い領域ではコンテンツの事情などその他の要素を優先させる、といった優先順位の変化に適応できる。 As described above, the play area 184 can simultaneously have a role of setting an appropriate movable range in addition to reducing the possibility of deviation from the angle of view. In addition, by setting the play area according to different rules depending on the distance range from the camera, priority is given to giving priority to the movable range in areas with a narrow field of view, and giving priority to other factors such as the contents of the situation in areas with a wide field of view. Can adapt to changes in
図８は、プレイエリアの設定の別の例を模式的に示している。同図は実空間をユーザの左側面から見た状態を示しており、撮像装置１２に正対するようにユーザ１２０が存在している。撮像装置１２のカメラの垂直画角θｖによって、点線で示した視野の境界面１９２ａ、１９２ｂが定まる。このような視野の水平方向の境界面を基準として、撮像装置１２からの距離ＺがＺ１≦Ｚ＜Ｚ３の範囲にプレイエリアの境界面を設定する。 FIG. 8 schematically shows another example of setting the play area. The figure shows a state in which the real space is viewed from the left side of the user, and the user 120 exists so as to face the imaging device 12. The camera vertical field angle theta v of the imaging device 12, the interface 192a of the field indicated by the dotted line, 192b is determined. Based on such a horizontal boundary surface of the field of view, the boundary surface of the play area is set such that the distance Z from the imaging device 12 is in the range of Z1 ≦ Z <Z3.
同図の例では、Ｚ１≦Ｚ＜Ｚ３の範囲にわたり、視野の境界面１９２ａ、１９２ｂをプレイエリア１９４の境界面と一致させている。すなわち図７で示したプレイエリアと比較し、視野の境界面との間にマージン領域を設定しない。つまり撮影画像上で上下の端より所定量、内側に結像する水平面１９６ａ、１９６ｂのような余裕分をも設けず、撮影画像の上端から下端に対応する領域をプレイエリアとしている。このようにすると、画角から外れるのと同時に警告が与えられる結果となるため、微小時間であっても位置取得が不能となる可能性が高くなる。一方で、より広い範囲で警告を出さずにすむことになる。 In the example shown in the figure, the boundary surfaces 192a and 192b of the visual field coincide with the boundary surface of the play area 194 over the range of Z1 ≦ Z <Z3. That is, a margin area is not set between the play area shown in FIG. 7 and the boundary surface of the visual field. That is, there is no allowance such as horizontal planes 196a and 196b that are imaged inward by a predetermined amount from the upper and lower ends on the captured image, and the area corresponding to the upper end to the lower end of the captured image is used as the play area. In this case, since a warning is given at the same time as the angle of view is deviated, there is a high possibility that the position cannot be obtained even in a very short time. On the other hand, it is not necessary to issue a warning in a wider range.
このような設定は、画角が狭いカメラにおいて有効である。画角が狭い場合、図７に示すようにマージン領域を設定すると、少しの動きで警告が頻繁に出てしまうことがあり得る。そのため多少の情報処理の精度悪化を犠牲にしても、広いプレイエリアを確保することにより快適性を優先できる。例えば水平画角は広く、垂直画角は狭い特性を有するカメラを使用する場合、図７および図８で示したように、実空間での方向に応じて視野の境界面に対するプレイエリアの境界面の位置関係を異ならせれば、情報処理精度と快適な操作環境とのバランスを好適にとることができる。 Such a setting is effective for a camera with a narrow angle of view. When the angle of view is narrow, if a margin area is set as shown in FIG. 7, a warning may be frequently issued with a slight movement. Therefore, comfort can be prioritized by securing a wide play area even at the expense of some deterioration in the accuracy of information processing. For example, when a camera having a wide horizontal angle of view and a narrow vertical angle of view is used, as shown in FIGS. 7 and 8, the boundary surface of the play area with respect to the boundary surface of the field of view according to the direction in the real space If the positional relationship is different, it is possible to suitably balance the information processing accuracy and the comfortable operating environment.
図９は、マージン領域の有無による処理への影響を説明するための図である。同図上段の（ａ）は視野に対しマージン領域を設けてプレイエリアを設定した場合、下段の（ｂ）は視野とプレイエリアを一致させた場合の、ユーザの動きと各処理のタイムチャートである。すなわち右側に模式的に示すように、撮像装置１２に対し白抜きで示したプレイエリアを設定するが、（ａ）は黒色で示す視野外の領域との間に網掛けで示したマージン領域を設けている。タイムチャートにおける「位置」の段の白、網掛け、黒の矩形はそれぞれ、ユーザがプレイエリア、マージン領域、視野外にいる時間を表す。 FIG. 9 is a diagram for explaining the influence on the processing due to the presence or absence of the margin area. (A) in the upper part of the figure shows a user's movement and time chart of each process when a play area is set by providing a margin area with respect to the visual field, and (b) in the lower part is a case where the visual field and the play area are matched. is there. That is, as schematically shown on the right side, a play area shown in white is set for the imaging device 12, but (a) shows a margin area shown by shading between the area outside the field of view shown in black. Provided. The white, shaded, and black rectangles in the “Position” column in the time chart represent the time during which the user is outside the play area, margin area, and field of view, respectively.
比較のため両者の設定において、ユーザが時刻ｔ２で視野外に出るとし、警告を同じ時間だけ表示した結果、ユーザがプレイエリアに戻るとしている。このようなユーザの動きに対し、位置情報取得部８０が位置情報を取得できる期間を「位置取得」の段に、警告表示がなされる期間を「警告」の段に、矩形で表している。（ａ）の場合、視野外へ出る時刻ｔ２より前の時刻ｔ１でプレイエリアから出るため、その時点から時刻ｔ３でプレイエリアへ戻るまでの間、警告が表示される。一方（ｂ）の場合、マージン領域を設定しないため、視野外へ出ている時刻ｔ２から時刻ｔ４までの間に警告が表示される。 For comparison, in both settings, it is assumed that the user goes out of the field at time t2, and the user returns to the play area as a result of displaying the warning for the same time. For such user movements, the period during which the position information acquisition unit 80 can acquire the position information is represented by a rectangle in the “position acquisition” stage, and the period during which a warning is displayed is represented by a rectangle in the “warning” stage. In the case of (a), since the player exits the play area at time t1 before time t2 when the user goes out of the field of view, a warning is displayed from that point in time until returning to the play area at time t3. On the other hand, in the case of (b), since a margin area is not set, a warning is displayed between time t2 and time t4 when the user goes out of the field of view.
図示するように、（ａ）においては、警告が表示された後も位置情報を取得できるため、当該情報を根拠としてプレイエリア外にいることが保障される。（ｂ）の場合、警告と同時に位置情報も取得できなくなるため、警告を表示している期間においてその妥当性が保障されない。したがって、例えば視野境界においてオクルージョンなどでユーザの像が検出されなかったことを、視野外に出たと誤認し警告を表示させてしまう可能性がある。 As shown in the figure, in (a), since the position information can be acquired even after the warning is displayed, it is guaranteed that the user is outside the play area based on the information. In the case of (b), the position information cannot be acquired at the same time as the warning, so the validity is not guaranteed in the period during which the warning is displayed. Therefore, for example, there is a possibility that the fact that the user's image has not been detected due to occlusion at the boundary of the visual field is mistakenly recognized as being out of the visual field, and a warning is displayed.
また（ａ）と（ｂ）で警告が表示されてから同じタイミングでプレイエリアに戻っても、（ｂ）では位置情報を取得できない期間が長くなる。図示する例では、（ａ）においても視野外へ出る期間が発生しているが、マージン領域の幅によっては、ユーザが視野外へ出る前に警告表示に応じて戻る可能性があるため、（ｂ）の場合と比較し位置情報を取得できない期間が発生しにくい。一方で、同じように移動しても（ａ）の場合はより早い時刻ｔ１で警告が表示されるため、ユーザに対する拘束条件が厳しくなる。これらの特性を踏まえ、警告を出さずにすむ領域を極限まで広げたいか、そのようにせずとも領域に余裕があるか、など、状況に応じた優先順位によって最適なプレイエリアを設定することが望ましい。 Moreover, even if it returns to a play area at the same timing after a warning is displayed by (a) and (b), the period when position information cannot be acquired by (b) becomes long. In the example shown in the figure, a period of going out of the field of view also occurs in (a), but depending on the width of the margin area, there is a possibility that the user may return according to the warning display before going out of the field of view. Compared with the case of b), a period during which position information cannot be acquired is less likely to occur. On the other hand, even if it moves in the same way, in the case of (a), since a warning is displayed at an earlier time t1, the constraint condition for the user becomes strict. Based on these characteristics, it is possible to set the optimal play area according to the priority order according to the situation, such as whether you want to extend the area that does not issue warnings to the limit or whether you do not have so much space. desirable.
なおマージン領域を設けるか否かのみならず、マージン領域の幅やプレイエリアの形状も、想定される状況や実空間での方向に応じて最適化してよい。例えばゲームなどコンテンツの内容や環境によって想定されるユーザの姿勢、具体的には立って遊ぶか座って遊ぶか、机に向かっているかソファに座っているか、といった状況に応じて、同じ画角でもプレイエリアの形状を変化させてよい。 It should be noted that not only whether or not to provide a margin area, but also the width of the margin area and the shape of the play area may be optimized according to the assumed situation and the direction in the real space. For example, depending on the content of the content such as the game and the environment of the user, specifically depending on the situation such as standing or playing, sitting or playing, sitting at the desk or sitting on the sofa, the same angle of view The shape of the play area may be changed.
また図７、図８の設定を同時に適用した場合、設定されるプレイエリアはカメラからの距離Ｚに対し四辺形の断面を有するような形状であったが、本実施の形態をそれに限る主旨ではなく、円筒形など任意の形状でよい。また光軸が水平方向にない場合、カメラからの距離Ｚは床面と水平でなくなる。このときプレイエリアの形状は、光軸方向の距離で定義してもよいし、実空間での水平方向の距離で定義してもよい。カメラの光軸と実空間の水平面とのなす角度を、撮像装置１２に内蔵させた加速度センサなどにより計測すれば、座標変換は容易に実現できる。３次元空間での領域を設定するための具体的なデータ形式については、様々考えられることは当業者には理解されるところである。 When the settings in FIGS. 7 and 8 are applied at the same time, the set play area has a quadrilateral cross section with respect to the distance Z from the camera. However, the present embodiment is not limited to this. It may be any shape such as a cylindrical shape. When the optical axis is not in the horizontal direction, the distance Z from the camera is not horizontal with the floor surface. At this time, the shape of the play area may be defined by the distance in the optical axis direction, or may be defined by the distance in the horizontal direction in real space. If the angle between the optical axis of the camera and the horizontal plane of the real space is measured by an acceleration sensor built in the imaging device 12, coordinate conversion can be easily realized. Those skilled in the art will understand that various specific data formats for setting a region in a three-dimensional space can be considered.
一方で、プレイエリアに対応する領域を画像平面で規定することにより、プレイエリアを間接的に設定してもよい。図１０は、画像平面におけるプレイエリアの設定手法を説明するための図である。同図は被写空間に対向するカメラの視野、ひいては撮影画像の平面を表しており、上段（ａ）が単眼カメラ、下段（ｂ）がステレオカメラの場合である。単眼カメラの場合、撮影画像３００の平面に対し、所定幅ｘを有する左右両端をマージン領域とし、それを除く領域３０２をプレイエリア対応領域として定義する。 On the other hand, the play area may be indirectly set by defining an area corresponding to the play area on the image plane. FIG. 10 is a diagram for explaining a method for setting a play area on an image plane. This figure shows the field of view of the camera facing the object space, and hence the plane of the captured image, where the upper (a) is a monocular camera and the lower (b) is a stereo camera. In the case of a monocular camera, the left and right ends having a predetermined width x with respect to the plane of the captured image 300 are defined as margin areas, and the area 302 excluding the margin areas is defined as a play area corresponding area.
この領域３０２により規定される３次元空間での領域は、奥行き方向の距離Ｚに比例して水平方向の幅が増加する領域３０４である。すなわち水平方向に着目した場合、領域３０２を設定することにより、図８で示した垂直面１８６ａ、１８６ｂの内側をプレイエリアとして設定したことになる。このように画像平面上でプレイエリア対応領域３０２を設定した場合、実空間でのプレイエリアの断面は、距離Ｚに応じたサイズの相似形となるため、実空間に直接設定する場合と比較して設定形状の自由度が少なくなる。 A region in the three-dimensional space defined by the region 302 is a region 304 whose width in the horizontal direction increases in proportion to the distance Z in the depth direction. That is, when paying attention to the horizontal direction, setting the region 302 means that the inside of the vertical surfaces 186a and 186b shown in FIG. 8 is set as the play area. When the play area corresponding region 302 is set on the image plane in this way, the cross section of the play area in the real space becomes a similar shape having a size corresponding to the distance Z, so that it is compared with the case where it is set directly in the real space. This reduces the degree of freedom of the set shape.
一方、撮影画像上での像とプレイエリア対応領域３０２との内外判定により直接、警告の必要性を判定できるため、ユーザの位置情報を介するより誤差の生じる余地が少なくなる。図示する例は水平方向にマージン領域を設けた場合であったが、垂直方向にマージン領域を設ける場合も同様である。また上述と同様の理由により、マージン領域を設けるか否か、およびその幅ｘの調整を、方向によって独立に行ってよい。それらの要素をコンテンツの内容や状況に応じて変化させてもよい。 On the other hand, since the necessity of warning can be determined directly by the inside / outside determination of the image on the captured image and the play area corresponding area 302, there is less room for error than via the user's position information. In the example shown in the figure, the margin area is provided in the horizontal direction, but the same applies to the case where the margin area is provided in the vertical direction. Further, for the same reason as described above, whether or not to provide a margin region and the adjustment of the width x may be independently performed depending on the direction. You may change those elements according to the content and the condition of content.
（ｂ）で示したステレオカメラの場合、ユーザがカメラの視野の左端にいるか右端にいるかにより、先に視野から外れるカメラが異なる。例えばユーザがカメラの視野の右端近傍にいる場合、図示するように、右視点のカメラの画像３０６ｂにおける像３０８ｂより、左視点のカメラの画像３０６ａにおける像３０８ａの方が右端に近くなる。したがってこのままユーザが右方向に移動した場合、左視点のカメラの視野から先に外れることになる。ユーザがカメラの視野の左端近傍にいる場合は逆に、右視点のカメラの視野から先に外れる。 In the case of the stereo camera shown in (b), the camera that deviates from the field of view first differs depending on whether the user is at the left end or the right end of the field of view of the camera. For example, when the user is near the right end of the field of view of the camera, as shown in the drawing, the image 308a in the left viewpoint camera image 306a is closer to the right end than the image 308b in the right viewpoint camera image 306b. Therefore, if the user moves in the right direction as it is, the user will be out of the field of view of the left viewpoint camera first. Conversely, when the user is near the left end of the field of view of the camera, the user deviates from the field of view of the right viewpoint camera first.
したがってステレオカメラのどちらにも写るような視野内にプレイエリアを設定する場合、左視点のカメラの撮影画像平面における、右端の所定幅ｘのマージン領域を除く領域３１０ａと、右視点のカメラの撮影画像平面における、左端の所定幅ｘのマージン領域を除く領域３１０ｂとを、プレイエリア対応領域として同時に設定する。そしてどちらかの画像において、ユーザの像がプレイエリア対応領域から出たことをもって、警告の必要性を判定する。 Therefore, when the play area is set within the field of view that can be seen in both stereo cameras, the right-eye camera is captured in the area 310a excluding the margin area of the predetermined width x at the right end in the captured image plane of the left-view camera. A region 310b excluding a margin region having a predetermined width x at the left end in the image plane is simultaneously set as a play area corresponding region. In either image, the necessity of warning is determined when the user's image comes out of the play area corresponding area.
図１１は、警告状況判定部８２が、警告が必要であると判定した際に生成される表示画面を例示している。表示画面２００は、ゲーム画面などコンテンツの画像に警告を表す警告画像２０２を追加した構成を有する。警告画像２０２は図示する例では、「Out of play area」なる文字情報によりプレイエリアの外に出たことを表している。さらに危険を表すマークも含めることで緊急性を表現している。 FIG. 11 illustrates a display screen generated when the warning situation determination unit 82 determines that a warning is necessary. The display screen 200 has a configuration in which a warning image 202 representing a warning is added to a content image such as a game screen. In the example shown in the figure, the warning image 202 indicates that the user has gone out of the play area by the character information “Out of play area”. In addition, the urgency is expressed by including a danger mark.
ただし警告画像２０２の形態をこれに限る主旨ではなく、色や形状を工夫することで図形やマークのみで表したり、そのような図形やマークと文字情報を組み合わせたりしてもよい。また警告画像２０２をコンテンツごとに、あるいはその時点での表示の内容に応じて、変化させてもよい。ユーザに気づきを与える性質上、警告画像２０２はコンテンツの画像に重畳表示することを基本とする。一方で、コンテンツの画像が奥行き感を伴う仮想世界であった場合は特に、奥行き感のない部品画像が突然、目前に出現することにより、ユーザが驚いたり不快な気持ちになったりすることが考えられる。 However, the form of the warning image 202 is not limited to this, and it may be expressed only by a figure or a mark by devising a color or shape, or such a figure or mark and character information may be combined. The warning image 202 may be changed for each content or according to the display contents at that time. The warning image 202 is basically displayed in a superimposed manner on the content image due to the property of noticing the user. On the other hand, especially when the content image is a virtual world with a sense of depth, a component image without a sense of depth suddenly appears in front of the user, which may make the user surprised or uncomfortable. It is done.
そこで図示するように警告画像２０２の周縁を、ブラー処理やαブレンディングなどによってぼかす。警告画像２０２全体を半透明としてもよい。これにより前面にありながらも背後に表現されている仮想世界との親和性を高められる。また突然視線を遮られた感覚を与えないよう、視点を避けた位置に警告画像２０２を表示することが望ましい。例えばユーザの視線に合わせて視野を変化させる表示形態では、必然的に視点が画面中央に固定されるため、画面中央から所定距離以上、離れた位置に表示する。 Therefore, as shown in the figure, the periphery of the warning image 202 is blurred by blur processing, α blending, or the like. The entire warning image 202 may be translucent. This enhances the affinity with the virtual world expressed in the back while being in front. Further, it is desirable to display the warning image 202 at a position avoiding the viewpoint so as not to give a sense that the line of sight is suddenly blocked. For example, in a display form in which the field of view is changed in accordance with the user's line of sight, the viewpoint is inevitably fixed at the center of the screen, so that the display is displayed at a position that is a predetermined distance or more away from the center of the screen.
また人は目線を上げるより下げる方が楽に行えるため、表示形態によらず、画面の下半分の領域（上下方向の中心線Ｃより下の領域）に警告画像２０２を表示することにより、注視点をコンテンツの画像から無理なく移動させていくことができる。これらのことにより、突然出現した画像に目の焦点が合わず認識するのに時間を要したり、細かい眼球の動きにより酔ってしまったりするのも防止できる。 In addition, since it is easier for a person to lower his eyes than to raise his eyes, the warning image 202 is displayed in the lower half area of the screen (the area below the center line C in the vertical direction) regardless of the display form. Can be moved without difficulty from the content image. As a result, it is possible to prevent the sudden appearance of an image that does not focus on the image and it takes time to recognize the image, and it is possible to prevent a person from getting drunk by a fine eyeball movement.
次にこれまで述べた構成によって実現できる、情報処理装置１０の動作について説明する。図１２は、本実施の形態において情報処理装置がユーザの動きに応じた出力データを生成する処理手順を示すフローチャートである。このフローチャートは、ユーザが入力装置１４を介して情報処理装置１０に処理の開始を要求したときなどに開始される。 Next, the operation of the information processing apparatus 10 that can be realized by the configuration described so far will be described. FIG. 12 is a flowchart illustrating a processing procedure in which the information processing apparatus generates output data according to a user's movement in the present embodiment. This flowchart is started when the user requests the information processing apparatus 10 to start processing via the input device 14.
まず情報処理装置１０の撮影画像取得部７４は、撮像装置１２に撮影の開始を要求し、それに応じて撮像装置１２が撮影し出力した撮影画像のデータの取得を開始する（Ｓ１０）。一方、警告状況判定部８２は、エリア設定情報記憶部８５からプレイエリアに係る設定情報を読み出す（Ｓ１２）。このとき、ユーザが選択するなどした実施すべきコンテンツに対応づけられた設定情報を選択してもよい。また撮影画像を解析するなどしてユーザが着座しているか否かや、周囲の状況などを特定し、それらの情報によって設定情報を選択してもよい。 First, the captured image acquisition unit 74 of the information processing apparatus 10 requests the imaging device 12 to start imaging, and starts acquiring data of the captured image captured and output by the imaging device 12 accordingly (S10). On the other hand, the warning situation determination unit 82 reads the setting information related to the play area from the area setting information storage unit 85 (S12). At this time, you may select the setting information matched with the content which should be implemented, such as a user selecting. Alternatively, the user may be seated by analyzing a captured image or the like, the surrounding situation may be specified, and the setting information may be selected based on the information.
次に情報処理部７６は、撮影画像取得部７４が取得したリアルタイムの撮影画像をＨＭＤ１８に出力するように、出力データ生成部７８に要求する。撮影画像をＨＭＤ１８に表示させることにより、周囲に障害物がないかの確認をユーザに促す（Ｓ１４、Ｓ１６）。このとき出力データ生成部７８は、「危ない物はありませんか？」といった文字情報と、ユーザが確認した旨を入力するためのＧＵＩ（Graphical User Interface）を撮影画像に重畳表示する。これによりユーザは事前にカメラの画角を認識できるため、プレイエリアと同等の領域を念頭に置いた動きができる。 Next, the information processing unit 76 requests the output data generation unit 78 to output the real-time captured image acquired by the captured image acquisition unit 74 to the HMD 18. Displaying the captured image on the HMD 18 prompts the user to check whether there are any obstacles in the surroundings (S14, S16). At this time, the output data generation unit 78 superimposes and displays character information such as “Is there anything dangerous?” And a GUI (Graphical User Interface) for inputting that the user has confirmed. Thereby, since the user can recognize the angle of view of the camera in advance, the user can move with an area equivalent to the play area in mind.
プレイエリアを知ることで自分の可動範囲が明確になり、周囲に存在する物が障害物となり得るかの判断も可能になる。ユーザが必要に応じて物を退かせたうえで、確認した旨の入力を行うことを条件に以後の処理を行うようにすれば、カメラの視野外への逸脱監視と同時に、障害物への衝突監視も行っていることになる。ユーザから確認の入力がない間は撮影画像を表示し続ける（Ｓ１６のＮ、Ｓ１４）。 Knowing the play area will make your range of movement clear and allow you to determine if objects around you can be an obstacle. If the user retreats the object as necessary and the subsequent processing is performed on the condition that the confirmation is input, it is possible to monitor the deviation from the camera's field of view and The collision is also monitored. While there is no confirmation input from the user, the captured image is continuously displayed (N in S16, S14).
ユーザから確認の入力がなされたら（Ｓ１６のＹ）、位置情報取得部８０は、撮影画像に基づきユーザの位置情報の取得を開始する（Ｓ１８）。そして当該情報を用いて情報処理部７６が情報処理を行い、出力データ生成部７８がその結果としてコンテンツの表示画像を描画する（Ｓ２０）。一方、警告状況判定部８２は、ユーザがプレイエリアを出たか否かを監視する（Ｓ２２）。ユーザがプレイエリアから出たとする判定は、厳密にはユーザが装着しているＨＭＤ１８、あるいはユーザが把持する入力装置１４に設けたマーカーがプレイエリアから出たときに行う。 When confirmation is input from the user (Y in S16), the position information acquisition unit 80 starts acquiring the user's position information based on the captured image (S18). Then, the information processing unit 76 performs information processing using the information, and the output data generation unit 78 renders a display image of the content as a result (S20). On the other hand, the warning status determination unit 82 monitors whether or not the user has left the play area (S22). Strictly speaking, the determination that the user has left the play area is made when the marker provided on the HMD 18 worn by the user or the input device 14 held by the user has left the play area.
ただし当該判定の基準は、ユーザの位置情報取得手段によって様々であってよい。例えばステレオ画像におけるユーザの像自体からデプスマップを作成するなどして位置情報とする場合は、ユーザの重心がプレイエリアから出たときとしてもよい。輪郭線を追跡している場合も同様である。また顔検出処理などのパターンマッチングにより追跡している場合は、プレイエリア内で顔が認識されなくなったときなどでもよい。 However, the criteria for the determination may vary depending on the user location information acquisition means. For example, when position information is created by creating a depth map from a user image itself in a stereo image, the center of gravity of the user may be out of the play area. The same applies when the contour line is tracked. Further, when tracking is performed by pattern matching such as face detection processing, the face may not be recognized in the play area.
ユーザがプレイエリアから出ていなければ（Ｓ２２のＮ）、出力データ送信部８６は、Ｓ２０で描画されたコンテンツの画像をそのままＨＭＤ１８に出力する（Ｓ２６）。ユーザがプレイエリアから出た場合（Ｓ２２のＹ）、警告状況判定部８２が出力データ生成部７８にその旨を通知することにより、出力データ生成部７８がコンテンツの画像に警告画像を重畳させる（Ｓ２４）。そして出力データ送信部８６は、警告画像が重畳された画像をＨＭＤ１８に出力する（Ｓ２６）。なおＳ２６の処理では、同時に音声のデータも出力してよい。 If the user has not left the play area (N in S22), the output data transmission unit 86 outputs the content image drawn in S20 to the HMD 18 as it is (S26). When the user leaves the play area (Y in S22), the warning status determination unit 82 notifies the output data generation unit 78 to that effect, so that the output data generation unit 78 superimposes the warning image on the content image ( S24). Then, the output data transmission unit 86 outputs the image on which the warning image is superimposed to the HMD 18 (S26). In the process of S26, audio data may be output at the same time.
ユーザにより処理の停止要求があるなど処理を終了させる必要が生じない期間、位置情報に基づきコンテンツの画像を描画し、必要に応じて警告画像を重畳させてＨＭＤ１８に出力する処理を、所定のレートで繰り返す（Ｓ２８のＮ、Ｓ２０〜Ｓ２６）。そして処理を終了させる必要が生じたら、全ての処理を終了させる（Ｓ２８のＹ）。 A process of drawing an image of content based on position information and superimposing a warning image as necessary and outputting it to the HMD 18 during a period when it is not necessary to end the process, such as when a user requests to stop the process. (N in S28, S20 to S26). If it is necessary to end the process, all the processes are ended (Y in S28).
なお同図のフローチャートでは、ユーザがプレイエリア外にいる期間と、警告画像を重畳させている期間が一致している。すなわちユーザがプレイエリア内に戻ったことをきっかけに警告画像が非表示となる。一方、警告画像を非表示とする条件を、表示する条件と独立に設けてもよい。図１３は、警告画像の表示／非表示の状態遷移を模式的に示している。まず警告画像が表示されていない状態から表示された状態とするときの判定基準はこれまで述べたように、ユーザがプレイエリアから出たこととする（右方向矢印）。 In the flowchart of FIG. 8, the period during which the user is outside the play area coincides with the period during which the warning image is superimposed. That is, the warning image is hidden when the user returns to the play area. On the other hand, the condition for not displaying the warning image may be provided independently of the condition for displaying. FIG. 13 schematically shows the state transition of display / non-display of the warning image. First, as described above, it is assumed that the user has left the play area (right arrow) when changing from a state in which no warning image is displayed to a state in which the warning image is displayed.
一方、警告画像が表示されている状態から表示されない状態とするときの判定基準は、プレイエリアに入ったことではなく、別途設定した条件を満たしたときとする（左方向矢印）。例えば、プレイエリアより狭い範囲として警告非表示エリアを設定しておき、当該エリアに入ったときに警告画像を非表示とする。あるいはプレイエリアに入ってから所定時間経過したときとする。このようにすることで、一旦、表示された警告は非表示とされにくくなる。結果として、ユーザがプレイエリアの境界近傍にいるときなどに、僅かな動きでプレイエリアに対する内外判定結果が切り替わり、警告が表示されたり消えたりを繰り消すチャタリングを防止できる。 On the other hand, the determination criterion for changing from the state where the warning image is displayed to the state where the warning image is not displayed is not when the player enters the play area but when a separately set condition is satisfied (left arrow). For example, a warning non-display area is set as a range narrower than the play area, and the warning image is not displayed when entering the area. Alternatively, it is assumed that a predetermined time has elapsed since entering the play area. By doing in this way, the once displayed warning is not easily hidden. As a result, when the user is in the vicinity of the boundary of the play area, the inside / outside determination result for the play area is switched by a slight movement, and chattering in which a warning is displayed or disappears can be prevented.
以上述べた本実施の形態によれば、撮影画像における像に基づきユーザの位置情報を取得し、その結果を利用して情報処理を行うシステムにおいて、実世界の３次元空間にプレイエリアを設定し、ユーザが当該プレイエリアから出たときにその旨の警告を表示などでユーザに提示する。これによりユーザがＨＭＤを装着して外界が見えなかったり、表示されている仮想世界に没頭したりして、いつの間にかカメラの視野から外れ、情報処理に破綻を来すことを防止できる。 According to the present embodiment described above, in a system that acquires user position information based on an image in a captured image and performs information processing using the result, a play area is set in a three-dimensional space in the real world. When the user leaves the play area, a warning to that effect is presented to the user. As a result, it is possible to prevent the user from wearing the HMD and seeing the outside world, or being immersed in the displayed virtual world and losing his / her vision from the camera and failing in information processing.
ここでプレイエリアは、カメラの視野を基準として設定する。このときプレイエリアを、視野に対しマージン領域を見込んで内側に設定するか、視野と同一とするか、またマージン領域を見込む場合はその幅、といった要素を最適化する。このようにマージン領域を調整することは、警告なしに移動できる範囲を規定していると同時に、ユーザが視野外に出てしまい位置情報が取得できなくなる頻度、ひいては位置情報取得精度を調整していることに他ならない。そのため、多少の位置情報取得精度の悪化を犠牲にしても極力広い範囲の移動を許容するか、範囲を限定的としても位置情報取得精度を維持するか、といった優先順位と合致した設定が可能となる。 Here, the play area is set based on the field of view of the camera. At this time, factors such as whether the play area is set inward with respect to the field of view or set to the same as the field of view, and when the margin area is expected, are optimized. Adjusting the margin area in this way regulates the range in which the user can move without warning and at the same time adjusts the frequency at which the user goes out of the field of view and cannot acquire position information, and thus the position information acquisition accuracy. It is none other than being. Therefore, it is possible to make settings that match the priority order of whether to allow movement in a wide range as much as possible at the expense of some deterioration in position information acquisition accuracy, or to maintain position information acquisition accuracy even if the range is limited. Become.
このような優先順位は、カメラの水平／垂直画角、情報処理の内容、ユーザやその周囲の状況などに依存して変化するため、それぞれに対し設定を最適化することにより、位置情報の取得精度とユーザの快適性を両立させることができる。またプレイエリアの形状は特に限定されないため、形状やサイズを適切に設定すれば、カメラの視野からの逸脱防止以外に、ゲームなどのコンテンツから想定される移動量の適正値の遵守や、周囲の障害物への衝突回避など役割を同時に果たすことができる。 Since such priorities change depending on the horizontal / vertical angle of view of the camera, the contents of information processing, the situation of the user and its surroundings, etc., position information can be acquired by optimizing the settings for each. Both accuracy and user comfort can be achieved. In addition, since the shape of the play area is not particularly limited, if the shape and size are set appropriately, in addition to preventing deviation from the camera's field of view, compliance with the appropriate amount of movement assumed from content such as games, It can play a role such as avoiding collision with obstacles at the same time.
警告を表示する際は、ゲーム画面など本来の表示画像上に、警告を表す部品画像を重畳表示する。このとき、周縁をぼかしたり半透明にしたりすることで、本来の表示画像との親和性を高め、突然、関連性のない画像が出現することによる違和感を少なくする。また、視点から所定の距離を設けたり画面の下半分の位置に表示させたりすることにより、視線が遮られることによる不快感や酔いの発生が抑制され、負担なく視線を合わせ、状況を認識させることができる。 When displaying a warning, a component image representing the warning is superimposed and displayed on an original display image such as a game screen. At this time, by blurring or translucent the periphery, the affinity with the original display image is enhanced, and the uncomfortable feeling due to the sudden appearance of an unrelated image is reduced. In addition, by providing a predetermined distance from the viewpoint or displaying it at the lower half of the screen, the discomfort and sickness caused by obstructing the line of sight are suppressed, and the line of sight is adjusted without burden and the situation is recognized. be able to.
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. Those skilled in the art will understand that the above-described embodiment is an exemplification, and that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.
８ 情報処理システム、 １０ 情報処理装置、 １２ 撮像装置、 １４ 入力装置、 １６ 平板型ディスプレイ、 １８ ＨＭＤ、 ２２ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ７２ 入力情報取得部、 ７４ 撮影画像取得部、 ７６ 情報処理部、 ７８ 出力データ生成部、 ８０ 位置情報取得部、 ８２ 警告状況判定部、 ８５ エリア設定情報記憶部、 ８６ 出力データ送信部。 8 Information processing system, 10 Information processing device, 12 Imaging device, 14 Input device, 16 Flat panel display, 18 HMD, 22 CPU, 24 GPU, 26 Main memory, 72 Input information acquisition unit, 74 Captured image acquisition unit, 76 Information Processing unit, 78 output data generation unit, 80 position information acquisition unit, 82 warning status determination unit, 85 area setting information storage unit, 86 output data transmission unit.
Claims (15)
前記情報処理の結果として表示すべき画像のデータを生成する画像生成部と、
前記対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に前記対象物が出る際にユーザへの警告が必要と判定し、前記画像生成部に警告画像を重畳させる警告状況判定部と、
前記画像生成部が生成した画像のデータを表示装置に出力する出力部と、
を備えることを特徴とする情報処理装置。 An information processing unit that detects an object in real space and performs information processing based on the object;
An image generation unit that generates data of an image to be displayed as a result of the information processing;
A warning situation in which a play area is set on the basis of the detection range of the target object, it is determined that a warning to the user is necessary when the target object is outside the play area, and a warning image is superimposed on the image generation unit A determination unit;
An output unit that outputs image data generated by the image generation unit to a display device;
An information processing apparatus comprising:
前記情報処理の結果として表示すべき画像のデータを生成するステップと、
前記対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に前記対象物が出る際にユーザへの警告が必要と判定するステップと、
前記判定に応じて前記表示すべき画像に警告画像を重畳するステップと、
生成された画像のデータを表示装置に出力するステップと、
を含むことを特徴とする、情報処理装置による警告提示方法。 Detecting an object in real space and performing information processing based on the object;
Generating image data to be displayed as a result of the information processing;
Setting a play area based on the detection range of the object, and determining that a warning to the user is required when the object comes out of the play area;
Superimposing a warning image on the image to be displayed according to the determination;
Outputting the generated image data to a display device;
A method for presenting a warning by an information processing apparatus, comprising:
前記情報処理の結果として表示すべき画像のデータを生成する機能と、
前記対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に前記対象物が出る際にユーザへの警告が必要と判定し、前記画像のデータを生成する機能にその旨を通知することにより警告画像を重畳させる機能と、
生成された画像のデータを表示装置に出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 A function of detecting an object in real space and performing information processing based on the object;
A function of generating image data to be displayed as a result of the information processing;
A play area is set on the basis of the detection range of the object, and it is determined that a warning to the user is required when the object comes out of the play area. A function to superimpose a warning image by notifying,
A function of outputting the generated image data to a display device;
A computer program for causing a computer to realize the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018122892A JP6634654B2 (en) | 2018-06-28 | 2018-06-28 | Information processing apparatus and warning presentation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018122892A JP6634654B2 (en) | 2018-06-28 | 2018-06-28 | Information processing apparatus and warning presentation method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015243593A Division JP6363587B2 (en) | 2015-12-14 | 2015-12-14 | Information processing apparatus and warning presenting method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019214957A Division JP6867464B2 (en) | 2019-11-28 | 2019-11-28 | Information processing device and warning presentation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018190432A true JP2018190432A (en) | 2018-11-29 |
| JP6634654B2 JP6634654B2 (en) | 2020-01-22 |
Family
ID=64478769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018122892A Active JP6634654B2 (en) | 2018-06-28 | 2018-06-28 | Information processing apparatus and warning presentation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6634654B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021152777A1 (en) * | 2020-01-30 | 2021-08-05 | ||
| WO2022202056A1 (en) | 2021-03-22 | 2022-09-29 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| US12033255B2 (en) | 2020-01-30 | 2024-07-09 | Sony Interactive Entertainment Inc. | Image processing apparatus and image processing method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165848A (en) * | 2003-12-04 | 2005-06-23 | Canon Inc | Method and device for presenting augmented reality |
| JP2012178061A (en) * | 2011-02-25 | 2012-09-13 | Namco Bandai Games Inc | Program, information storage medium and stereoscopic image generation device |
| JP2014119786A (en) * | 2012-12-13 | 2014-06-30 | Seiko Epson Corp | Head mounting type display device, control method of head mounting type display device, and work supporting system |
| JP2015045805A (en) * | 2013-08-29 | 2015-03-12 | セイコーエプソン株式会社 | Head-mounted type display device |
| JP6363587B2 (en) * | 2015-12-14 | 2018-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus and warning presenting method |
-
2018
- 2018-06-28 JP JP2018122892A patent/JP6634654B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165848A (en) * | 2003-12-04 | 2005-06-23 | Canon Inc | Method and device for presenting augmented reality |
| JP2012178061A (en) * | 2011-02-25 | 2012-09-13 | Namco Bandai Games Inc | Program, information storage medium and stereoscopic image generation device |
| JP2014119786A (en) * | 2012-12-13 | 2014-06-30 | Seiko Epson Corp | Head mounting type display device, control method of head mounting type display device, and work supporting system |
| JP2015045805A (en) * | 2013-08-29 | 2015-03-12 | セイコーエプソン株式会社 | Head-mounted type display device |
| JP6363587B2 (en) * | 2015-12-14 | 2018-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus and warning presenting method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021152777A1 (en) * | 2020-01-30 | 2021-08-05 | ||
| US12033255B2 (en) | 2020-01-30 | 2024-07-09 | Sony Interactive Entertainment Inc. | Image processing apparatus and image processing method |
| WO2022202056A1 (en) | 2021-03-22 | 2022-09-29 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6634654B2 (en) | 2020-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6363587B2 (en) | Information processing apparatus and warning presenting method | |
| CN108885799B (en) | Information processing apparatus, information processing system, and information processing method | |
| US11865448B2 (en) | Information processing apparatus and user guide presentation method | |
| US20170324899A1 (en) | Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method | |
| KR102642775B1 (en) | Information processing devices, information processing methods, and programs | |
| JP7085578B2 (en) | Information processing device, user guide presentation method, and head-mounted display | |
| JP7349256B2 (en) | Image generation device and information presentation method | |
| JP2024061769A (en) | Information processing device and warning presentation method | |
| JP6634654B2 (en) | Information processing apparatus and warning presentation method | |
| US11187895B2 (en) | Content generation apparatus and method | |
| US11743447B2 (en) | Gaze tracking apparatus and systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180628 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191029 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20191202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6634654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |