JP2015167349A - Information processing apparatus, information processing system, control method of the same and program - Google Patents
Information processing apparatus, information processing system, control method of the same and program Download PDFInfo
- Publication number
- JP2015167349A JP2015167349A JP2014222631A JP2014222631A JP2015167349A JP 2015167349 A JP2015167349 A JP 2015167349A JP 2014222631 A JP2014222631 A JP 2014222631A JP 2014222631 A JP2014222631 A JP 2014222631A JP 2015167349 A JP2015167349 A JP 2015167349A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- resolution image
- output
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Studio Circuits (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
情報処理装置、情報処理システム、その制御方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, a control method thereof, and a program.
近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及し、ＭＲ技術を用いて、室内に、現実物体とＣＧモデルが配置されることが行われている。 In recent years, mixed reality (hereinafter referred to as MR) technology has become widespread, and real objects and CG models have been placed indoors using MR technology.
特許文献１には、ヘッドマウントディスプレイ（以下、ＨＭＤ）に搭載されたカメラでマーカを撮像し、当該撮像したマーカの絶対座標と、画像から検出されたマーカ位置（クラスタ重心）とからＨＭＤの位置・姿勢を検出して、当該位置姿勢に応じた、仮想オブジェクトを重畳した複合現実画像を生成する技術が開示されている。 In Patent Document 1, a marker is imaged by a camera mounted on a head-mounted display (hereinafter referred to as HMD), and the position of the HMD is calculated from the absolute coordinates of the imaged marker and the marker position (cluster centroid) detected from the image. A technique for detecting a posture and generating a mixed reality image in which a virtual object is superimposed according to the position and posture is disclosed.
特許文献２では、ユーザが注視した場所を特定して、当該注視した場所の画像を高解像度に変更する技術が記載されている。 Japanese Patent Application Laid-Open No. 2004-228688 describes a technique for specifying a place where a user has watched and changing an image of the watched place to a high resolution.
しかしながら、複合現実の実現に際して、特許文献２の技術を用いて画像の解像度を調整する場合、ユーザの装着するＨＭＤにおいて、ユーザの注視点を特定するための機構を組み込んで、視点の計測を行わなければならない。 However, when adjusting the resolution of an image using the technique of Patent Document 2 when realizing mixed reality, a mechanism for specifying the user's point of gaze is incorporated in the HMD worn by the user to measure the viewpoint. There must be.
また、例えば、カメラが生成可能な画像の解像度が十分に高くない場合、当該カメラにおける最高の解像度の画像を生成してＨＭＤのディスプレイに表示したとしても、表示された物体を十分に視認できない場合がある。 In addition, for example, when the resolution of an image that can be generated by the camera is not sufficiently high, even if the highest resolution image of the camera is generated and displayed on the display of the HMD, the displayed object cannot be sufficiently visually recognized. There is.
本発明は、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism that can easily switch between images of different resolutions to be used by using position information of an HMD.
本発明の情報処理装置は、低解像度の画像を出力する第１の撮像装置と、高解像度の画像を出力する第２の撮像装置と、画像を表示する表示装置と通信可能な情報処理装置であって、画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、前記記憶手段に記憶された前記低解像度の画像、又は前記記憶手段に記憶された前記高解像度の画像を前記表示装置に表示させるべく出力する出力手段と、前記撮像位置取得手段で取得した撮像位置と現実物体との距離を特定する距離特定手段と、前記距離特定手段で特定した距離が、所定の値に達したか判定する判定手段と、を備え、前記出力手段は、前記判定手段で、前記距離特定手段で特定した距離が所定の値に達したと判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする。 An information processing apparatus according to the present invention is an information processing apparatus that can communicate with a first imaging device that outputs a low-resolution image, a second imaging device that outputs a high-resolution image, and a display device that displays the image. An imaging position acquisition unit that acquires information of an imaging position that is a position for imaging an image, an image storage unit that stores an image captured from the imaging position acquired by the imaging position acquisition unit, and the storage unit An output means for outputting the low-resolution image stored in the storage means or the high-resolution image stored in the storage means to be displayed on the display device; an imaging position acquired by the imaging position acquisition means; and a real object A distance specifying means for specifying the distance to the distance, and a determining means for determining whether the distance specified by the distance specifying means has reached a predetermined value, wherein the output means is the determination means, and the distance specifying means hand In the case where the distance specified is determined to have reached a predetermined value, characterized in that the high-resolution image output from the second imaging device outputs to be displayed on said display device.
本発明によれば、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the structure which can switch easily the image of the different resolution to be utilized can be provided using the positional information on HMD.
図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。図１は、本発明の実施形態における、情報処理システムの構成の一例を示す図である。 With reference to FIG. 1, an example of the configuration of an information processing system in the embodiment of the present invention will be described. FIG. 1 is a diagram illustrating an example of the configuration of an information processing system in an embodiment of the present invention.
本発明の情報処理システムは、ＰＣ１００、ＨＭＤ１０１（ヘッドマウントディスプレイ１０１）、マーカ１０２、仮想オブジェクト１０３、高解像度カメラ１０４、現実物体１０５等から構成される。ＰＣ１００とＨＭＤ１０１（表示装置）は、図１に示すＬＡＮ１５０や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等を介して相互にデータ通信可能に接続されている。
The information processing system of the present invention includes a PC 100, an HMD 101 (head mounted display 101), a marker 102, a
マーカ１０２には、ＭＲ空間（複合現実空間）上の位置情報が対応付けられており、ＨＭＤ１０１に搭載されるビデオカメラでマーカ１０２を撮像することで、当該撮像されたマーカ１０２の中心点とマーカ１０２の面積（画像中の大きさ）を用いて、ＨＭＤ１０１のＭＲ空間上の位置・姿勢（撮像方向）を特定することが可能である。
The marker 102 is associated with position information in the MR space (mixed reality space), and the marker 102 is imaged by a video camera mounted on the HMD 101, whereby the center point of the imaged marker 102 and the marker are detected. The position / posture (imaging direction) of the
本実施形態においては、マーカの位置＝マーカの中心点とする。また、本実施形態においては、当該位置・姿勢の特定処理はＰＣ１００のＣＰＵが実行するものとする。マーカ１０２の位置・面積・識別応報は、ＰＣ１００の外部メモリに予め記憶されているものとする。 In the present embodiment, the marker position = the center point of the marker. In the present embodiment, the position / posture specifying process is executed by the CPU of the PC 100. Assume that the position, area, and identification response of the marker 102 are stored in advance in the external memory of the PC 100.
また、図１にはマーカがマーカ１０２のみ記載されているが、例えば、複数のマーカをＨＭＤの周辺（ＭＲ空間を設定する現実空間上の壁・床等）に配置して、各マーカに位置情報を対応付けてＰＣ１００の外部メモリに記憶しておき、当該マーカのいずれかを撮像することで、ＨＭＤ１０１のＭＲ空間上の位置・姿勢を特定することが可能である。ＨＭＤ１０１の位置・姿勢の方法はどのようなものでも構わない。
In FIG. 1, only the marker 102 is described. For example, a plurality of markers are arranged around the HMD (such as walls and floors in the real space where the MR space is set) and positioned at each marker. It is possible to identify the position / posture of the
尚、本発明の実施形態において、マーカ１０２は、ＨＭＤ１０１がＭＲ空間上にある現実物体に接近したか否かの判定にも用いられるものとする。当該判定、及び判定結果に応じた処理については後述する。 In the embodiment of the present invention, the marker 102 is also used to determine whether or not the HMD 101 has approached a real object in the MR space. The determination and processing according to the determination result will be described later.
また、ＰＣ１００の外部メモリには、ＭＲ空間上に配置するＣＧ（仮想オブジェクト）の情報がＭＲ空間上の位置・姿勢の情報と対応付けて記憶されている。ＰＣ１００は、ＨＭＤ１０１のビデオカメラにより撮像された画像を取得して、当該ＨＭＤ１０１の位置・姿勢の情報を用いて、当該取得した画像に、ＣＧ（仮想オブジェクト）の画像を重畳して、ＭＲ画像（重畳画像／複合現実画像）を生成する（複合現実画像生成）。
Further, information of CG (virtual object) arranged in the MR space is stored in the external memory of the
ＰＣ１００は当該ＭＲ画像をＨＭＤ１０１に送信して、ＨＭＤ１０１はディスプレイに当該ＭＲ画像を表示する。 The PC 100 transmits the MR image to the HMD 101, and the HMD 101 displays the MR image on the display.
上述した、ＨＭＤ１０１の位置及び姿勢の特定・算出の具体的な方法、及び、ＭＲ画像の生成方法は既知の技術であり、例えば、参考文献（特開２０００−３５０８６０号公報）にも記載されているため、ここでは説明を割愛する。
The specific method for specifying and calculating the position and orientation of the
高解像度カメラ１０４は、ＨＭＤ１０１に設置された単眼カメラである。本発明の実施形態においては、当該高解像度カメラ１０４は、ＨＭＤ１０１に内蔵されたビデオカメラ（後述の２２１、２２２）と比較して、高解像度の画像を取得・出力可能であるものとする。以下、ＨＭＤ１０１に内蔵されたビデオカメラを、当該高解像度カメラ１０４と比較して、低解像度カメラと記載するものとする。
The
仮想オブジェクト１０３は、ＭＲ空間上に配置されたＣＧモデルである。当該仮想オブジェクト１０３は、ＰＣ１００の外部メモリに、ＭＲ空間上の位置の情報と対応付けて記憶されている。
The
例えば、ＭＲの技術を用いて、機械の内部機構（例えばエンジン）としての現実物体１０５と、当該内部機構を覆う外装板としての仮想オブジェクト１０３のようなＣＧを、ＨＭＤ１０１に表示し、実際に現実物体としての外装板が取り付けられた場合に、当該内部機構の整備を行う整備者が当該内部機構の整備を行うことができるかシュミレーションすることが考えられる。
For example, by using MR technology, a CG such as a real object 105 as an internal mechanism (for example, an engine) of a machine and a
しかしながら、上述したように、解像度の低い画像の出力しかできない低解像度カメラの出力画像では、仮想オブジェクト１０３の開閉部に整備者の腕が入るか否か程度のおおまかな状態については、ＨＭＤ１０１のディスプレイにＭＲ画像を表示させ、ＨＭＤ１０１を装着したユーザが開閉部の開いた箇所に腕を入れこむことで確認可能だが、ねじ穴のような細かい部分については、画像が荒いために確認が難しい。
However, as described above, in the output image of the low-resolution camera that can only output an image with a low resolution, the display of the HMD 101 is in a rough state as to whether or not the mechanic's arm enters the opening / closing part of the
例えば、ねじ穴そのものの状態を詳細に確認したい場合、ユーザは、都度ＨＭＤ１０１を頭部から取り外して、ねじ穴を確認する必要があり手間である。
For example, when it is desired to confirm the state of the screw hole itself in detail, it is troublesome for the user to remove the
これに対し、本発明の第１の実施形態においては、高解像度のカメラを準備し、ＨＭＤ１０１が現実物体に一定以上接近した場合（現実物体を詳細に確認しようと、ユーザが、現実物体に接近した場合）に、現実物体をユーザに確認させるべく、ＨＭＤ１０１のディスプレイに出力する画像を低解像度カメラからの出力画像から、高解像度カメラからの出力画像に切替える処理を行う。
In contrast, in the first embodiment of the present invention, when a high-resolution camera is prepared and the HMD 101 approaches a real object more than a certain amount (the user approaches the real object in order to confirm the real object in detail). In this case, in order to allow the user to confirm the real object, a process of switching the image output to the display of the
以上が図１の、本発明の実施形態における、情報処理システムの構成の一例についての説明である。 The above is the description of an example of the configuration of the information processing system in the embodiment of the present invention shown in FIG.
次に図２を参照して、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例について説明する。図２は、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例を示す図である。尚、図２のＰＣ１００とＨＭＤ１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。
Next, an example of the hardware configuration of the
まず、ＰＣ１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、システムバス２０４、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８、入力デバイス２０９、ディスプレイ２１０、外部メモリ２１１等を備える。
First, the
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
The
また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ５０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
The
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス２５０等のポインティングデバイスからの入力を制御する。 An input controller (input C) 205 controls input from a pointing device such as a keyboard or a mouse 250.
ビデオコントローラ（ＶＣ）２０６は、ディスプレイ２１０等の表示器への表示を制御する。表示器は液晶ディスプレイでもＣＲＴでも構わない。
A video controller (VC) 206 controls display on a display device such as the
メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。
The memory controller (MC) 207 is an adapter to a hard disk (HD), flexible disk (FD) or PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, editing files, various data, and the like. Controls access to an
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。 A communication I / F controller (communication I / FC) 208 is connected to and communicates with an external device via a network, and executes communication control processing in the network. For example, Internet communication using TCP / IP is possible.
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
本発明のＰＣ１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
Various programs used by the
次に、ＨＭＤ１０１は、右目ビデオカメラ２２１、左目ビデオカメラ２２２、右目ディスプレイ２２３、左目ディスプレイ２２４、コントローラ２２５等を備える。
Next, the
右目ビデオカメラ２２１と、左目ビデオカメラ２２２は、現実世界を撮影するビデオカメラである。右目ビデオカメラ２２１は、右目ディスプレイ２２３に表示するための画像を撮影し、左目ビデオカメラ２２２は、左目ディスプレイ２２４に表示するための画像を撮影する。撮影された画像（現実空間画像）は、コントローラ２２５がＰＣ１００に送信し、通信Ｉ／Ｆコントローラ２０８を通じてＰＣ１００が受信する。
The right
ＰＣ１００から通信Ｉ／Ｆコントローラ２０８を通じて複合現実画像が送信されると、コントローラ２２５が受信し、受信した複合現実画像を右目ディスプレイ２２３と左目ディスプレイ２２４に表示させる。この時、右目ビデオカメラ２２１で撮影された現実空間画像に基づいて生成された複合現実画像は、右目ディスプレイ２２３に表示し、左目ビデオカメラ２２２で撮影された現実空間画像に基づいて生成された複合現実画像は、左目ディスプレイ２２４に表示する。以上が図２の、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例についての説明である。
When the mixed reality image is transmitted from the
次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。図３は、本発明の実施形態における、各種装置の機能構成の一例を示す図である。 Next, with reference to FIG. 3, an example of a functional configuration of various apparatuses in the embodiment of the present invention will be described. FIG. 3 is a diagram illustrating an example of a functional configuration of various apparatuses according to the embodiment of the present invention.
ＰＣ１００は、オブジェクトの描画位置を特定するＰｌａｔｆｏｒｍアプリケーションと、当該特定した情報を用いてオブジェクトを描画し、ＭＲ画像を生成するＶｉｅｗｅｒアプリケーションを備える。
The
撮像画像受信部３０１は、ＨＭＤ１０１の撮像処理部で撮像された画像（現実画像／撮像画像）であって、撮像画像送信部３１２で送信された現実画像を受信する受信部である。位置姿勢特定部３０２は、例えば、ＨＭＤ１０１から受信した現実画像に写るマーカ（例えばマーカ１０２）の中心点の位置・面積からＨＭＤ１０１の位置・姿勢を特定する。
The captured
被写体距離算出部３０３は、例えば、ＨＭＤ１０１から受信した現実画像に写るマーカ（例えばマーカ１０２）の中心点の位置（中心位置）・面積から、ＨＭＤ１０１とマーカ１０２との距離（例えば、マーカ１０２の中心位置からＨＭＤ１０１の所定の位置までの距離）を算出して特定する。
For example, the subject
カメラ切替判定部３０４は、ＨＭＤ１０１が被写体（例えば、現実物体／撮像対象物）に所定以上接近したか否かを判定し、当該判定結果に応じて、ＨＭＤ１０１に出力する画像を、低解像度カメラからの画像（低解像度画像）から高解像度カメラからの画像（高解像度画像）に切替えるか否か、高解像度画像から低解像度画像に切替えるか否か、を判定する判定部である。
The camera
カメラ切替処理部３０５は、当該カメラ切替判定部３０４における判定結果に応じて、ＨＭＤ１０１に出力する画像の切替処理を行う。つまり、使用するカメラの切替処理を行う。
The camera
仮想オブジェクト記憶部３０６は、仮想オブジェクト（ＣＧモデル）を、ＭＲ空間上の位置と対応付けて記憶する記憶部である。当該ＭＲ空間上の位置は、別途ＰＣ１００の外部メモリに記憶されたＭＲ空間上の原点座標からの相対位置である。
The virtual
仮想オブジェクト表示制御部３０７は、仮想オブジェクトの表示・非表示を制御する制御部である。つまり、ＭＲ画像を生成するか否かを決定する。
The virtual object
例えば、ＨＭＤ１０１が所定以上現実物体に接近した場合、ＨＭＤ１０１を装着したユーザは、現実物体の詳細を確認したいものと考えられるため、仮想オブジェクトの表示（ＭＲ画像のＨＭＤ１０１への出力）は不要として、仮想オブジェクトを表示しない、高解像度の現実画像をＨＭＤ１０１に送信し、ＨＭＤ１０１が所定距離、現実物体と離れている場合、ＨＭＤ１０１を装着したユーザは、現実物体を含めた空間全体の状態を確認したいものと考えられるため、現実物体周辺の（ＨＭＤ１０１の視野角内の）仮想オブジェクトを表示したＭＲ画像を生成してＨＭＤ１０１に送信するものとする。
For example, when the
ＭＲ画像生成部３０８は、ＭＲ画像を生成する生成部である。画像送信部３０９は、ＨＭＤ１０１に、現実画像、又は、現実画像を用いて生成したＭＲ画像を送信する送信部である。
The MR
画像受信部３１３は、当該画像の受信部である。画像表示部３１４は、当該画像の表示部である。以上が図３の、本発明の実施形態における、各種装置の機能構成の一例についての説明である。
The
次に図７を参照して、本発明の実施形態における、各種データテーブルの構成の一例について説明する。図７は、本発明の実施形態における、各種データテーブルの構成の一例を示す図である。図７の各種データは、ＰＣ１００の外部メモリに記憶されている。
Next, an example of the configuration of various data tables in the embodiment of the present invention will be described with reference to FIG. FIG. 7 is a diagram showing an example of the configuration of various data tables in the embodiment of the present invention. 7 is stored in the external memory of the
ＨＭＤ位置姿勢情報７００は、ＨＭＤの位置７０１、姿勢７０２から構成されている。ＨＭＤ位置姿勢情報７００は、ＰＣ１００のＣＰＵ２０１が、例えば、ＨＭＤ１０１から取得する画像の中のマーカの中心位置（中心点）・面積などを用いて随時算出し、当該算出された値に随時更新されるものとする。
The HMD position / orientation information 700 includes an
被写体情報７１０は、被写体である現実物体の位置情報を示す。ここでは、現実物体に添付されたマーカの位置＝現実物体の位置とする。マーカＩＤ７１１は、マーカを一意に識別するための識別情報である。位置７１２は、当該マーカのＭＲ空間上の位置の情報である。当該被写体情報７１０は、ＰＣ１００の外部メモリに予め記憶されているものとする。
The subject information 710 indicates position information of a real object that is a subject. Here, it is assumed that the position of the marker attached to the real object = the position of the real object. The
尚、上述した図７の説明においては、被写体情報７１０は＝ＨＭＤ１０１のカメラで撮像された現実画像中のマーカ画像（ＨＭＤ１０１の位置姿勢、画像中のマーカの画像の大きさ・ベクトル等）から特定された、現実物体に添付されたマーカの位置＝現実物体のＭＲ空間上の位置とするものとしたが、現実物体の位置が確認できればよいため、例えば予めＰＣ１００の外部メモリに現実物体のＭＲ空間上の位置情報として被写体情報７１０に示す情報を記憶しておき、当該記憶している情報を被写体情報７１０の代わりに利用して、ＰＣ１００のＣＰＵ２０１が本発明の各フローチャートの処理を実行するようにしてもよい。
In the description of FIG. 7 described above, the subject information 710 is specified from the marker image (position and orientation of the
仮想オブジェクト情報７２０は、仮想オブジェクトの識別情報であるオブジェクトＩＤ７２１と、位置７２２を対応付けて記憶している。仮想オブジェクト情報７２０は、ＰＣ１００の外部メモリに予め記憶されているものとする。
The virtual object information 720 stores an
切替条件７３０は、ＰＣ１００のＣＰＵ２０１が、ＨＭＤ１０１に送信する画像を、低解像度画像から高解像度画像に、高解像度画像から低解像度画像に切替える閾値である条件を記憶している。切替条件７３０は、ＰＣ１００の外部メモリに予め記憶されているものとする。
The switching condition 730 stores a condition that is a threshold for switching an image transmitted from the
ここでは、ＨＭＤ１０１の位置である位置７０１と、被写体情報７１０の位置７１２が示す現実物体の位置との距離が、距離７３１以内になった場合に、ＨＭＤ１０１に送信する画像を、低解像度画像から高解像度画像に切替える（変更する）。また、位置７０１と位置７１２の距離が、距離７３１より大きくなった場合に、ＨＭＤ１０１に送信する画像を、高解像度画像から低解像度画像に切替える（変更する）。
Here, when the distance between the
また、角度７３２に角度を示す数値が挿入（記憶）されている場合、ＨＭＤ１０１の位置７０１及び姿勢７０２と、現実物体の位置である位置７１２を用いて、現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の向いているベクトル（姿勢ベクトル）に向けての所定範囲内（図１５における範囲１５０１）にあるかどうかを、角度７３２の値を用いてＰＣ１００のＣＰＵ２０１が判定し、位置７０１と位置７１２の距離が距離７３１以内であって、且つ、現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の向いているベクトルに向けての所定範囲内にある場合に、ＨＭＤ１０１に送信する画像を低解像度画像から高解像度画像に切替える（変更する）。
When a numerical value indicating an angle is inserted (stored) in the
図１５は、ＨＭＤ１０１の位置・姿勢（姿勢ベクトル）、現実物体の位置（例えばマーカ１０２の位置）、ＨＭＤ１０１の向いているベクトルに向けての所定範囲（範囲１５０１）の位置関係の一例を示している。
FIG. 15 shows an example of the positional relationship between the position / posture (posture vector) of the
ＰＣ１００のＣＰＵ２０１は、ＨＭＤの位置７０１と現実物体の位置７１２の距離が距離７３１より大きい場合、又は、位置７０１と位置７１２の距離が距離７３１以内であっても現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１５０１）にない場合には、ＨＭＤ１０１に送信する画像を高解像度画像から低解像度画像に切替える（変更する）ものとする。
When the distance between the
現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１５０１）にある場合とは、例えば、ＨＭＤ１０１の視野（ＨＭＤ１０１に設置されたカメラの画角内）に現実物体があるということである。反対に、現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１５０１）にない場合とは、例えば、ＨＭＤ１０１の視野（ＨＭＤ１０１に設置されたカメラの画角内）に現実物体がないということである。ＨＭＤ１０１に送信する画像を高解像度画像から低解像度画像に切替える（変更する）のは、ＨＭＤ１０１を装着したユーザが現実物体を視認して、例えば現実物体の詳細な外観を確認したい場合であるため、現実物体がユーザの視野内にない場合には通信負荷・ＭＲ画像生成の処理負荷が高解像度画像よりも低い低解像度画像をＨＭＤ１０１に送信し、現実物体がユーザの視野にある場合には低解像度画像に比べて当該現実物体の詳細な画像が確認できる高い解像度画像をＨＭＤ１０１に送信するようにしている。つまり、ユーザが現実物体の詳細を確認しようとしているか否かに応じて低解像度画像と高解像度画像を使い分けることで、不要な通信負荷または処理負荷を低減することができる。
The case where the real object (position indicated by the position 712) is within the predetermined range (range 1501) of the
当該現実物体１０５（マーカ１０２）がＨＭＤ１０１の所定範囲内（範囲１５０１）にあるか否かの判定方法については図５の説明で後述する。
A method for determining whether or not the real object 105 (marker 102) is within a predetermined range (range 1501) of the
以上が図７の、本発明の実施形態における、各種データテーブルの構成の一例についての説明である。尚、後述する図５の説明においては、当該角度７３２の値が記憶されているものとして説明する。
The above is an example of the configuration of various data tables in the embodiment of the present invention shown in FIG. In the description of FIG. 5 described later, it is assumed that the value of the
以下、図４〜図７を用いて、本発明の第１の実施形態について説明する。 Hereinafter, the first embodiment of the present invention will be described with reference to FIGS.
次に図４を参照して、本発明の実施形態における、本発明の実施形態における、画像切替処理の概要について説明する。図４は、本発明の実施形態における、画像切替処理の概要を示すフローチャートである。 Next, with reference to FIG. 4, an overview of image switching processing in the embodiment of the present invention will be described. FIG. 4 is a flowchart showing an overview of the image switching process in the embodiment of the present invention.
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１から画像データ（現実画像）を取得する（ステップＳ４０１）。
The
ここでは、ＨＭＤ１０１の低解像度カメラと高解像度カメラ１０４の画像の両方を取得しているものとする。つまり、低解像度カメラ（ＨＭＤ１０１）及び高解像度カメラ１０４は、撮像した画像を、継続してＰＣ１００に送信しているものとする。ＰＣ１００は低解像度カメラと高解像度カメラ１０４の画像の両方を取得して外部メモリに記憶し（画像記憶手段／記憶手段）、いずれか一方の画像をＨＭＤ１０１に送信する画像として決定して、当該決定した画像を読み出し、ＨＭＤ１０１に送信する処置を行うものである。
Here, it is assumed that both the low-resolution camera of the
ＰＣ１００のＣＰＵ２０１は、カメラ切替処理（使用する画像の切替えを行うか否かの決定・切替処理）を行う（ステップＳ４０２）。尚、ここでは、カメラ切替処理で、ＨＭＤ１０１と被写体（例えば現実物体）の距離が所定の距離以上接近した場合（所定の距離より短い場合／所定の距離以下の値の場合）、高解像度の画像を使用するものとし、ＨＭＤ１０１と被写体（例えば現実物体）の距離が所定の距離より離れている（所定の距離より長い場合／所定の距離以上の値の場合）、低解像度の画像を使用するものとする。カメラ切替処理の詳細については図５の説明で後述する。
The
次に図５を参照して、本発明の実施形態における、画像切替処理の詳細について説明する。図５は、本発明の実施形態における、画像切替処理の詳細を示すフローチャートである。 Next, the details of the image switching process in the embodiment of the present invention will be described with reference to FIG. FIG. 5 is a flowchart showing details of the image switching process in the embodiment of the present invention.
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置と姿勢の情報（図７のＨＭＤ位置姿勢情報７００）を取得（計測）する（ステップＳ５０１／撮像位置取得手段）。そして観察対象（被写体／ここでは現実物体１０５）の位置情報を取得する（ステップＳ５０２）。例えば、ここではマーカ１０２の位置＝図７の位置７１２の情報とし、現実物体１０５の位置である当該位置７１２を取得する。
The
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置から現実物体１０５の位置（マーカ１０２の位置）までの距離を算出し（ステップＳ５０３／距離特定手段）、カメラを切替える条件（使用する画像を切替える条件）である切替条件７３０を取得する（ステップＳ５０４）。
The
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離（切替条件７３０における距離７３１）以内か判定し（ステップＳ５０５／ＨＭＤ１０１の位置から現実物体１０５の位置までの距離の値が所定の値に達したか（達しているか）判定し）、所定の距離以内でない場合（ステップＳ５０５でＮＯ）、低解像度画像（低解像度カメラから取得した画像）をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ５１１）。
The
ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離以内の場合（ステップＳ５０５でＹＥＳ）、処理をステップＳ５０６に移行し、ＨＭＤ１０１から現実物体の位置７１２への向きベクトルを算出する（ステップＳ５０６）。
If the distance from the position of the
そして、ＨＭＤ１０１の姿勢ベクトルである姿勢７０２（図７）の値を取得して、姿勢７０２の示すベクトルと、ＨＭＤ１０１から現実物体の位置７１２への向きベクトルの成す角度を算出する（ステップＳ５０７）。
Then, the value of the posture 702 (FIG. 7), which is the posture vector of the
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の向いている方向における所定範囲内（範囲１５０１内）に、現実物体１０５（マーカ１０２）が含まれるか判定すべく、当該判定の基準となる角度の情報（図７の角度７３２）を取得する（ステップＳ５０８）。
The
そして、ステップＳ５０７で算出した角度が、角度７３２（ここでは３０°）以内か判定し（ステップＳ５０９／範囲判定手段／所定の範囲内か判定し））、３０°以内である場合（ステップＳ５０９でＹＥＳ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１５０１）内にあるものと判断し、処理をステップＳ５１０に移行する。
Then, it is determined whether the angle calculated in step S507 is within an angle 732 (here, 30 °) (step S509 / range determining means / determining whether the angle is within a predetermined range), and when it is within 30 ° (in step S509). YES), it is determined that the real object is within a predetermined range (range 1501) in the direction in which the
ステップＳ５０７で算出した角度が、３０°以内でない場合（ステップＳ５０９でＮＯ）、現実物体がＨＭＤ１０１の向いている方向の（範囲１５０１）内にない（つまり、ユーザは現実物体の詳細を確認しようとしていない＝現実物体の画像を精細に表示する必要がない）ものと判断し、処理をステップＳ５１１に移行する。
If the angle calculated in step S507 is not within 30 ° (NO in step S509), the real object is not within (range 1501) in the direction in which the
ステップＳ５１０では、ＰＣ１００のＣＰＵ２０１は、高解像度画像（高解像度カメラ１０４から取得した画像）をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ５１０）。
In step S510, the
以下、上述した距離・角度の値の具体的な計算方法について記載する。 Hereinafter, a specific calculation method of the above-described distance / angle values will be described.
ＨＭＤの位置をＨｐｘ，Ｈｐｙ，Ｈｐｚ、姿勢（向き／姿勢ベクトル／方向単位ベクトル）をＨｄｘ，Ｈｄｙ，Ｈｄｚとする。また、現実物体の位置（現実物体に付加されたマーカ（例えばマーカ１０２）の位置）をＴｐｘ，Ｔｐｙ，Ｔｐｚとする。 Assume that the position of the HMD is Hpx, Hpy, Hpz, and the posture (direction / posture vector / direction unit vector) is Hdx, Hdy, Hdz. Further, the position of the real object (the position of the marker (for example, the marker 102) added to the real object) is assumed to be Tpx, Tpy, Tpz.
ＨＭＤと現実物体の距離Ｄは
また、ＨＭＤが現実物体を真正面に見た場合の姿勢（方向単位ベクトル）Ｄｘ，Ｄｙ，Ｄｚは
ＨｄとＤの成す角度θが小さければＨＭＤが正面に近い向きであることが計算できる。例えば、ここで０≦θ≦１８０とすると
以上が図５の、本発明の実施形態における、画像切替処理の詳細についての説明である。
If the angle θ formed by Hd and D is small, it can be calculated that the HMD is close to the front. For example, if 0 ≦ θ ≦ 180,
The above is the description of the details of the image switching process in the embodiment of the present invention of FIG.
これにより、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。 Accordingly, it is possible to provide a mechanism capable of easily switching images of different resolutions to be used using the position information of the HMD.
図４の説明に戻る。ステップＳ４０２の切替え処理（図５）の結果、使用する画像が低解像度画像か高解像度画像かを判定する（ステップＳ４０３）。 Returning to the description of FIG. As a result of the switching process in step S402 (FIG. 5), it is determined whether the image to be used is a low resolution image or a high resolution image (step S403).
使用する画像＝高解像度画像の場合、当該高解像度画像をＨＭＤ１０１のディスプレイに表示させるべく、ＨＭＤ１０１に送信する（ステップＳ４０４）。
When the image to be used = high resolution image, the high resolution image is transmitted to the
使用する画像＝低解像度画像の場合、当該低解像度画像を用いて、仮想オブジェクトを重畳したＭＲ画像を生成し（ステップＳ４０５）、ＨＭＤ１０１のディスプレイに表示させるべく、ＨＭＤ１０１に送信する（ステップＳ４０６）。
When the image to be used = low-resolution image, an MR image on which the virtual object is superimposed is generated using the low-resolution image (step S405), and is transmitted to the
つまり、カメラ切替処理で、ＨＭＤ１０１と被写体（例えば現実物体）の距離が所定の距離以上接近した場合（所定の距離より短い場合／所定の距離以下の値の場合）、高解像度の画像をＨＭＤ１０１に送信し、ＨＭＤ１０１と被写体（例えば現実物体）の距離が所定の距離より離れている（所定の距離より長い場合／所定の距離以上の値の場合）、低解像度の画像を用いてＭＲ画像を生成し、当該ＭＲ画像をＨＭＤ１０１に送信するものである。
That is, in the camera switching process, when the distance between the
例えば、高解像度画像を送信する場合、図６の６１０のような、現実物体６１１を撮像した高解像度画像（高解像度カメラ１０４から取得した画像）をＨＭＤ１０１に送信する。また、低解像度画像を送信する場合、図６の６００のような、低解像度画像（ＨＭＤ１０１のカメラから取得した画像）に仮想オブジェクトを重畳したＭＲ画像（現実物体６０１に仮想オブジェクト６０２を重畳した画像）を、ＨＭＤ１０１に送信する。以上が図４の、本発明の実施形態における、本発明の実施形態における、画像切替処理の概要についての説明である。
For example, when a high-resolution image is transmitted, a high-resolution image (image acquired from the high-resolution camera 104) obtained by capturing the
当該ＭＲ画像を生成するか否かの切替え処理により、高解像度画像を用いてＭＲ画像を生成する処理負荷を軽減することができる。 By switching processing whether or not to generate the MR image, the processing load for generating the MR image using the high resolution image can be reduced.
高解像度画像の場合、低解像度画像に比べて画像の送受信自体の通信負荷が増加する。これに追加してＭＲ画像の生成処理（仮想オブジェクトの位置の特定、仮想オブジェクトの読み出し、描画の処理）を行うと更に通信の負荷が増加してしまう。 In the case of a high-resolution image, the communication load of image transmission / reception itself increases compared to a low-resolution image. In addition to this, if an MR image generation process (specification of the position of a virtual object, reading of a virtual object, drawing process) is performed, the communication load further increases.
上述したように、高解像度画像を送信する場合（ＨＭＤから所定距離内に現実物体がある場合）には、ＭＲ画像の生成処理を行わず、低解像度画像を送信する場合（ＨＭＤから所定距離内に現実物体がない場合）にはＭＲ画像の生成処理を行うことで、当該処理負荷を軽減することができる。 As described above, when transmitting a high resolution image (when there is a real object within a predetermined distance from the HMD), when generating a low resolution image without performing MR image generation processing (within a predetermined distance from the HMD). If there is no real object, the processing load can be reduced by performing MR image generation processing.
また、例えば、ＨＭＤ１０１が現実物体に対して至近距離まで接近した場合、カメラで撮像した画像の中に仮想オブジェクトが存在しないことが考えられる。
Further, for example, when the
また、ユーザが現実物体の詳細確認を所望する場合、周辺に仮想オブジェクトが配置されて（描画／重畳）されていると、当該確認の邪魔になってしまうことが考えられる。 In addition, when the user desires to confirm the details of the real object, if the virtual object is arranged (drawn / superposed) in the vicinity, it may be an obstacle to the confirmation.
上述したように、高解像度画像を送信する場合（ＨＭＤから所定距離内に現実物体がある場合）には、ＭＲ画像の生成処理を行わず、低解像度画像を送信する場合（ＨＭＤから所定距離内に現実物体がない場合）にはＭＲ画像の生成処理を行うことで、ユーザにとって不要な仮想オブジェクトの利用に関する処理（仮想オブジェクトの位置の特定、仮想オブジェクトの読み出し、描画の処理）を省略し、処理負荷を軽減することができる。 As described above, when transmitting a high resolution image (when there is a real object within a predetermined distance from the HMD), when generating a low resolution image without performing MR image generation processing (within a predetermined distance from the HMD). In the case where there is no real object), by performing MR image generation processing, processing relating to use of the virtual object unnecessary for the user (specification of the position of the virtual object, reading of the virtual object, drawing processing) is omitted, Processing load can be reduced.
また、高解像度画像に対して仮想オブジェクトを重畳しない処理を行う場合、単純にＨＭＤ１０１と現実物体とが所定距離内にある場合に仮想オブジェクトを描画しない現実画像をＨＭＤ１０１に送信するようにすると、例えば、ＨＭＤ１０１を装着したユーザの背後に現実物体がある場合であっても、ユーザが見ている全ての仮想オブジェクトが視界から消えてしまい不便である。本発明では、例えば図５のステップＳ５０９の判定を行うことで例えばユーザの視界内に現実物体がある場合に仮想オブジェクトを描画しない高解像度画像をＨＭＤ１０１に送信して表示させ、ユーザの視界内に現実物体がない場合には低解像度画像を用いたＭＲ画像をＨＭＤ１０１に送信して表示させることで、当該不便さをユーザに感じさせないように画像の切り替えを行っている。
また、ＨＭＤ１０１が近づいたとしても詳細を確認させる必要がない現実物体がＭＲ空間上に存在することが考えられる。
In addition, when performing a process that does not superimpose a virtual object on a high-resolution image, if the
Further, it is conceivable that there is a real object in the MR space that does not require confirmation of details even when the
例えば、図２０の被写体情報２０００の切替フラグ２００１のように、現実物体に対して（ここでは現実物体に貼付されたマーカのＩＤに対して）当該現実物体とＨＭＤ１０１が所定距離内にある場合に低解像度を高解像度画像に切り替えるか、低解像度画像をそのまま利用するかを切り替えるかを設定しておき、当該設定に従って、当該現実物体とＨＭＤ１０１が所定距離内にある場合にいずれの解像度の画像（いずれのカメラから取得した画像）を用いるか決定することで、高解像度画像で詳細を確認させる必要がある現実物体とＨＭＤ１０１が所定距離内にある場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像で詳細を確認させる必要がない現実物体とＨＭＤ１０１が所定距離内にある場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。
For example, when the real object and the
尚、図２０の各データテーブルは予めＰＣ１００の外部メモリに記憶されているものとする。図２０のマーカＩＤ７１１、位置７１２は図７のマーカＩＤ７１１、位置７１２と同じであるためここでは説明を割愛する。切替フラグ２００１＝ＯＮの現実物体は、高解像度画像をＨＭＤ１０１に表示させるべき現実物体であり、切替フラグ２００１＝ＯＦＦの現実物体は、高解像度画像をＨＭＤ１０１に表示させるべき現実物体でないものとする。
20 is stored in advance in the external memory of the
切替フラグ２００１を用いた具体的な処理について説明する。ＰＣ１００のＣＰＵ２０１は、ステップＳ５０５で、ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離（切替条件７３０における距離７３１）以内であると判定した場合に、当該現実物体を示すＩＤ（マーカＩＤ７１１）に対応する切替フラグ２００１を参照して、当該現実物体が、ＨＭＤ１０１と近づいたことで高解像度画像をＨＭＤ１０１に表示させるべき現実物体か判定する。
A specific process using the switching
高解像度画像をＨＭＤ１０１に表示させるべき現実物体である（切替フラグ２００１＝ＯＮである）と判定した場合には処理をステップＳ５０６に移行し、高解像度画像をＨＭＤ１０１に表示させるべき現実物体でない（切替フラグ２００１＝ＯＦＦである）と判定した場合には処理をステップＳ５１１に移行する。
If it is determined that the high-resolution image is a real object to be displayed on the HMD 101 (switching
当該切替フラグ２００１を用いることにより、高解像度画像で詳細を確認させる必要がある現実物体とＨＭＤ１０１が所定距離内にある場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像で詳細を確認させる必要がない現実物体とＨＭＤ１０１が所定距離内にある場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。
By using the switching
尚、上述した、ＭＲ画像を生成するか否かの切替え処理による、高解像度画像を用いたＭＲ画像生成の処理負荷軽減をしない場合は、例えば、高解像度画像か低解像度画像かに関わらず、ＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。
In the case where the processing load of MR image generation using a high-resolution image is not reduced by the above-described switching process of whether or not to generate an MR image, for example, regardless of whether the image is a high-resolution image or a low-resolution image. An MR image may be generated and transmitted to the
つまり、ステップＳ５１０で利用が決定された高解像度画像に対してＣＧ（仮想オブジェクト）を重畳してＭＲ画像を生成し、ＨＭＤ１０１に送信するようにしてもよい。この場合、ステップＳ５１０、Ｓ５１１で利用が決定された画像を用いて、必ずＭＲ画像を生成してＨＭＤ１０１に送信するため、ステップＳ４０３の判定を行わず、ステップＳ５１１の処理後に処理をステップＳ４０５に移行する。また、ステップＳ５１０の処理後に上述した高解像度画像を用いたＭＲ画像の生成後、当該ＭＲ画像をＨＭＤ１０１に送信する処理を行うものである。
That is, an MR image may be generated by superimposing a CG (virtual object) on the high-resolution image determined to be used in step S <b> 510 and transmitted to the
これにより、高解像度画像であっても、低解像度画像であっても、ユーザにＭＲ画像を提示することができる。 Thereby, even if it is a high resolution image or a low resolution image, an MR image can be presented to the user.
以上、本発明の第１の実施形態について説明した。 The first embodiment of the present invention has been described above.
次に、本発明の第２の実施形態について説明する。 Next, a second embodiment of the present invention will be described.
本発明の第２の実施形態においては、カメラの向いている方向に位置する開閉部の開閉に応じて、高解像度画像と低解像度画像を切替える処理を行う。 In the second embodiment of the present invention, processing for switching between a high-resolution image and a low-resolution image is performed in accordance with opening / closing of an opening / closing unit located in the direction in which the camera is facing.
例えば、仮想オブジェクトの開閉部が開いた場合（開閉部を開く操作を受け付けた場合／開いている状態の場合）、ユーザが、当該開閉部の先にある画像をより詳細に確認したいと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を高解像度画像に変更すべく、ＨＭＤ１０１に高解像度画像を送信する。
For example, when the opening / closing part of the virtual object is opened (when an operation to open the opening / closing part is accepted / in an open state), the user may want to check the image ahead of the opening / closing part in more detail. Therefore, in order to change the image displayed on the display of the
仮想オブジェクトの開閉部が閉じた場合（開閉部を閉じる操作を受け付けた場合／閉じられている状態の場合）、ユーザが、当該開閉部の先にある画像の確認を完了した、または、当該開閉部の先にある画像の詳細確認を所望していないと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を低解像度画像に変更すべく、ＨＭＤ１０１に低解像度画像を送信する。具体的な処理手順については図８を参照して説明する。
When the opening / closing part of the virtual object is closed (when an operation for closing the opening / closing part is accepted / in a closed state), the user has completed confirmation of the image ahead of the opening / closing part, or the opening / closing of the virtual object Since it is considered that it is not desired to confirm the details of the image ahead of the copy, the low resolution image is transmitted to the
ここで図８を参照して、本発明の第２の実施形態における、画像切替処理の詳細について説明する。図８は本発明の第２の実施形態における、画像切替処理の詳細を示すフローチャートである。 Details of the image switching process in the second embodiment of the present invention will now be described with reference to FIG. FIG. 8 is a flowchart showing details of the image switching process in the second embodiment of the present invention.
尚、図８の処理は上述した第１の実施形態における図５の処理の代わりに、図４のステップＳ４０２のタイミングで、ＰＣ１００のＣＰＵ２０１により実行される。図４の各処理の内容は、第１の実施形態で説明した内容と同一のため、説明は割愛する。
8 is executed by the
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置を取得し（位置取得手段）、ＨＭＤ１０１の向いている方向（ＨＭＤ１０１に設置されたカメラの向いている方向）に開閉部が存在するか判定する（ステップＳ８０１）。
The
当該開閉部が存在するか否かの判定は、例えば、ＨＭＤ１０１の位置及び姿勢のベクトルと、開閉部のＭＲ空間上の位置情報を用いて行われる。当該開閉部のＭＲ空間上の位置の情報は、図９のように、ＰＣ１００の外部メモリに予め記憶されている。当該開閉部が画像中にあるかどうかは、例えば、上述した第１の実施形態における、現実物体の位置（Ｔｐｘ，Ｔｐｙ，Ｔｐｚ）を開閉部位置９０２に置き換える（開閉部位置＝Ｔｐｘ，Ｔｐｙ，Ｔｐｚとする）ことで特定・判定するものとする。
The determination as to whether or not the opening / closing unit exists is performed using, for example, a position and orientation vector of the
ここで図９を参照して、本発明の第２の実施形態における、データテーブルの構成の一例について説明する。図９は、本発明の第２の実施形態における、データテーブルの構成の一例を示す図である。 Here, with reference to FIG. 9, an example of the configuration of the data table in the second embodiment of the present invention will be described. FIG. 9 is a diagram showing an example of the configuration of the data table in the second embodiment of the present invention.
図９のデータテーブル９００は、ＰＣ１００の外部メモリに予め記憶されている、開閉部の位置及び開閉状態（開閉状況）を示すテーブルである。
The data table 900 of FIG. 9 is a table that indicates the position of the opening / closing unit and the opening / closing state (opening / closing state) stored in advance in the external memory of the
オブジェクトＩＤ９０１は、開閉部を備える仮想オブジェクト（ＣＧモデル）の識別情報である。開閉部位置９０２は、開閉部のＭＲ空間上の座標位置を示す。例えば、オブジェクトＩＤ９０１の中で開閉機構を備える部位（開閉機構を構成するＣＧモデルの集合）の中心位置であるものとする。例えば図１４でいう、１４０１の位置である。図１４は、本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。
The
開閉状態９０３は、開閉部の開閉状態を示す。ｏｐｅｎの場合、開閉部が開いている状態、ｃｌｏｓｅの場合、開閉部が閉じている状態を示す。当該開閉状態９０３のステータスは、例えば、ユーザからの当該開閉部の開閉操作を受け付けた場合に、ＰＣ１００のＣＰＵ２０１により更新される。
The open /
例えば、オブジェクトＩＤ９０１の示す仮想オブジェクトに対しユーザの手が触れた場合に、随時、当該オブジェクトＩＤに対応する開閉部の開閉状態を切替えるものとする。（開閉部が開いている状態で、仮想オブジェクトにユーザの手が触れた場合は、開閉状態９０３をｏｐｅｎに、開閉部が閉じている状態で、仮想オブジェクトにユーザの手が触れた場合は、開閉状態９０３をｃｌｏｓｅにする）
For example, when the user's hand touches the virtual object indicated by the
尚、ユーザの手が仮想オブジェクトに触れたかどうかの判定技術は既知である。例えば、手の位置を検出するためのマーカを添付した手袋をユーザに装着させて撮像することで、当該マーカの位置・大きさ・角度から手の位置、角度を検出し、当該手の位置が仮想オブジェクトの位置から所定の距離範囲内にあるかどうかを判断し、所定の距離範囲内にある場合に手が仮想オブジェクトに触れていると判断するものである。既知の技術であるため、ここでは説明を割愛する。 A technique for determining whether or not the user's hand has touched the virtual object is known. For example, by attaching a glove attached with a marker for detecting the position of the hand to the user and capturing an image, the position and angle of the hand are detected from the position, size, and angle of the marker. It is determined whether or not the position of the virtual object is within a predetermined distance range, and if it is within the predetermined distance range, it is determined that the hand is touching the virtual object. Since it is a known technique, the description is omitted here.
尚、本発明の実施形態においては、ＰＣ１００にＣＰＵ２０１が、ＨＭＤ１０１又は高解像度カメラ１０４から取得する現実画像とＨＭＤ１０１の位置情報を用いて、当該判断を行うものとする。以上が図９の、本発明の第２の実施形態における、データテーブルの構成の一例についての説明である。
In the embodiment of the present invention, the
図８の説明に戻る。ＰＣ１００のＣＰＵ２０１は、ステップＳ８０１で、ＨＭＤ１０１の向いている方向に開閉部が存在しない（検出されなかった）と判定した場合（ステップＳ８０１でＮＯ）、低解像度画像をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ８０４／解像度決定）。
Returning to the description of FIG. If the
ＨＭＤ１０１の向いている方向に開閉部が存在すると判定した場合（ステップＳ８０１でＹＥＳ）、当該開閉部の開閉状態９０３を参照し、当該開閉部が開いているか否かを判定する（ステップＳ８０２／開閉判定手段）。開閉部が閉じられている場合（ステップＳ８０２でＮＯ）、処理をステップＳ８０４に移行する。
When it is determined that there is an opening / closing part in the direction in which the
開閉部が開かれている場合（ステップＳ８０２でＹＥＳ）、ＰＣ１００のＣＰＵ２０１は、高解像度画像をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ８０３／解像度決定）。そして、処理を図４のステップＳ４０３に移行する。ステップＳ４０３以降の処理は第１の実施形態と同様であるため説明は割愛する。
When the opening / closing part is opened (YES in step S802), the
これにより、開閉部の開閉状態に応じて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。 Accordingly, it is possible to provide a mechanism capable of easily switching images of different resolutions to be used according to the open / close state of the open / close unit.
尚、上述した実施形態においては、ステップＳ４０３の判定処理により、ＭＲ画像を生成するか否かを決定し、ＨＭＤ１０１に、低解像度画像にＣＧを描画したＭＲ画像、又はＣＧを描画しない現実画像としての高解像度画像を送信しているが、当該処理は、画像の送信方法の１手法である。よって、高解像度画像か低解像度画像かに関わらず、ＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。
In the above-described embodiment, whether or not to generate an MR image is determined by the determination process in step S403, and an MR image in which CG is drawn on a low-resolution image or a real image in which CG is not drawn on the
尚、開いていたとしても高解像度画像を表示させる必要がない開閉部がＭＲ空間上に存在することが考えられる。例えば、開閉部の先に現実物体が配置されていない場合や、配置されている現実物体がユーザにとって外観を詳細に確認したい現実物体ではない場合である。 Note that it is conceivable that there is an open / close section in the MR space that does not need to display a high-resolution image even if it is open. For example, there is a case where a real object is not arranged at the end of the opening / closing unit, or a case where the arranged real object is not a real object for which the user wants to confirm the appearance in detail.
例えば、図２０のデータテーブル２０１０の切替フラグ２０１１のように、開閉部に対して（データテーブル２０１０内の各開閉部のデータに対して）当該開閉部を検出した場合に低解像度を高解像度画像に切り替えるか、低解像度画像をそのまま利用するかを切り替えるかを設定しておき、当該設定に従っていずれの解像度の画像（いずれのカメラから取得した画像）を用いるか決定することで、高解像度画像を表示させる必要がある開閉部が開いている場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像を表示させる必要がない開閉部については例え開いていたとしても低解像度画像をＨＭＤ１０１に送信して表示させる処理をすることができる。
For example, as in the switching
尚、図２０の各データテーブルは予めＰＣ１００の外部メモリに記憶されているものとする。図２０のオブジェクトＩＤ９０１、開閉部位置９０２、開閉状態９０３は図９のオブジェクトＩＤ９０１、開閉部位置９０２、開閉状態９０３と同じであるためここでは説明を割愛する。
20 is stored in advance in the external memory of the
切替フラグ２０１１＝ＯＮの開閉部は、高解像度画像を表示させる必要がある開閉部であり、切替フラグ２０１１＝ＯＦＦの開閉部は、高解像度画像を表示させる必要がない開閉部であるものとする。
The opening / closing unit with the switching
切替フラグ２０１１を用いた具体的な処理について説明する。ＰＣ１００のＣＰＵ２０１は、ステップＳ８０１で開閉部を検出したと判定した場合（ステップＳ８０１でＹＥＳ）、当該検出した開閉部に対応する切替フラグ２０１１を参照して、当該開閉部が、開いている場合に高解像度画像を表示させる必要がある開閉部か判定する。
A specific process using the switching
高解像度画像を表示させる必要がある開閉部である（切替フラグ２００１＝ＯＮである）と判定した場合には処理をステップＳ８０２に移行し、例え開いていたとしても高解像度画像を表示させる必要がない開閉部である（切替フラグ２００１＝ＯＦＦである）と判定した場合には処理をステップＳ５８０４に移行する。
If it is determined that the opening / closing unit needs to display a high-resolution image (switching
当該切替フラグ２０１１を用いることにより、開いている場合に高解像度画像を表示させる必要がある開閉部を検出した場合には高解像度画像をＨＭＤ１０１に送信して表示させ、え開いていたとしても高解像度画像を表示させる必要がない開閉部を検出した場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。
By using the switching
以上が本発明の第２の実施形態の説明である。 The above is the description of the second embodiment of the present invention.
次に、本発明の第３の実施形態について説明する。 Next, a third embodiment of the present invention will be described.
本発明の第３の実施形態においては、カメラの向いている所定範囲（範囲１５０１）内に位置する開閉部の開閉と、当該開閉部の先の情報に応じて、高解像度画像と低解像度画像を切替える処理を行う。 In the third embodiment of the present invention, the high-resolution image and the low-resolution image are opened and closed according to the opening / closing of the opening / closing unit located within the predetermined range (range 1501) facing the camera and the information on the tip of the opening / closing unit. The process of switching is performed.
例えば、仮想オブジェクトの開閉部が開いた場合（開閉部を開く操作を受け付けた場合／開いている状態の場合）で、当該開閉部の先に現実物体が存在する場合に、ユーザが、当該開閉部の先にある現実物体の画像をより詳細に確認したいと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を高解像度画像に変更すべく、ＨＭＤ１０１に高解像度画像を送信する。
For example, when the opening / closing part of the virtual object is opened (when an operation to open the opening / closing part is accepted / in an open state), and there is a real object ahead of the opening / closing part, the user Since it is considered that the image of the real object ahead of the part is to be confirmed in more detail, the high resolution image is transmitted to the
仮想オブジェクトの開閉部が閉じた場合（開閉部を閉じる操作を受け付けた場合／閉じられている状態の場合）、又は、開閉部は開いているが当該開閉部の先に現実物体が存在しない場合に、ユーザが、当該開閉部の先にある現実物体の画像確認を完了した、または、当該開閉部の先にある現実物体の画像の詳細確認を所望していないと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を低解像度画像に変更すべく、ＨＭＤ１０１に低解像度画像を送信する。具体的な処理手順については図１０を参照して説明する。
When the opening / closing part of the virtual object is closed (when an operation for closing the opening / closing part is accepted / in a closed state), or when the opening / closing part is open but there is no real object beyond the opening / closing part In addition, since it is considered that the user has completed the image confirmation of the real object ahead of the opening / closing part or does not desire the detailed confirmation of the image of the real object ahead of the opening / closing part, the display of the
ここで図１０を参照して、本発明の第３の実施形態における、画像切替処理の詳細について説明する。図１０は、本発明の第３の実施形態における、画像切替処理の詳細を示すフローチャートである。 Details of the image switching process in the third embodiment of the present invention will now be described with reference to FIG. FIG. 10 is a flowchart showing details of the image switching process in the third embodiment of the present invention.
尚、図１０の処理は上述した第１の実施形態における図５の処理の代わりに、図４のステップＳ４０２のタイミングで、ＰＣ１００のＣＰＵ２０１により実行される。
Note that the processing in FIG. 10 is executed by the
図４の各処理の内容は、第１の実施形態で説明した内容と同一のため、説明は割愛する。また、図１０のステップＳ１００１及び１００２の処理は、第２の実施形態における図８のステップＳ８０１、Ｓ８０２の処理と同じであるため、説明は割愛する。 The content of each process in FIG. 4 is the same as the content described in the first embodiment, and thus description thereof is omitted. Further, since the processing in steps S1001 and 1002 in FIG. 10 is the same as the processing in steps S801 and S802 in FIG. 8 in the second embodiment, the description thereof is omitted.
ＰＣ１００のＣＰＵ２０１は、ステップＳ１００２で、ＨＭＤ１０１の向いている方向にある開閉部が開かれていると判定した場合、当該開閉部より先の所定の距離範囲内に、現実物体が存在するか否かを判定する（ステップＳ１００３／存在判定手段）。
If the
当該開閉部より先の所定の距離範囲内に現実物体が存在するか否かの判定は、例えば、ＨＭＤ１０１の位置及び開閉部のＭＲ空間上の位置、図１１の物体間距離１１００の距離（所定の距離範囲）の情報を用いて行われる。
Whether or not a real object exists within a predetermined distance range ahead of the opening / closing unit is determined by, for example, the position of the
図１１の物体間距離は、ＰＣ１００の外部メモリに予め記憶されている、ＨＭＤ１０１から見て、開閉部より先（奥／向こう側）の所定の距離範囲内に、現実物体が存在するか否かの判定に用いられる、当該所定の距離範囲の情報である。
The distance between the objects in FIG. 11 is whether or not a real object exists within a predetermined distance range that is stored in advance in the external memory of the
つまり、図１６でいう、範囲１５０１内のライン１６０１からライン１６０２までの間の範囲内に、現実物体が存在するか判定する。図１６は、ＨＭＤ１０１の位置・姿勢（姿勢ベクトル）、現実物体の位置（例えばマーカ１０２の位置）、ＨＭＤ１０１の向いているベクトルに向けての所定範囲（範囲１５０１）、ＨＭＤ１０１から見て開閉部より先の所定距離範囲（物体間距離１１００によって示されるライン１６０１からライン１６０２の間の、範囲１５０１に含まれる範囲）の関係の一例を示している。
That is, it is determined whether a real object exists in the range between the line 1601 and the line 1602 in the range 1501 in FIG. FIG. 16 shows the position / posture (posture vector) of the
図１０の説明に戻る。 Returning to the description of FIG.
ＰＣ１００のＣＰＵ２０１は、開閉部より先の所定の距離範囲内に現実物体（例えばマーカ１０２）が存在しないと判定した場合（ステップＳ１００３でＮＯ）、処理をステップＳ１００５に移行し、低解像度画像（低解像度カメラから取得した画像）をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ１００５／解像度決定）。
When the
開閉部より先の所定の距離範囲内に現実物体（例えばマーカ１０２）が存在すると判定した場合（ステップＳ１００３でＹＥＳ）、ＰＣ１００のＣＰＵ２０１は、高解像度画像（高解像度カメラ１０４から取得した画像）をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ１００４／解像度決定）。
When it is determined that a real object (for example, the marker 102) exists within a predetermined distance range beyond the opening / closing unit (YES in step S1003), the
その後、処理を図４のステップＳ４０３に移行する。ステップＳ４０３以降の処理は上述したため、ここでは説明を割愛する。以上が図１０の、本発明の第３の実施形態における、画像切替処理の詳細についての説明である。 Thereafter, the process proceeds to step S403 in FIG. Since the processing after step S403 has been described above, description thereof is omitted here. The above is the description of the details of the image switching processing in the third embodiment of the present invention shown in FIG.
次に、本発明の第４の実施形態について説明する。 Next, a fourth embodiment of the present invention will be described.
本発明の第４の実施形態においては、ＨＭＤと現実物体が所定距離と開閉部の開閉状態に応じて、高解像度画像と低解像度画像を切替える処理を行う。つまり、上述した第１の実施形態と、第２の実施形態又は第３の実施形態の処理を組み合わせた実施形態である。 In the fourth embodiment of the present invention, processing for switching between a high resolution image and a low resolution image is performed in accordance with a predetermined distance between the HMD and the real object and the open / close state of the open / close unit. In other words, this embodiment is a combination of the first embodiment described above and the processing of the second embodiment or the third embodiment.
例えば、ＨＭＤ１０１を装着したユーザが現実物体を確認しようと開閉部を開けて、現実物体の近くに移動した場合に、現実物体の詳細を確認させるため、高解像度画像に切り替える。
For example, when the user wearing the
以下、図１９を参照して、本発明の第４の実施形態における、画像切替処理の詳細について説明する。図１９においては、一例として第１の実施形態（図５）の処理と、第３の実施形態（図１０）の処理とを組み合わせた処理の流れを説明する。 Hereinafter, the details of the image switching process in the fourth embodiment of the present invention will be described with reference to FIG. In FIG. 19, as an example, a flow of processing in which the processing of the first embodiment (FIG. 5) and the processing of the third embodiment (FIG. 10) are combined will be described.
図１９の処理は、図４のステップＳ４０２において、第１の実施形態における図５の処理の代わりにＰＣ１００のＣＰＵ２０１によって実行される。
The process of FIG. 19 is executed by the
図１９におけるステップＳ５０１〜Ｓ５０９の処理は図５のステップＳ５０１〜Ｓ５０９の処理と同じであるため説明は省略する。 The processing in steps S501 to S509 in FIG. 19 is the same as the processing in steps S501 to S509 in FIG.
ＰＣ１００のＣＰＵ２０１は、ステップＳ５０９において、ステップＳ５０７で算出した角度が角度７３２（ここでは３０°）以内か判定し（ステップＳ５０９／範囲判定手段／所定の範囲内か判定し））、３０°以内である場合（ステップＳ５０９でＹＥＳ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１５０１）内にあるものと判断して処理をステップＳ１００１に移行する。３０°以内でない場合（ステップＳ５０９でＮＯ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１５０１）内にないものと判断して処理をステップＳ１００５に移行する。
In step S509, the
ステップＳ１００１〜Ｓ１００５の処理は図１０のステップＳ１００１〜Ｓ１００５の処理と同じであるため説明は省略する。以上が図１９の説明である。 The processing in steps S1001 to S1005 is the same as the processing in steps S1001 to S1005 in FIG. The above is the description of FIG.
尚、第１の実施形態と第２の実施形態を組み合わせた処理を行う場合は、図１９のステップＳ１００３をスキップして、ステップＳ１００２でＨＭＤ１０１の向いている方向にある開閉部が開かれていると判定した場合に（ステップＳ１００２でＹＥＳ）処理をステップＳ１００４に移行するものとする。
In the case of performing processing that combines the first embodiment and the second embodiment, step S1003 in FIG. 19 is skipped, and the opening / closing unit in the direction in which the
本発明の第４の実施形態によれば、ＨＭＤと現実物体が所定距離と開閉部の開閉状態に応じて、高解像度画像と低解像度画像を切替える処理をすることができる。 According to the fourth embodiment of the present invention, it is possible to perform a process of switching between a high-resolution image and a low-resolution image according to a predetermined distance between the HMD and the real object and the open / close state of the open / close unit.
また、図１９のステップＳ１００３の処理を実行することで、ＨＭＤと現実物体が所定距離と、開閉部の開閉状態と、開閉部と現実物体の位置関係に応じて、高解像度画像と低解像度画像を切替える処理をすることができる。 Further, by executing the processing of step S1003 in FIG. 19, the high-resolution image and the low-resolution image according to the predetermined distance between the HMD and the real object, the open / close state of the open / close unit, and the positional relationship between the open / close unit and the real object. Can be switched.
尚、第４の実施形態においても、例えば第１の実施形態及び第２の実施形態で上述したタイミングで、図２０の切替フラグ２００１、切替フラグ２０１１を用いた高解像度画像と低解像度画像の切り替え処理を行うことが可能である。
In the fourth embodiment, for example, switching between a high resolution image and a low resolution image using the switching
切替フラグ２００１に基づく切り替え処理を優先するか切替フラグ２０１１に基づく切り替え処理を優先するかは、ＰＣ１００の表示画面に表示される不図示の設定画面において自由に設定・変更可能であるものとする。
以上が本発明の第４の実施形態の説明である。
Whether priority is given to switching processing based on the switching
The above is the description of the fourth embodiment of the present invention.
尚、上述した実施形態においては、ステップＳ４０３の判定処理により、ＭＲ画像を生成するか否かを決定し、ＨＭＤ１０１に、低解像度画像にＣＧを描画したＭＲ画像、又はＣＧを描画しない現実画像としての高解像度画像を送信しているが、当該処理は、画像の送信方法の１手法である。よって、高解像度画像か低解像度画像かに関わらず、ＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。
In the above-described embodiment, whether or not to generate an MR image is determined by the determination process in step S403, and an MR image in which CG is drawn on a low-resolution image or a real image in which CG is not drawn on the
これにより、カメラの向いている方向の所定範囲（範囲１５０１）内に位置する開閉部の開閉と、当該開閉部の先の情報に応じて、高解像度画像と低解像度画像を切替える処理を行う。 As a result, the opening and closing of the opening / closing unit located within a predetermined range (range 1501) in the direction in which the camera is facing and the process of switching between the high-resolution image and the low-resolution image are performed according to the previous information of the opening / closing unit.
尚、上述した実施形態を組み合わせて、利用する異なる解像度の画像を切替えるようにしてもよい。 In addition, you may make it switch the image of the different resolution to be utilized combining the embodiment mentioned above.
例えば、ＨＭＤ１０１から現実物体までの所定の距離が所定距離以内であって（第１の実施形態）、且つ、検出された開閉部が開かれている場合に（第２の実施形態）、利用する画像を高解像度画像に切替えるようにしてもよい。この場合、例えば、図５のステップＳ５０９でＹＥＳの場合に、処理を図８のステップＳ８０１に移行し、ステップＳ５０９でＮＯの場合には、処理をステップＳ８０４に移行するようにする。図８の処理終了後、処理を図４のステップＳ４０３に移行する。当該処理はＰＣ１００のＣＰＵ２０１が実行する。
For example, it is used when the predetermined distance from the
また、各実施形態においては、範囲１５０１から現実物体又は開閉部が外れた場合に（ＨＭＤ１０１が範囲１５０１に現実物体又は開閉部を含めない方向に回転・移動した場合に）、低解像度画像を使用することを決定し、ＭＲ画像を生成してＨＭＤ１０１に送信するものとしたが、例えば、当該ＨＭＤ１０１の位置・方向に関わらず、高解像度画像の画像への切替え（ステップＳ５１０、Ｓ８０３、Ｓ１００４）が行われてから、所定の時間が経過した場合に、当該利用する画像を低解像度画像に切替えるようにしてもよい。
In each embodiment, when the real object or the opening / closing part is out of the range 1501 (when the
こうすることで、高解像度画像をＨＭＤ１０１に送信し続けることによるＰＣ１００の処理負荷や、通信負荷、又は／及び、高解像度画像をディスプレイに表示し続けることによるＨＭＤ１０１の処理負荷を軽減することができる。各実施形態の組み合わせは、上述した組み合わせに限るものではない。
By doing so, it is possible to reduce the processing load of the
また、本発明の実施形態においては、現実物体を囲う外装が仮想オブジェクト（仮想オブジェクト１０３）であるものとしたが、例えば、当該現実物体を囲う外装自体が現実物体である場合でも、各実施形態における処理と同様の処理を適用するようにしてもよい。 In the embodiment of the present invention, the exterior surrounding the real object is a virtual object (virtual object 103). However, for example, even if the exterior surrounding the real object is a real object, each embodiment You may make it apply the process similar to the process in.
外装が現実物体である場合、図１２、図１３に示すように、現実物体である外装板に二次元マーカを貼付し、前述のマーカ１０２の位置の特定方法と同様の方法で、当該二次元マーカの位置（例えば、当該二次元マーカの位置＝外装板の位置とする）を特定することができる。 When the exterior is a real object, as shown in FIGS. 12 and 13, a two-dimensional marker is affixed to the exterior plate that is the real object, and the two-dimensional The position of the marker (for example, the position of the two-dimensional marker = the position of the exterior plate) can be specified.
また、図１２に示すように、開閉部の表面と開閉部近くの外装に二次元マーカを貼付して、当該２つのマーカを対応付けてＰＣ１００の外部メモリに記憶しておき、カメラから取得した画像において、当該２つのマーカのうち１しか検出されない場合には、開閉部が開いていると判定し、当該２つのマーカが２つとも検出される場合には、開閉部が閉じていると判定するものである。
In addition, as shown in FIG. 12, a two-dimensional marker is attached to the surface of the opening / closing part and the exterior near the opening / closing part, the two markers are associated with each other, stored in the external memory of the
また、図１３に示すように、開閉部の表面と裏面に二次元マーカを貼付して、カメラから取得した画像において、裏面の二次元マーカが検出されている場合には、開閉部が開いていると判定し、表面の二次元マーカが検出されている場合には、開閉部が閉じていると判定するようにしてもよい。開閉部の開閉の判定方法はこれらに限るものではない。 In addition, as shown in FIG. 13, when the two-dimensional marker is pasted on the front and back surfaces of the opening and closing unit and the two-dimensional marker on the back surface is detected in the image acquired from the camera, the opening and closing unit is opened. When the two-dimensional marker on the surface is detected, it may be determined that the opening / closing part is closed. The determination method of opening / closing of the opening / closing part is not limited to these.
また、上述した各実施形態においては、低解像度画像を利用する場合（ＨＭＤから所定距離内に現実物体がない場合／開閉部が閉じている場合／開閉部が開いていない、又は開いているが開閉部より先に現実物体が存在しない場合）に、ＭＲ画像を生成する（仮想オブジェクトを描画／重畳する）処理を行い、高解像度画像を利用する場合（ＨＭＤから所定距離内に現実物体がある場合／開閉部が開いている場合／開閉部が開いており、開閉部より先に現実物体が存在する場合）に、ＭＲ画像を生成しない（仮想オブジェクトを描画／重畳しない）処理を行ったが、例えば、高解像度画像を利用する場合であっても、仮想オブジェクトを透明化（例えば半透明化／図１７に図示）してＭＲ画像を生成し、ＨＭＤ１０１に送信するようにしてもよい。この場合、仮想オブジェクトの透過率はＰＣ１００の外部メモリに予め記憶されており、ステップＳ４０３で高解像度画像を利用すると判定された場合に、当該透過率の情報に従って描画対象の仮想オブジェクトを透過して、高解像度画像に重畳し、ＭＲ画像の生成を行う。そして、ＨＭＤ１０１に当該ＭＲ画像を生成する。
In each of the above-described embodiments, when a low-resolution image is used (when there is no real object within a predetermined distance from the HMD / when the opening / closing part is closed / opening / closing part is not open or open). When an MR image is generated (a virtual object is drawn / superimposed) when a real object does not exist before the opening / closing unit, and a high-resolution image is used (a real object is within a predetermined distance from the HMD) In the case / when the opening / closing part is open / when the opening / closing part is open and there is a real object before the opening / closing part), the MR image is not generated (the virtual object is not drawn / superposed). For example, even when a high-resolution image is used, an MR image is generated by making a virtual object transparent (for example, semi-transparent / shown in FIG. 17) and transmitted to the
こうすることで、現実物体の確認を阻害することなく、ＭＲ画像を提供することができる。 By doing so, an MR image can be provided without hindering confirmation of a real object.
また、第２の実施形態・第３の実施形態において、開閉部がオブジェクトである場合に、高解像度画像を利用するにあたり当該開閉部（仮想オブジェクト）を描画せずにＨＭＤ１０１に画像を送信してしまうと、ユーザは開閉部（仮想オブジェクト）が見えなくなってしまうため、当該仮想オブジェクトに触れることで開閉部を閉じることができなくなってしまう。
In the second and third embodiments, when the opening / closing unit is an object, when using a high-resolution image, the image is transmitted to the
上述したように、高解像度画像であっても仮想オブジェクトを半透明化したＭＲ画像を生成してＨＭＤに送信することで、ユーザに仮想オブジェクトを視認させ、仮想オブジェクトに対する操作を可能にすることができる。 As described above, even if a high-resolution image is generated, an MR image in which a virtual object is made translucent is generated and transmitted to the HMD, thereby allowing the user to visually recognize the virtual object and enabling operations on the virtual object. it can.
また、ステップＳ４０４の前に、図１８に示すように、現実物体から所定距離１８１１以内にある仮想オブジェクトを透過したＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。具体的には、画像の最前面のレイヤに、当該所定距離１８１１を半径とする、仮想オブジェクト（ＣＧ）を描画しない領域を規定する球状のマスクオブジェクトを、マーカ１０２（現実物体）の位置を中心として配置して、ＭＲ画像を生成する。
Further, before step S404, as shown in FIG. 18, an MR image that transmits a virtual object within a
当該所定距離１８１１の情報は、予めＰＣ１００の外部メモリに記憶されており、当該マスクオブジェクトの生成及び配置、ＭＲ画像の生成処理は、当該所定距離１８１１の情報を用いて、ＰＣ１００のＣＰＵ２０１が行うものとする。
The information on the
これにより、ユーザが詳細に確認したい現実物体の周辺に位置するＣＧのみを表示しないようにすることができ、当該現実物体の確認を容易にすることができる。 Thereby, it is possible not to display only the CG located in the vicinity of the real object that the user wants to confirm in detail, and it is possible to easily confirm the real object.
また、上述した実施形態においては、現実物体までの距離が短い場合（所定の値以内である場合）に、現実物体を精細に表示するため、高解像度画像をＨＭＤに送信するものとしたが、例えば、反対に、現実物体がＨＭＤの近くにある場合には画像の解像度が低くとも現実物体を確認可能だが、現実物体がＨＭＤから遠い位置にある場合画像の解像度が低いと当該現実物体を視認できない、また、詳細に確認できない場合が考えられる。 In the embodiment described above, when the distance to the real object is short (within a predetermined value), the high-resolution image is transmitted to the HMD in order to display the real object finely. For example, on the contrary, when the real object is near the HMD, the real object can be confirmed even if the resolution of the image is low. However, when the real object is located far from the HMD, the real object is visually recognized if the resolution of the image is low. It is not possible to check the details.
よって、例えば、上述の実施形態における、図５のステップＳ５１０の処理とステップＳ５１１の処理を入れ替えて、それぞれの処理のタイミングで、ＰＣ１００のＣＰＵ２０１が、現実物体がＨＭＤ１０１の位置から所定距離以内にあり、且つ、範囲１５０１内にある場合に、低解像度画像を、ＨＭＤ１０１に送信するために利用する画像として決定し、現実物体がＨＭＤ１０１の位置から所定距離以内にない場合には、高解像度画像を、ＨＭＤ１０１に送信するために利用する画像として決定するようにしてもよい。
Therefore, for example, the processing in step S510 and the processing in step S511 in FIG. 5 in the above-described embodiment are interchanged, and the
これにより、遠方の被写体の画像を精細に表示させることができる。 Thereby, the image of a distant subject can be displayed finely.
以上説明したように、本発明によれば、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism that can easily switch between images of different resolutions to be used using position information of the HMD.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。 The present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system including a plurality of devices. You may apply to the apparatus which consists of one apparatus.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 Note that the present invention includes a software program that implements the functions of the above-described embodiments directly or remotely from a system or apparatus. The present invention also includes a case where the system or the computer of the apparatus is achieved by reading and executing the supplied program code.
上述した本発明の実施形態においては、ＨＭＤ１０１に高解像度カメラ１０４が１つ設置されているものとしたが、複数（例えば２つ）の高解像度カメラ１０４をＨＭＤ１０１に設置するようにしてもよい。
In the embodiment of the present invention described above, one
また、ＨＭＤ１０１は、ＧＯＯＧＬＥ ＧＬＡＳＳ（登録商標）のようなシースルー型の端末であってもよい（本発明におけるＨＭＤ１０１は、シースルー型の端末も含むものとする）。
The
例えば、図１に示す各種端末、マーカ等の構成は一例であり、用途や目的に応じて様々な構成例がある。例えば、赤外線カメラ（不図示）をＨＭＤ１０１の周辺に設置して、ＨＭＤ１０１に設置された光マーカ（オプティカルマーカ）を撮影し、撮影した結果取得したＨＭＤ１０１の位置姿勢の情報（座標の情報）をＰＣ１００に送信することでＨＭＤ１０１の位置・姿勢の情報を特定するようにしてもよい。
For example, the configurations of various terminals, markers, and the like illustrated in FIG. 1 are examples, and there are various configuration examples depending on applications and purposes. For example, an infrared camera (not shown) is installed around the
また、磁場を発生させるトランスミッター（不図示）を用いて、ＨＭＤ１０１の位置や姿勢を特定することも可能である。この場合、トランスミッターは磁場を発生し、発生した磁場をＨＭＤ１０１に備えられたレシーバが受信する。受信した磁場に関する情報をＰＣ１００に送信すると、磁場の強さからＨＭＤ１０１の位置や姿勢をＰＣ１００が特定するものとする。これにより、マーカが検出できない場合であってもＨＭＤの位置・姿勢を特定可能である。
It is also possible to specify the position and orientation of the
このように、ＨＭＤ１０１の位置や姿勢を特定するためには、マーカやセンサ（赤外線、磁場）を用いる場合がある。ＨＭＤ１０１の位置や姿勢を特定できれば、どのような形態でも構わない。
Thus, in order to specify the position and orientation of the
また、上述した実施形態においては、ステップＳ５０５、ステップＳ５０９、Ｓ１００３において、判定対象の距離が“所定の値以内であるか”を判定しているが、例えば、“所定の値より小さいか”判定するようにしてもよい。例えば、所定の値より小さい場合＝ステップＳ５０５でＹＥＳ、ステップＳ５０９でＹＥＳ、ステップＳ１００３でＹＥＳ、であるものとし、判定対象の距離が所定の値以上の場合＝ステップＳ５０５でＮＯ、ステップＳ５０９でＮＯ、ステップＳ１００３でＮＯ、であるものとする。 In the above-described embodiment, it is determined whether the distance to be determined is “within a predetermined value” in steps S505, S509, and S1003. You may make it do. For example, if smaller than a predetermined value = YES in step S505, YES in step S509, YES in step S1003, and if the distance to be determined is greater than or equal to a predetermined value = NO in step S505, NO in step S509 In step S1003, NO is assumed.
本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, or the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。 Examples of the recording medium for supplying the program include a flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１００ ＰＣ
１０１ ＨＭＤ
１０２ マーカ
１０３ 仮想オブジェクト
１０４ 高解像度カメラ
１０５ 現実物体
１５０ ＬＡＮ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 入力デバイス
２１０ ディスプレイ
２１１ 外部メモリ
２２１ 右目ビデオカメラ
２２２ 左目ビデオカメラ
２２３ 右目ディスプレイ
２２４ 左目ディスプレイ
２２５ コントローラ
100 PC
101 HMD
102
201 CPU
202 ROM
203 RAM
204
Claims (12)
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
前記記憶手段に記憶された前記低解像度の画像、又は前記記憶手段に記憶された前記高解像度の画像を前記表示装置に表示させるべく出力する出力手段と、
前記撮像位置取得手段で取得した撮像位置と現実物体との距離を特定する距離特定手段と、
前記距離特定手段で特定した距離が、所定の値に達したか判定する判定手段と、
を備え、
前記出力手段は、前記判定手段で、前記距離特定手段で特定した距離が所定の値に達したと判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする情報処理装置。 An information processing device capable of communicating with a first imaging device that outputs a low-resolution image, a second imaging device that outputs a high-resolution image, and a display device that displays the image,
Imaging position acquisition means for acquiring information of an imaging position, which is a position for capturing an image;
Image storage means for storing an image captured from the imaging position acquired by the imaging position acquisition means;
Output means for outputting the low-resolution image stored in the storage means or the high-resolution image stored in the storage means for displaying on the display device;
Distance specifying means for specifying the distance between the imaging position acquired by the imaging position acquisition means and the real object;
Determining means for determining whether the distance specified by the distance specifying means has reached a predetermined value;
With
The output unit displays a high-resolution image output from the second imaging device on the display device when the determining unit determines that the distance specified by the distance specifying unit has reached a predetermined value. An information processing apparatus that outputs as much as possible.
前記出力手段は、前記判定手段で、前記距離特定手段で特定した距離が所定の距離以内であると判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力し、前記判定手段で、前記距離特定手段で特定した距離が所定の距離以内でないと判定した場合に、第１の撮像装置から出力された低解像度の画像を前記表示装置に表示すべく出力することを特徴とする請求項１に記載の情報処理装置。 The determining means determines whether the distance specified by the distance specifying means is within a predetermined distance,
The output unit displays a high-resolution image output from the second imaging device on the display device when the determining unit determines that the distance specified by the distance specifying unit is within a predetermined distance. When it is determined that the distance specified by the distance specifying unit is not within a predetermined distance, the low-resolution image output from the first imaging device is displayed on the display unit. The information processing apparatus according to claim 1, wherein the information processing apparatus outputs the information as necessary.
前記出力手段は、前記判定手段で、前記距離特定手段で特定した距離が所定の距離以内であると判定した場合に、第１の撮像装置から出力された低解像度の画像を前記表示装置に表示すべく出力し、前記判定手段で、前記距離特定手段で特定した距離が所定の距離以内でないと判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする請求項１又は２に記載の情報処理装置。 The determining means determines whether the distance specified by the distance specifying means is within a predetermined distance,
The output means displays a low-resolution image output from the first imaging device on the display device when the determining means determines that the distance specified by the distance specifying means is within a predetermined distance. When the determination means determines that the distance specified by the distance specification means is not within a predetermined distance, a high-resolution image output from the second imaging device is displayed on the display device. The information processing apparatus according to claim 1, wherein the information processing apparatus outputs the information as necessary.
を備え、
前記出力手段は、前記距離特定手段で特定した距離が所定の値に達したと判定した場合であって、前記範囲判定手段で、前記所定範囲内に前記現実物体が存在すると判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 Range determination means for determining whether the real object exists within a predetermined range specified from the imaging direction;
With
When the output means determines that the distance specified by the distance specifying means has reached a predetermined value, and when the range determination means determines that the real object exists within the predetermined range, The information processing apparatus according to claim 1, wherein a high-resolution image output from the second imaging apparatus is output to be displayed on the display apparatus.
前記検出手段で検出した開閉部が開いているか否か判定する開閉判定手段と、
を備え、
前記出力手段は、前記範囲判定手段で前記所定範囲内に前記現実物体が存在すると判定した場合であって、前記開閉判定手段で前記開閉部が開いていると判定した場合に、前記範囲判定手段で前記所定範囲内に前記現実物体が存在すると判定した場合に、前記第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力し、前記開閉部が開いていないと判定した場合に、前記第１の撮像装置から出力された低解像度の画像を前記表示装置に表示すべく出力することを特徴とする請求項４に記載の情報処理装置。 Detecting means for detecting the opening and closing unit;
Open / close determining means for determining whether the open / close section detected by the detecting means is open;
With
When the range determining unit determines that the real object is within the predetermined range, and the opening / closing determining unit determines that the opening / closing part is open, the range determining unit When it is determined that the real object exists within the predetermined range, the high-resolution image output from the second imaging device is output to be displayed on the display device, and the opening / closing unit is not open. The information processing apparatus according to claim 4, wherein when the determination is made, the low-resolution image output from the first imaging apparatus is output to be displayed on the display apparatus.
を備え、
前記出力手段は、前記範囲判定手段で前記所定範囲内に前記現実物体が存在すると判定し、前記開閉判定手段で前記開閉部が開いていると判定し、前記存在判定手段で前記開閉部の先に被写体が存在すると判定した場合に、前記第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする請求項５に記載の情報処理装置。 Presence determination means for determining whether a subject exists beyond the opening / closing part detected by the detection means;
With
The output means determines that the real object exists within the predetermined range by the range determination means, determines that the opening / closing portion is open by the opening / closing determination means, and determines whether the opening / closing portion is open by the presence determination means. 6. The information processing apparatus according to claim 5, wherein a high-resolution image output from the second imaging device is output to be displayed on the display device when it is determined that a subject exists in the display device.
を備え、
前記出力手段は、前記距離特定手段で特定した距離が所定の値に達していないと判定した場合には、前記複合現実画像生成手段で生成した複合現実画像を前記表示装置に出力し、前記距離特定手段で特定した距離が所定の値に達していると判定した場合には、第２の撮像装置から出力された高解像度の画像を、複合現実画像とすることなく前記表示装置に出力することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。 When it is determined that the distance specified by the distance specifying unit has not reached a predetermined value, the output unit generates a mixed reality image in which a virtual object is superimposed on an image to be displayed on the display device. Mixed reality image generation means;
With
If the output means determines that the distance specified by the distance specifying means has not reached a predetermined value, the output means outputs the mixed reality image generated by the mixed reality image generating means to the display device, and the distance When it is determined that the distance specified by the specifying means has reached a predetermined value, the high-resolution image output from the second imaging device is output to the display device without being a mixed reality image The information processing apparatus according to any one of claims 1 to 6.
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得工程と、
前記撮像位置取得工程で取得した前記撮像位置から撮像された画像を記憶する画像記憶工程と、
前記記憶工程に記憶された前記低解像度の画像、又は前記記憶工程に記憶された前記高解像度の画像を前記表示装置に表示させるべく出力する出力工程と、
前記撮像位置取得工程で取得した撮像位置と現実物体との距離を特定する距離特定工程と、
前記距離特定工程で特定した距離が、所定の値に達したか判定する判定工程と、
を含み、
前記出力工程は、前記判定工程で、前記距離特定工程で特定した距離が所定の値に達したと判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする情報処理装置の制御方法。 A control method for an information processing apparatus capable of communicating with a first imaging device that outputs a low-resolution image, a second imaging device that outputs a high-resolution image, and a display device that displays the image,
An imaging position acquisition step of acquiring information of an imaging position that is a position at which an image is captured;
An image storage step of storing an image captured from the imaging position acquired in the imaging position acquisition step;
An output step for outputting the low resolution image stored in the storage step or the high resolution image stored in the storage step to be displayed on the display device;
A distance specifying step for specifying a distance between the imaging position acquired in the imaging position acquisition step and the real object;
A determining step of determining whether the distance specified in the distance specifying step has reached a predetermined value;
Including
In the output step, when the determination step determines that the distance specified in the distance specification step has reached a predetermined value, a high-resolution image output from the second imaging device is displayed on the display device. A method for controlling an information processing apparatus, characterized by outputting as much as possible.
前記情報処理装置を、
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
前記記憶手段に記憶された前記低解像度の画像、又は前記記憶手段に記憶された前記高解像度の画像を前記表示装置に表示させるべく出力する出力手段と、
前記撮像位置取得手段で取得した撮像位置と現実物体との距離を特定する距離特定手段と、
前記距離特定手段で特定した距離が、所定の値に達したか判定する判定手段として機能させ、
前記出力手段は、前記判定手段で、前記距離特定手段で特定した距離が所定の値に達したと判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする情報処理装置のプログラム。 A program that can be executed by an information processing device that can communicate with a first imaging device that outputs a low-resolution image, a second imaging device that outputs a high-resolution image, and a display device that displays an image. ,
The information processing apparatus;
Imaging position acquisition means for acquiring information of an imaging position, which is a position for capturing an image;
Image storage means for storing an image captured from the imaging position acquired by the imaging position acquisition means;
Output means for outputting the low-resolution image stored in the storage means or the high-resolution image stored in the storage means for displaying on the display device;
Distance specifying means for specifying the distance between the imaging position acquired by the imaging position acquisition means and the real object;
Function as a determination means for determining whether the distance specified by the distance specifying means has reached a predetermined value;
The output unit displays a high-resolution image output from the second imaging device on the display device when the determining unit determines that the distance specified by the distance specifying unit has reached a predetermined value. A program for an information processing apparatus characterized by outputting as much as possible.
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
前記記憶手段に記憶された前記低解像度の画像、又は前記記憶手段に記憶された前記高解像度の画像を前記表示装置に表示させるべく出力する出力手段と、
前記撮像位置取得手段で取得した撮像位置と現実物体との距離を特定する距離特定手段と、
前記距離特定手段で特定した距離が、所定の値に達したか判定する判定手段と、
を備え、
前記出力手段は、前記判定手段で、前記距離特定手段で特定した距離が所定の値に達したと判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする情報処理システム。 An information processing system including a first imaging device that outputs a low-resolution image, a second imaging device that outputs a high-resolution image, a display device that displays an image, and an information processing device,
Imaging position acquisition means for acquiring information of an imaging position, which is a position for capturing an image;
Image storage means for storing an image captured from the imaging position acquired by the imaging position acquisition means;
Output means for outputting the low-resolution image stored in the storage means or the high-resolution image stored in the storage means for displaying on the display device;
Distance specifying means for specifying the distance between the imaging position acquired by the imaging position acquisition means and the real object;
Determining means for determining whether the distance specified by the distance specifying means has reached a predetermined value;
With
The output unit displays a high-resolution image output from the second imaging device on the display device when the determining unit determines that the distance specified by the distance specifying unit has reached a predetermined value. An information processing system that outputs as much as possible.
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得工程と、
前記撮像位置取得工程で取得した前記撮像位置から撮像された画像を記憶する画像記憶工程と、
前記記憶工程に記憶された前記低解像度の画像、又は前記記憶工程に記憶された前記高解像度の画像を前記表示装置に表示させるべく出力する出力工程と、
前記撮像位置取得工程で取得した撮像位置と現実物体との距離を特定する距離特定工程と、
前記距離特定工程で特定した距離が、所定の値に達したか判定する判定工程と、
を含み、
前記出力工程は、前記判定工程で、前記距離特定工程で特定した距離が所定の値に達したと判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする情報処理システムの制御方法。 A control method for an information processing system including a first imaging device that outputs a low-resolution image, a second imaging device that outputs a high-resolution image, a display device that displays an image, and an information processing device. And
An imaging position acquisition step of acquiring information of an imaging position that is a position at which an image is captured;
An image storage step of storing an image captured from the imaging position acquired in the imaging position acquisition step;
An output step for outputting the low resolution image stored in the storage step or the high resolution image stored in the storage step to be displayed on the display device;
A distance specifying step for specifying a distance between the imaging position acquired in the imaging position acquisition step and the real object;
A determining step of determining whether the distance specified in the distance specifying step has reached a predetermined value;
Including
In the output step, when the determination step determines that the distance specified in the distance specification step has reached a predetermined value, a high-resolution image output from the second imaging device is displayed on the display device. A method for controlling an information processing system, characterized by outputting as much as possible.
前記情報処理システムを、
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
前記記憶手段に記憶された前記低解像度の画像、又は前記記憶手段に記憶された前記高解像度の画像を前記表示装置に表示させるべく出力する出力手段と、
前記撮像位置取得手段で取得した撮像位置と現実物体との距離を特定する距離特定手段と、
前記距離特定手段で特定した距離が、所定の値に達したか判定する判定手段として機能させ、
前記出力手段は、前記判定手段で、前記距離特定手段で特定した距離が所定の値に達したと判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする情報処理システムのプログラム。 Execution is possible in an information processing system including a first imaging device that outputs a low-resolution image, a second imaging device that outputs a high-resolution image, a display device that displays an image, and an information processing device A program,
The information processing system;
Imaging position acquisition means for acquiring information of an imaging position, which is a position for capturing an image;
Image storage means for storing an image captured from the imaging position acquired by the imaging position acquisition means;
Output means for outputting the low-resolution image stored in the storage means or the high-resolution image stored in the storage means for displaying on the display device;
Distance specifying means for specifying the distance between the imaging position acquired by the imaging position acquisition means and the real object;
Function as a determination means for determining whether the distance specified by the distance specifying means has reached a predetermined value;
The output unit displays a high-resolution image output from the second imaging device on the display device when the determining unit determines that the distance specified by the distance specifying unit has reached a predetermined value. An information processing system program characterized by outputting as much as possible.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014222631A JP6070676B2 (en) | 2014-02-14 | 2014-10-31 | Information processing apparatus, information processing system, control method thereof, and program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014025989 | 2014-02-14 | ||
| JP2014025989 | 2014-02-14 | ||
| JP2014222631A JP6070676B2 (en) | 2014-02-14 | 2014-10-31 | Information processing apparatus, information processing system, control method thereof, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016253594A Division JP6409861B2 (en) | 2014-02-14 | 2016-12-27 | Information processing apparatus, information processing system, control method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015167349A true JP2015167349A (en) | 2015-09-24 |
| JP6070676B2 JP6070676B2 (en) | 2017-02-01 |
Family
ID=54258033
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014222631A Expired - Fee Related JP6070676B2 (en) | 2014-02-14 | 2014-10-31 | Information processing apparatus, information processing system, control method thereof, and program |
| JP2016253594A Active JP6409861B2 (en) | 2014-02-14 | 2016-12-27 | Information processing apparatus, information processing system, control method thereof, and program |
| JP2018178259A Pending JP2019009816A (en) | 2014-02-14 | 2018-09-25 | Information processing device, information processing system, control method thereof and program |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016253594A Active JP6409861B2 (en) | 2014-02-14 | 2016-12-27 | Information processing apparatus, information processing system, control method thereof, and program |
| JP2018178259A Pending JP2019009816A (en) | 2014-02-14 | 2018-09-25 | Information processing device, information processing system, control method thereof and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6070676B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017138143A1 (en) * | 2016-02-12 | 2017-08-17 | 富士通株式会社 | Terminal device, method for adjusting screen resolution, display control method, screen resolution adjustment program, and display control program |
| JP2018066823A (en) * | 2016-10-18 | 2018-04-26 | 株式会社日立システムズ | Information display device and method for controlling processing thereof |
| JP2019003445A (en) * | 2017-06-15 | 2019-01-10 | 株式会社ミクシィ | Head-mounted display device, authentication method, and authentication program |
| WO2022003752A1 (en) * | 2020-06-29 | 2022-01-06 | 株式会社青電社 | Display device, display-device display control method, and display-device display control program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110085191A (en) * | 2019-05-15 | 2019-08-02 | 京东方科技集团股份有限公司 | Display device and processor, processing method, driving method, storage medium and equipment |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000251080A (en) * | 1999-03-01 | 2000-09-14 | Yazaki Corp | Rear side monitoring device for vehicle |
| JP2000350860A (en) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | Composite reality feeling device and method for generating composite real space picture |
| JP2006033793A (en) * | 2004-06-14 | 2006-02-02 | Victor Co Of Japan Ltd | Tracking video reproducing apparatus |
| JP2007288527A (en) * | 2006-04-17 | 2007-11-01 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
| WO2008099918A1 (en) * | 2007-02-16 | 2008-08-21 | Autonetworks Technologies, Ltd. | On-vehicle video communication system and on-vehicle imaging system |
| JP2010021619A (en) * | 2008-07-08 | 2010-01-28 | Mitsubishi Electric Corp | Multiple camera image processing apparatus and multiple camera image display device |
| JP2010035159A (en) * | 2008-07-02 | 2010-02-12 | Panasonic Corp | Vehicle-mounted image recording apparatus and image recording method |
| WO2012160902A1 (en) * | 2011-05-24 | 2012-11-29 | 日産自動車株式会社 | Vehicle monitoring device and method of monitoring vehicle |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5821526B2 (en) * | 2011-10-27 | 2015-11-24 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP6102944B2 (en) * | 2012-12-10 | 2017-03-29 | ソニー株式会社 | Display control apparatus, display control method, and program |
-
2014
- 2014-10-31 JP JP2014222631A patent/JP6070676B2/en not_active Expired - Fee Related
-
2016
- 2016-12-27 JP JP2016253594A patent/JP6409861B2/en active Active
-
2018
- 2018-09-25 JP JP2018178259A patent/JP2019009816A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000251080A (en) * | 1999-03-01 | 2000-09-14 | Yazaki Corp | Rear side monitoring device for vehicle |
| JP2000350860A (en) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | Composite reality feeling device and method for generating composite real space picture |
| JP2006033793A (en) * | 2004-06-14 | 2006-02-02 | Victor Co Of Japan Ltd | Tracking video reproducing apparatus |
| JP2007288527A (en) * | 2006-04-17 | 2007-11-01 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
| WO2008099918A1 (en) * | 2007-02-16 | 2008-08-21 | Autonetworks Technologies, Ltd. | On-vehicle video communication system and on-vehicle imaging system |
| JP2010035159A (en) * | 2008-07-02 | 2010-02-12 | Panasonic Corp | Vehicle-mounted image recording apparatus and image recording method |
| JP2010021619A (en) * | 2008-07-08 | 2010-01-28 | Mitsubishi Electric Corp | Multiple camera image processing apparatus and multiple camera image display device |
| WO2012160902A1 (en) * | 2011-05-24 | 2012-11-29 | 日産自動車株式会社 | Vehicle monitoring device and method of monitoring vehicle |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017138143A1 (en) * | 2016-02-12 | 2017-08-17 | 富士通株式会社 | Terminal device, method for adjusting screen resolution, display control method, screen resolution adjustment program, and display control program |
| JPWO2017138143A1 (en) * | 2016-02-12 | 2018-11-22 | 富士通株式会社 | Terminal device, screen resolution adjustment method, display control method, screen resolution adjustment program, and display control program |
| JP2018066823A (en) * | 2016-10-18 | 2018-04-26 | 株式会社日立システムズ | Information display device and method for controlling processing thereof |
| JP2019003445A (en) * | 2017-06-15 | 2019-01-10 | 株式会社ミクシィ | Head-mounted display device, authentication method, and authentication program |
| WO2022003752A1 (en) * | 2020-06-29 | 2022-01-06 | 株式会社青電社 | Display device, display-device display control method, and display-device display control program |
| JP7418870B2 (en) | 2020-06-29 | 2024-01-22 | 株式会社青電社 | Display device, display control method for display device, display control program for display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019009816A (en) | 2019-01-17 |
| JP2017103787A (en) | 2017-06-08 |
| JP6409861B2 (en) | 2018-10-24 |
| JP6070676B2 (en) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6409861B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP7079231B2 (en) | Information processing equipment, information processing system, control method, program | |
| JP6663111B2 (en) | Information processing system, its control method and program, and information processing apparatus, its control method and program | |
| JP7060778B2 (en) | Information processing system, information processing system control method and program | |
| JP2016122392A (en) | Information processing apparatus, information processing system, control method and program of the same | |
| JP2015125641A (en) | Information processing device, control method therefor, and program | |
| JP2018106297A (en) | Mixed reality presentation system, information processing apparatus and control method thereof, and program | |
| JP2019008623A (en) | Information processing apparatus, information processing apparatus control method, computer program, and storage medium | |
| JP2005174021A (en) | Method and device for presenting information | |
| JP6730577B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP2018063589A (en) | Information processing apparatus, information processing system, method for controlling the same, and program for the same | |
| JP7273325B2 (en) | Information processing device, information processing system, information processing method and program | |
| JP7279113B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM | |
| JP2016115230A (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP6376251B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP6164177B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP2016115148A (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JP7116334B2 (en) | Information processing device, information processing system, control method thereof, and program | |
| JP2015121892A (en) | Image processing apparatus, and image processing method | |
| JP2018063590A (en) | Information processing apparatus, information processing system, method for controlling the same, and program for the same | |
| JP5520772B2 (en) | Stereoscopic image display system and display method | |
| JP6734537B2 (en) | Information processing apparatus, control method and program therefor, information processing system, control method therefor, and program | |
| JP6741939B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP2018097645A (en) | Information processing apparatus, information processing system, control methods therefor, and program | |
| JP2018190447A (en) | Information processing device, information processing system, control method thereof and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160916 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161219 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6070676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |