JP2015061200A - Image display device, image display method, and image display program - Google Patents

Image display device, image display method, and image display program Download PDF

Info

Publication number
JP2015061200A
JP2015061200A JP2013193533A JP2013193533A JP2015061200A JP 2015061200 A JP2015061200 A JP 2015061200A JP 2013193533 A JP2013193533 A JP 2013193533A JP 2013193533 A JP2013193533 A JP 2013193533A JP 2015061200 A JP2015061200 A JP 2015061200A
Authority
JP
Japan
Prior art keywords
image display
image
unit
imaging
shaking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013193533A
Other languages
Japanese (ja)
Inventor
壮功 北田
Takekatsu Kitada
壮功 北田
央樹 坪井
Hisaki Tsuboi
央樹 坪井
Original Assignee
コニカミノルタ株式会社
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社, Konica Minolta Inc filed Critical コニカミノルタ株式会社
Priority to JP2013193533A priority Critical patent/JP2015061200A/en
Publication of JP2015061200A publication Critical patent/JP2015061200A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image display device, an image display method, and an image display program capable of display natural for an observer even when a camera swings.SOLUTION: An image display device 10 to be used while being worn by an observer comprises: an inertia sensor 14 which is installed at a first position A of a body portion (frame 11) and detects swinging of the observer; an imaging apparatus 13 which is installed at a second position B different from the first position A of the body portion and generates an imaged image by imaging an outside world; a swing amount calculation unit which calculates the swing amount of the imaging apparatus 13 on the basis of the swing amount detected by the inertia sensor 14; and a tracking unit which tracks a predetermined target in the imaged image on the basis of the swing amount of the imaging apparatus 13 calculated by the swing amount calculation unit.

Description

本発明は、画像表示装置、画像表示方法、および画像表示プログラムに関する。   The present invention relates to an image display device, an image display method, and an image display program.
現実空間の撮像画像に、付加的な情報やコンピューターグラフィックス(CG)描画された仮想物体を重畳させて表示する表示システムがある。このような表示システムによれば、観察者に対して、付加的な情報やCG描画された仮想物体が現実空間に存在しているかのように見せることが可能になる。一般的に、このような技術は、複合現実感(Mixed Reality)、拡張現実感(Augmented Reality)等と呼ばれるが、以下では、AR技術と呼ぶ。AR技術を用いた代表的な装置としては、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等がある。   There is a display system that superimposes and displays a virtual object drawn with additional information or computer graphics (CG) on a captured image of a real space. According to such a display system, it is possible to make it appear to the observer as if additional information or a CG-drawn virtual object exists in the real space. In general, such a technique is referred to as mixed reality, augmented reality, or the like, but hereinafter referred to as AR technique. As a typical apparatus using the AR technology, there is a head mounted display (HMD: Head Mounted Display) or the like.
ヘッドマウントディスプレイの中には、カメラレンズの特性によって生じる歪みを補正するための歪補正を行うものがある(たとえば、特許文献1)。そのうえで、観察者の視野範囲を撮像するカメラにより得られる撮像画像を使用して、観察者の目前に存在する対象(たとえば、人)に対して物体認識やトラッキング等を行うものもある。   Some head mounted displays perform distortion correction for correcting distortion caused by characteristics of a camera lens (for example, Patent Document 1). In addition, there are some that perform object recognition, tracking, and the like on a target (for example, a person) existing in front of the observer using a captured image obtained by a camera that captures the visual field range of the observer.
特開2010−91870号公報JP 2010-91870 A
しかし、ヘッドマウントディスプレイは、観察者(たとえば、頭部)に装着されて使用されるため、観察者が揺れると、カメラも揺れてしまう。このとき、カメラの揺れを考慮せずに、歪補正などが行われると、物体認識やトラッキングの対象を精度良く認識できない。たとえば、観察者が、歩行しながらヘッドマウントディスプレイを使用する場合などには、物体認識やトラッキングの対象を正確に認識し続けることが難しい。   However, since the head mounted display is used by being attached to an observer (for example, the head), the camera is also shaken when the observer shakes. At this time, if distortion correction or the like is performed without taking camera shake into consideration, the object recognition or tracking target cannot be accurately recognized. For example, when an observer uses a head-mounted display while walking, it is difficult to continue to accurately recognize an object recognition or tracking target.
物体認識やトラッキングの対象を誤って認識すると、その対象の近くにポップアップ画像を表示させたときに、不自然な画像となってしまう。ましてや、撮像画像から特定の対象の領域を除く処理(キャンセル画像処理)のような、その対象の位置や形状を正確に認識する必要がある処理を行ったときには、より不自然な画像となってしまう。   If a target for object recognition or tracking is mistakenly recognized, a pop-up image is displayed near the target, resulting in an unnatural image. In addition, when processing that requires accurate recognition of the position and shape of the target, such as processing for removing a specific target region from the captured image (cancellation image processing), the image becomes more unnatural. End up.
本発明は、上記事情に鑑みてなされたものであり、カメラが揺れても、観察者にとって自然な表示を可能にする画像表示装置、画像表示方法、および画像表示プログラムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image display device, an image display method, and an image display program that enable natural display for an observer even when the camera shakes. To do.
(1)観察者に装着して利用される画像表示装置であって、本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出する揺れ量算出部と、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡する追跡部と、を備える画像表示装置。   (1) An image display device that is used by being attached to an observer, and is installed at a first position of the main body part, and detects a shake of the observer, and the first position of the main body part. An image pickup unit that is installed at a second position different from the image pickup unit that picks up the outside world and generates a picked-up image, and a shake amount calculation that calculates a shake amount of the image pickup unit based on a shake amount detected by the shake detection unit An image display device comprising: a tracking unit that tracks a predetermined target in the captured image based on the swing amount of the imaging unit calculated by the swing amount calculation unit.
(2)前記撮像部は、撮像時にカメラレンズを使用するカメラであって、前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正する歪補正部を、さらに備える上記(1)に記載の画像表示装置。   (2) The image according to (1), wherein the imaging unit is a camera that uses a camera lens during imaging, and further includes a distortion correction unit that corrects distortion generated in the captured image due to characteristics of the camera lens. Display device.
(3)前記歪補正部は、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、上記(2)に記載の画像表示装置。   (3) The image display according to (2), wherein the distortion correction unit limits a range of the captured image in which distortion is corrected based on the shake amount of the imaging unit calculated by the shake amount calculation unit. apparatus.
(4)前記追跡部は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、上記(1)〜(3)のいずれかに記載の画像表示装置。   (4) The image display device according to any one of (1) to (3), wherein the tracking unit compares the plurality of captured images captured at different timings to track the predetermined target. .
(5)前記追跡部は、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、上記(4)に記載の画像表示装置。   (5) The tracking unit limits the range of the captured image to be compared to track the predetermined target based on the shaking amount of the imaging unit calculated by the shaking amount calculation unit. ) Image display device.
(6)前記歪補正部による歪みの補正と、前記追跡部による追跡とが並行して行われる、上記(2)〜(5)のいずれかに記載の画像表示装置。   (6) The image display device according to any one of (2) to (5), wherein the distortion correction by the distortion correction unit and the tracking by the tracking unit are performed in parallel.
(7)観察者に装着して利用される画像表示装置の本体部分の第一位置に設置されて前記観察者の揺れを検出する揺れ検出部と、前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、を備える画像表示装置における画像表示方法であって、(a)前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出するステップと、(b)前記ステップ(a)によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡するステップと、を行う画像表示方法。   (7) The shake detection unit that is installed at the first position of the main body portion of the image display device that is used by being attached to the observer is different from the first position of the main body portion. An image display method in an image display device, comprising: an imaging unit that is installed at a second position and that captures an image of the outside world to generate a captured image, and (a) based on a shaking amount detected by the shaking detection unit Performing a step of calculating a shaking amount of the imaging unit, and a step of (b) tracking a predetermined target in the captured image based on the shaking amount of the imaging unit calculated in the step (a). Image display method.
(8)前記撮像部は、撮像時にカメラレンズを使用するカメラであって、(c)前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正するステップを、さらに行う上記(7)に記載の画像表示方法。   (8) The imaging unit according to (7), wherein the imaging unit is a camera that uses a camera lens at the time of imaging, and (c) further corrects distortion generated in the captured image due to characteristics of the camera lens. Image display method.
(9)前記ステップ(c)は、前記ステップ(a)において算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、上記(8)に記載の画像表示方法。   (9) The image according to (8), wherein the step (c) limits a range of the captured image for correcting distortion based on the amount of shaking of the imaging unit calculated in the step (a). Display method.
(10)前記ステップ(b)は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、上記(7)〜(9)のいずれかに記載の画像表示方法。   (10) The image according to any one of (7) to (9), wherein the step (b) tracks the predetermined target by comparing a plurality of the captured images captured at different timings. Display method.
(11)前記ステップ(b)は、前記ステップ(a)において算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、上記(10)に記載の画像表示方法。   (11) The step (b) limits the range of the captured image to be compared for tracking the predetermined target based on the amount of shaking of the imaging unit calculated in the step (a). The image display method according to (10).
(12)前記ステップ(c)における歪みの補正と、前記ステップ(b)による追跡とが並行して行われる、上記(8)〜(11)のいずれかに記載の画像表示方法。   (12) The image display method according to any one of (8) to (11), wherein the distortion correction in step (c) and the tracking in step (b) are performed in parallel.
(13)観察者に装着して利用される画像表示装置の本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、を備える画像表示装置として機能するコンピューターに、(a)前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出するステップと、(b)前記ステップ(a)によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡するステップと、を実行させるための画像表示プログラム。   (13) The shake detection unit that is installed at the first position of the main body portion of the image display device that is used by being attached to the observer is different from the first position of the main body portion. A computer that functions as an image display device that is installed at a second position and that captures the outside world to generate a captured image. (A) Based on the amount of shaking detected by the shaking detection unit, A step of calculating an amount of shaking of the imaging unit; and (b) tracking a predetermined target in the captured image based on the amount of shaking of the imaging unit calculated in step (a). Image display program.
(14)前記撮像部は、撮像時にカメラレンズを使用するカメラであって、(c)前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正するステップを、さらに前記コンピューターに実行させる上記(13)に記載の画像表示プログラム。   (14) The imaging unit is a camera that uses a camera lens during imaging, and (c) further causes the computer to execute a step of correcting distortion generated in the captured image due to characteristics of the camera lens. ) Image display program.
(15)前記ステップ(c)は、前記ステップ(a)において算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、上記(14)に記載の画像表示プログラム。   (15) The image according to (14), wherein the step (c) limits a range of the captured image whose distortion is corrected based on the shaking amount of the imaging unit calculated in the step (a). Display program.
(16)前記ステップ(b)は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、上記(13)〜(15)のいずれかに記載の画像表示プログラム。   (16) The image according to any one of (13) to (15), wherein the step (b) compares the plurality of captured images captured at different timings to track the predetermined target. Display program.
(17)前記ステップ(b)は、前記ステップ(a)において算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、上記(16)に記載の画像表示プログラム。   (17) The step (b) limits the range of the captured image to be compared to track the predetermined target based on the shaking amount of the imaging unit calculated in the step (a). The image display program according to (16).
(18)前記ステップ(c)における歪みの補正と、前記ステップ(b)による追跡とが並行して行われる、上記(14)〜(17)のいずれかに記載の画像表示プログラム。   (18) The image display program according to any one of (14) to (17), wherein the distortion correction in the step (c) and the tracking in the step (b) are performed in parallel.
本発明によれば、観察者の揺れを検出したとき撮像部の揺れ量を算出し、この揺れ量に基づいて撮像画像内における特定の対象(たとえば、人など)を追跡する。これにより、撮像画像内における特定の対象の位置および形状を精度良く認識可能になる。その結果、ポップアップ画像の表示やキャンセル画像処理を行ったときでも、観察者にとって自然な表示が可能になる。   According to the present invention, when the shaking of the observer is detected, the shaking amount of the imaging unit is calculated, and a specific target (for example, a person) in the captured image is tracked based on the shaking amount. This makes it possible to accurately recognize the position and shape of a specific target in the captured image. As a result, even when a pop-up image is displayed or cancel image processing is performed, a natural display for the observer is possible.
本実施形態に係るヘッドマウントディスプレイ(HMD)装置の外観例を示す図である。It is a figure which shows the example of an external appearance of the head mounted display (HMD) apparatus which concerns on this embodiment. HMD装置のハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware structural example of an HMD apparatus. HMD装置の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of an HMD apparatus. AR画像表示処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of AR image display processing. 観察者の頭部に装着されたHMD装置と、初期設定により設定される座標系の例を示す図である。It is a figure which shows the example of the coordinate system set by the HMD apparatus with which the observer's head was mounted | worn, and initial setting. 撮像画像の例を示す図である。It is a figure which shows the example of a captured image. 撮像装置の揺れ量を算出する方法について説明するための図である。It is a figure for demonstrating the method to calculate the shaking amount of an imaging device. 歪補正について説明するための図である。It is a figure for demonstrating distortion correction. 追跡処理について説明するための図である。It is a figure for demonstrating a tracking process. 撮像画像の一部の画素に対して歪補正および追跡処理を行う方法について説明するための図である。It is a figure for demonstrating the method of performing distortion correction and a tracking process with respect to the one part pixel of a captured image. AR画像の表示例を示す図である。It is a figure which shows the example of a display of AR image. キャンセル画像の例を示す図である。It is a figure which shows the example of a cancellation image.
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted. In addition, the dimensional ratios in the drawings are exaggerated for convenience of explanation, and may be different from the actual ratios.
図1は、本実施形態に係るヘッドマウントディスプレイ(HMD)装置の外観例を示す図である。図2は、HMD装置のハードウェア構成例を示すブロック図である。   FIG. 1 is a diagram illustrating an appearance example of a head mounted display (HMD) device according to the present embodiment. FIG. 2 is a block diagram illustrating a hardware configuration example of the HMD device.
以下、図1、図2を参照して、HMD装置10の概略構成、特にハードウェア構成について説明する。   Hereinafter, with reference to FIG. 1 and FIG. 2, a schematic configuration of the HMD device 10, particularly a hardware configuration will be described.
<HMD装置10(ハードウェア構成)>
本実施形態に係るHMD装置10は、ユーザー(以下「観察者」とも称する)の頭部に装着して使用される画像表示装置である。たとえば、HMD装置10は、外界からの光を透過しつつ、提示したいコンテンツ情報に応じた画像光をAR(Augmented Reality)画像として観察者の眼に投射するシースルー型の画像表示装置である。AR画像は、観察者が観察している現実の環境(現実空間)に、あたかも存在しているかのように表示される。
<HMD device 10 (hardware configuration)>
The HMD device 10 according to the present embodiment is an image display device that is used by being mounted on the head of a user (hereinafter also referred to as “observer”). For example, the HMD device 10 is a see-through type image display device that projects image light according to content information desired to be presented to an observer's eyes as an AR (Augmented Reality) image while transmitting light from the outside world. The AR image is displayed as if it exists in the actual environment (real space) that the observer is observing.
図1に示すとおり、HMD装置10は、フレーム11と、透明部材12と、撮像装置13と、慣性センサー14と、AR提供装置20と、本体部30とを有している。   As shown in FIG. 1, the HMD device 10 includes a frame 11, a transparent member 12, an imaging device 13, an inertial sensor 14, an AR providing device 20, and a main body 30.
フレーム11は、HMD装置10を観察者の頭部に装着可能にする形状を有しており、たとえば、メガネ型の形状を有する。   The frame 11 has a shape that allows the HMD device 10 to be mounted on the observer's head, and has, for example, an eyeglass shape.
透明部材12は、HMD装置10を装着した観察者が外界を観察できるように、外界からの光を透過して観察者の眼に届けることが可能な透明な材料(ガラス、プラスチック、フィルムなど)により形成される。透明部材12は、フレーム11のリム(透明部材12を支える部分)にはめ込まれて固定される。なお、フレーム11のリムに透明部材12を設けず、外界からの光がダイレクトに観察者の眼に届くようにしてもよい。   The transparent member 12 is a transparent material (glass, plastic, film, etc.) that can transmit light from the outside world and reach the eyes of the observer so that the observer wearing the HMD device 10 can observe the outside world. It is formed by. The transparent member 12 is fitted and fixed to the rim of the frame 11 (the portion that supports the transparent member 12). The transparent member 12 may not be provided on the rim of the frame 11 and light from the outside world may directly reach the observer's eyes.
撮像装置13は、カメラレンズの光軸方向(以下では、「撮像方向」とも称する)の外界を撮像する。たとえば、撮像装置13は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサーを備えたデジタルカメラあるいはビデオカメラである。撮像装置13の撮像によって、たとえば、JPEG、MPEG2/4等の撮像画像(動画)が生成される。   The imaging device 13 images the outside of the camera lens in the optical axis direction (hereinafter also referred to as “imaging direction”). For example, the imaging device 13 is a digital camera or a video camera provided with an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). For example, a captured image (moving image) such as JPEG or MPEG2 / 4 is generated by the imaging of the imaging device 13.
慣性センサー14は、HMD装置10の揺れを検出し、そのときの撮像装置13の揺れ量の算出に必要なデータを提供するセンサーである。たとえば、慣性センサー14は、加速度センサー、ジャイロセンサー等により構成される。なお、慣性センサー14は、撮像装置13の揺れ量の算出に必要なデータを提供可能なものであれば、どのような形態、名称、構造のものであってもよい。   The inertial sensor 14 is a sensor that detects shaking of the HMD device 10 and provides data necessary for calculating the shaking amount of the imaging device 13 at that time. For example, the inertial sensor 14 includes an acceleration sensor, a gyro sensor, or the like. The inertial sensor 14 may have any form, name, and structure as long as it can provide data necessary for calculating the amount of shaking of the imaging device 13.
本実施形態の撮像装置13および慣性センサー14は、本体部分(たとえば、図1に示すようなフレーム11部分)に設置される。たとえば、慣性センサー14は、図1に示す第一位置Aに設置され、撮像装置13は、第一位置Aとは異なる第二位置Bに設置される。   The imaging device 13 and the inertial sensor 14 of the present embodiment are installed in a main body portion (for example, a frame 11 portion as shown in FIG. 1). For example, the inertial sensor 14 is installed at a first position A shown in FIG. 1, and the imaging device 13 is installed at a second position B different from the first position A.
AR提供装置20は、外界からの光に付加的に重畳させる画像(AR画像)を表示する。たとえば、AR提供装置20は、観察者の視線方向に存在する人物の近くに、名前、勤務先などの情報を含むポップアップ画像があたかも存在するかのように表示する。このような表示は、AR画像の位置、サイズ、向き、形状、色(彩度、明度、コントラストなど)、陰影などを調整することによって実現される。なお、AR提供装置20は、図1に示すような単眼式ではなく、双眼式でもよい。   The AR providing device 20 displays an image (AR image) that is additionally superimposed on light from the outside. For example, the AR providing apparatus 20 displays a pop-up image including information such as a name and a place of work near a person existing in the observer's line of sight. Such a display is realized by adjusting the position, size, orientation, shape, color (saturation, brightness, contrast, etc.), shadow, etc. of the AR image. The AR providing apparatus 20 may be a binocular type instead of the monocular type as shown in FIG.
本体部30は、撮像装置13と、慣性センサー14と、AR提供装置20とを制御し、全体としてヘッドマウントディスプレイとして機能させるために必要な構成を有する。本体部30の具体的な構成については後述する。   The main body 30 has a configuration necessary for controlling the imaging device 13, the inertial sensor 14, and the AR providing device 20 to function as a head-mounted display as a whole. A specific configuration of the main body 30 will be described later.
(本体部30の具体的な構成)
次に、本体部30の具体的な構成について説明する。
(Specific configuration of main body 30)
Next, a specific configuration of the main body 30 will be described.
図2に示すとおり、本体部30は、CPU(Central Processing Unit)31と、メモリー32と、ストレージ33と、入力装置34と、駆動装置35と、表示コントローラー36とを備える。   As shown in FIG. 2, the main body 30 includes a CPU (Central Processing Unit) 31, a memory 32, a storage 33, an input device 34, a drive device 35, and a display controller 36.
CPU31は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するプロセッサ等から構成される制御回路であり、HMD装置10の各機能は、それに対応するプログラムをCPU31が実行することにより発揮される。   The CPU 31 is a control circuit composed of a processor or the like that controls the above-described units and executes various arithmetic processes according to a program. Each function of the HMD device 10 is exhibited by the CPU 31 executing a corresponding program. The
メモリー32は、作業領域として一時的にプログラムおよびデータを記憶する高速アクセス可能な主記憶装置である。メモリー32には、たとえば、DRAM(Dymamic Random Access Memory)、SDRAM(Synchronous Dymamic Random Access Memory)、SRAM(Static Random Access Memory)等が採用される。   The memory 32 is a high-speed accessible main storage device that temporarily stores programs and data as a work area. As the memory 32, for example, a DRAM (Dynamic Random Access Memory), an SDRAM (Synchronous Dynamic Access Memory), an SRAM (Static Random Access Memory), or the like is adopted.
ストレージ33は、オペレーティングシステムを含む各種プログラムや各種データを格納する大容量の補助記憶装置である。ストレージ13には、たとえば、フラッシュメモリー等が採用される。   The storage 33 is a large-capacity auxiliary storage device that stores various programs including an operating system and various data. For example, a flash memory or the like is employed as the storage 13.
入力装置34は、HMD装置10の電源投入などの指示を入力するための物理的なキーやボタンにより構成される。また、入力装置34として、外部のコントローラー(たとえば、スマートフォン、リモートコントローラーなど)を利用してもよい。   The input device 34 includes physical keys and buttons for inputting instructions such as turning on the power of the HMD device 10. Moreover, you may utilize an external controller (for example, a smart phone, a remote controller, etc.) as the input device 34. FIG.
駆動装置35は、表示装置21およびレンズ22を光軸方向に移動させる装置である。駆動装置35には、たとえば、ステッピングモータ、ボイスコイルモータ等が採用される。   The drive device 35 is a device that moves the display device 21 and the lens 22 in the optical axis direction. For the drive device 35, for example, a stepping motor, a voice coil motor, or the like is employed.
表示コントローラー36は、AR画像などを表示装置21に表示させる。たとえば、表示コントローラー36は、所定の表示周期毎にメモリー32からAR画像を読み出して、表示装置21へ入力するための信号に変換するとともに、水平同期信号、垂直同期信号などのパルス信号を生成する。   The display controller 36 causes the display device 21 to display an AR image or the like. For example, the display controller 36 reads out an AR image from the memory 32 every predetermined display period, converts it into a signal for input to the display device 21, and generates a pulse signal such as a horizontal synchronizing signal and a vertical synchronizing signal. .
以上のようなハードウェア構成を有するHMD装置10は、以下の機能構成を有する。   The HMD device 10 having the hardware configuration as described above has the following functional configuration.
図3は、HMD装置の機能構成例を示すブロック図である。   FIG. 3 is a block diagram illustrating a functional configuration example of the HMD device.
<HMD装置10(機能構成)>
図3に示すとおり、HMD装置10は、機能構成として、制御部41と、揺れ検出部42と、撮像制御部43と、揺れ量算出部44と、追跡部45と、歪補正部46と、表示制御部47と、アプリケーション部48とを有する。
<HMD device 10 (functional configuration)>
As shown in FIG. 3, the HMD device 10 includes, as a functional configuration, a control unit 41, a shake detection unit 42, an imaging control unit 43, a shake amount calculation unit 44, a tracking unit 45, a distortion correction unit 46, A display control unit 47 and an application unit 48 are provided.
以下、各機能部41〜48について具体的に説明する。なお、各機能部41〜48は、CPU31が、ストレージ33にインストールされているプログラムをメモリー32に読み出して実行することにより実現される。また、これに限らず、ASIC等のハードウェアにより実現されてもよい。   Hereinafter, the functional units 41 to 48 will be described in detail. The function units 41 to 48 are realized by the CPU 31 reading out a program installed in the storage 33 to the memory 32 and executing the program. Further, the present invention is not limited to this, and hardware such as ASIC may be used.
制御部41は、HMD装置10全体を制御する。   The control unit 41 controls the entire HMD device 10.
揺れ検出部42は、HMD装置10を装着している観察者の揺れを検出する。たとえば、揺れ検出部42は、第一位置Aに設置された慣性センサー14のセンサー値を取得して、観察者の揺れを検出する。   The shake detection unit 42 detects the shake of the observer wearing the HMD device 10. For example, the shake detection unit 42 acquires the sensor value of the inertial sensor 14 installed at the first position A, and detects the observer's shake.
撮像制御部43は、第二位置Bに設置された撮像装置13を制御して、外界を撮像する。これにより、撮像画像が生成される。   The imaging control unit 43 controls the imaging device 13 installed at the second position B to image the outside world. Thereby, a captured image is generated.
揺れ量算出部44は、揺れ検出部42によって検出された揺れ量に基づいて、撮像装置13の揺れ量を算出する。   The shaking amount calculation unit 44 calculates the shaking amount of the imaging device 13 based on the shaking amount detected by the shaking detection unit 42.
追跡部45は、揺れ量算出部44によって算出された撮像装置13の揺れ量に基づいて、撮像画像における所定の対象(たとえば、人など)を追跡する。   The tracking unit 45 tracks a predetermined target (for example, a person) in the captured image based on the shaking amount of the imaging device 13 calculated by the shaking amount calculation unit 44.
歪補正部46は、撮像装置13のカメラレンズの特性によって撮像画像に生じる歪みを補正する。   The distortion correction unit 46 corrects distortion generated in the captured image due to the characteristics of the camera lens of the imaging device 13.
表示制御部47は、表示装置21およびレンズ22の位置を移動させると共に、表示装置21の表示内容を変更することによって、観察者の視界範囲内の任意の位置にAR画像が存在しているかのような表示を行う。   The display control unit 47 moves the positions of the display device 21 and the lens 22 and changes the display content of the display device 21 to determine whether an AR image exists at an arbitrary position within the visual field range of the observer. Display like this.
アプリケーション部48は、AR画像の表示を伴う各種機能を提供する。たとえば、アプリケーション部48は、追跡部45によって追跡されている所定の対象(たとえば、人など)の近傍に、AR画像(名前、勤務先などの情報を含むポップアップ画像など)が存在するように表示する。   The application unit 48 provides various functions involving display of AR images. For example, the application unit 48 displays an AR image (such as a pop-up image including information such as a name and work place) in the vicinity of a predetermined target (for example, a person) tracked by the tracking unit 45. To do.
各機能部41〜48の詳細な動作については以下に詳述する。   Detailed operations of the functional units 41 to 48 will be described in detail below.
<HMD装置10の動作>
図4は、HMD装置において実行されるAR画像表示処理の手順を示すフローチャートである。図5は、観察者の頭部に装着されたHMD装置と、初期設定により設定される座標系の例を示す図である。図6は、撮像画像の例を示す図である。図7は、撮像装置の揺れ量を算出する方法について説明するための図である。図7(A)は、観察者が揺れる前のHMD装置の状態を示す図であり、図7(B)は、観察者が揺れた後のHMD装置の状態を示す図である。図8は、歪補正について説明するための図である。図9は、追跡処理について説明するための図である。図10は、撮像画像の一部の画素に対して歪補正および追跡処理を行う方法について説明するための図である。図10(A)は、歪補正および追跡処理の対象となる領域の例を示す図であり、図10(B)は、歪補正および追跡処理の対象となる領域の補正例を示す図である。図11は、AR画像の表示例を示す図である。
<Operation of HMD Device 10>
FIG. 4 is a flowchart showing a procedure of AR image display processing executed in the HMD device. FIG. 5 is a diagram illustrating an example of an HMD device mounted on the observer's head and a coordinate system set by initial setting. FIG. 6 is a diagram illustrating an example of a captured image. FIG. 7 is a diagram for explaining a method of calculating the amount of shaking of the imaging apparatus. FIG. 7A is a diagram showing a state of the HMD device before the observer shakes, and FIG. 7B is a diagram showing a state of the HMD device after the observer is shaken. FIG. 8 is a diagram for explaining the distortion correction. FIG. 9 is a diagram for explaining the tracking process. FIG. 10 is a diagram for describing a method of performing distortion correction and tracking processing on a part of pixels of a captured image. FIG. 10A is a diagram illustrating an example of a region that is a target of distortion correction and tracking processing, and FIG. 10B is a diagram illustrating a correction example of a region that is a target of distortion correction and tracking processing. . FIG. 11 is a diagram illustrating a display example of an AR image.
以下、図4〜図11を参照して、AR画像表示処理の手順について説明する。   Hereinafter, the procedure of the AR image display process will be described with reference to FIGS.
(AR画像表示処理)
たとえば、HMD装置10は、本体の電源が投入されると、図4に示すAR画像表示処理を開始する。ただし、AR画像表示処理を開始するタイミングは、これに限定されず、入力装置34に対してAR画像表示処理を開始するための操作がなされたときに、AR画像表示処理を開始してもよい。また、HMD装置10が観察者の頭部に装着されたことを検知したときにAR画像表示処理を開始してもよい。
(AR image display processing)
For example, when the power of the main body is turned on, the HMD device 10 starts the AR image display process shown in FIG. However, the timing of starting the AR image display process is not limited to this, and the AR image display process may be started when an operation for starting the AR image display process is performed on the input device 34. . Alternatively, the AR image display process may be started when it is detected that the HMD device 10 is mounted on the observer's head.
[ステップS101]
AR画像表示処理を開始すると、HMD装置10は、制御部41として機能し、HMD装置10の初期設定を行う。たとえば、HMD装置10は、図5に示す例のように、HMD装置10を頭部に装着した観察者が、外界に実在する立方体形状の物体を観察しているとする。このとき、HMD装置10は、たとえば、観察者の視野の中心を座標原点(0,0,0)として、観察者が直立したときの水平軸をX軸とし、垂直軸をY軸とし、撮像装置13の光軸(撮像方向)をZ軸とする。なお、観察者の視野の中心を座標原点としているのは、HMD装置10がX軸、Y軸、Z軸周りに回転したときの中心点となりやすいからである。また、このような座標系を、観察者基準の座標系XYZと称する。
[Step S101]
When the AR image display process is started, the HMD device 10 functions as the control unit 41 and performs initial setting of the HMD device 10. For example, in the HMD device 10, as in the example illustrated in FIG. 5, it is assumed that an observer wearing the HMD device 10 on the head is observing a cubic object that exists in the outside world. At this time, for example, the HMD device 10 uses the center of the observer's visual field as the coordinate origin (0, 0, 0), the horizontal axis when the observer stands upright as the X axis, and the vertical axis as the Y axis. The optical axis (imaging direction) of the device 13 is taken as the Z axis. The reason why the center of the observer's field of view is the coordinate origin is that the HMD device 10 is likely to be the center point when it rotates around the X, Y, and Z axes. Such a coordinate system is referred to as an observer-based coordinate system XYZ.
[ステップS102]
次に、HMD装置10は、撮像制御部43として機能し、外界を撮像する。具体的には、HMD装置10は、撮像装置13を制御して撮像を開始することにより、カメラレンズの光軸方向の撮像画像を生成する。たとえば、図5に示すような状況において、撮像装置13によりカメラレンズの光軸方向(Z方向)の風景が撮像されると、図6に示す例のような撮像画像が生成される。そして、HMD装置10は、生成した撮像画像をメモリー32やストレージ33に記憶する。
[Step S102]
Next, the HMD device 10 functions as the imaging control unit 43 and images the outside world. Specifically, the HMD device 10 controls the imaging device 13 to start imaging, thereby generating a captured image in the optical axis direction of the camera lens. For example, in the situation shown in FIG. 5, when a scene in the optical axis direction (Z direction) of the camera lens is imaged by the imaging device 13, a captured image like the example shown in FIG. The HMD device 10 stores the generated captured image in the memory 32 or the storage 33.
[ステップS103]
続いて、HMD装置10は、揺れ検出部42として機能し、慣性センサー14からセンサー値を取得する。たとえば、HMD装置10は、慣性センサー14の位置におけるXYZ軸の三方向の加速度を取得する。
[Step S103]
Subsequently, the HMD device 10 functions as the shake detection unit 42 and acquires a sensor value from the inertial sensor 14. For example, the HMD device 10 acquires accelerations in the three directions of the XYZ axes at the position of the inertial sensor 14.
[ステップS104]
次に、HMD装置10は、揺れ検出部42として機能し、HMD装置10を装着している観察者の揺れを検出する。具体的には、HMD装置10は、観察者が揺れているか否か判別する。たとえば、HMD装置10は、ステップS103において取得されたセンサー値が、所定閾値を超えている場合には観察者が揺れていると判別し、所定閾値未満である場合には観察者は揺れていないと判別する。
[Step S104]
Next, the HMD device 10 functions as the shake detection unit 42 and detects the shake of the observer wearing the HMD device 10. Specifically, the HMD device 10 determines whether or not the observer is shaking. For example, the HMD device 10 determines that the observer is shaking if the sensor value acquired in step S103 exceeds a predetermined threshold, and the observer is not shaking if the sensor value is less than the predetermined threshold. Is determined.
HMD装置10は、以上のように観察者が揺れていると判別した場合には(ステップS104:YES)、処理をステップS105に進める。また、HMD装置10は、観察者が揺れていないと判別した場合には(ステップS104:NO)、処理をステップS102に戻し、観察者の揺れが検出されるまでは、ステップS102、S103の処理を繰り返す。   When the HMD device 10 determines that the observer is shaking as described above (step S104: YES), the process proceeds to step S105. If the HMD device 10 determines that the observer is not shaken (step S104: NO), the process returns to step S102, and the processes of steps S102 and S103 are performed until the observer shake is detected. repeat.
[ステップS105]
HMD装置10は、揺れ量算出部44として機能し、ステップS104において検出された観察者の揺れ量に基づいて、撮像装置13の揺れ量を算出する。
[Step S105]
The HMD device 10 functions as the shaking amount calculation unit 44 and calculates the shaking amount of the imaging device 13 based on the shaking amount of the observer detected in step S104.
たとえば、揺れる前の慣性センサー14の第一位置Aの座標を(X,Y,Z)とすると(図7(A))、観察者の頭部の揺れにより、慣性センサー14はA’(X’,Y’,Z’)へと移動する(図7(B))。 For example, assuming that the coordinates of the first position A of the inertial sensor 14 before shaking are (X A , Y A , Z A ) (FIG. 7 (A)), the inertial sensor 14 is A when the observer's head shakes. It moves to '(X A ', Y A ', Z A ') (FIG. 7B).
このとき、HMD装置10は、A’=R・Aの関係式が満たされると仮定して、Rを求める。ただし、Rは、Z軸周りにα(deg)回転させる回転行列であり、以下の行列式(数式1)で表される。 At this time, the HMD device 10 obtains R Z on the assumption that the relational expression of A ′ = R Z · A is satisfied. Here, R Z is a rotation matrix that rotates α (deg) around the Z axis, and is represented by the following determinant (Formula 1).
ここで、Z軸周りの回転角α(deg)は、ステップS103において取得されたセンサー値(XYZ軸の三方向の加速度)を用いて求めることができる。具体的には、HMD装置10は、XYZ軸の三方向の加速度をそれぞれ積分することにより、慣性センサー14のXY平面での移動量(XY平面内においてAからA’へ向かう方向ベクトル)を求める。そして、HMD装置10は、揺れる前の慣性センサー14の第一位置Aの座標に、求めた移動量(方向ベクトル)を加えて、揺れた後の慣性センサー14の位置の座標A’を求める。次に、HMD装置10は、AとA’の位置関係に基づき(たとえば、A・A’=|A||A’|・cosαなどの関係式により)、Z軸周りの回転角α(deg)を求める。このようにZ軸周りの回転角α(deg)が求められ、上記のRが求まる。 Here, the rotation angle α (deg) around the Z axis can be obtained by using the sensor value (acceleration in three directions of the XYZ axes) acquired in step S103. Specifically, the HMD device 10 determines the amount of movement of the inertial sensor 14 on the XY plane (direction vector from A to A ′ in the XY plane) by integrating the accelerations in the three directions of the XYZ axes. . Then, the HMD device 10 adds the obtained movement amount (direction vector) to the coordinates of the first position A of the inertial sensor 14 before shaking to obtain the coordinate A ′ of the position of the inertial sensor 14 after shaking. Next, based on the positional relationship between A and A ′ (for example, by a relational expression such as A · A ′ = | A || A ′ | · cosα), the HMD device 10 rotates the rotation angle α (deg) around the Z axis. ) Thus, the rotation angle α (deg) around the Z axis is obtained, and the above R Z is obtained.
そして、以上のように慣性センサー14が回転すると、これに伴い、撮像装置13もR回転する。そのため、揺れる前の撮像装置13の第二位置Bの座標を(X,Y,Z)とし(図7(A))、揺れた後にB’(X’,Y’,Z’)へ移動する(図7(B))としたとき、B’=R・Bの関係式が成立する。そこで、HMD装置10は、揺れる前の撮像装置13の第二位置Bの座標(X,Y,Z)にRを乗じて、揺れた後の撮像装置13の位置B’を求めることができる。 Then, when the rotational inertia sensor 14 as described above, with this, the image pickup apparatus 13 is also rotated R Z. Therefore, the coordinates of the second position B of the imaging device 13 before shaking are set to (X B , Y B , Z B ) (FIG. 7A), and B ′ (X B ′, Y B ′, Z after shaking). When moving to B ′) (FIG. 7B), the relational expression of B ′ = R Z · B is established. Therefore, the HMD device 10 obtains the position B ′ of the imaging device 13 after shaking by multiplying the coordinates (X B , Y B , Z B ) of the second position B of the imaging device 13 before shaking by R Z. be able to.
また、HMD装置10は、上記のようなZ軸周りの回転に限らず、X軸周り、Y軸周りにも回転する。そのため、上記のRと同様の方法により、X軸周りにβ(deg)回転させる回転行列R、Y軸周りにγ(deg)回転させる回転行列Rについても求められる。ただし、Rは、以下の行列式(数式2)で表され、Rは、以下の行列式(数式3)で表される。 Further, the HMD device 10 rotates not only around the Z axis as described above but also around the X axis and around the Y axis. Therefore, the rotation matrix R X that rotates β (deg) around the X axis and the rotation matrix R Y that rotates γ (deg) around the Y axis are also obtained by the same method as R Z described above. However, R X is represented by the following determinant (Formula 2), and R Y is represented by the following determinant (Formula 3).
そして、HMD装置10は、XYZ軸方向の回転行列R、R、RをそれぞれBに乗じれば、揺れた後の撮像装置13の三次元空間での位置B’が求められる。すなわち、HMD装置10は、B’=R・R・R・Bの演算を実行すればよい。その後、HMD装置10は、撮像装置13の揺れ量として、B−B’間の距離(方向ベクトル)を求める。そして、HMD装置10は、求めた撮像装置13の揺れ量をメモリー32やストレージ33に記憶する。 Then, the HMD device 10 obtains the position B ′ in the three-dimensional space of the image pickup device 13 after shaking by multiplying B by the rotation matrices R X , R Y , and R Z in the XYZ axis directions. That is, the HMD device 10 may perform the operation of B ′ = R X · R Y · R Z · B. Thereafter, the HMD device 10 obtains a distance (direction vector) between BB ′ as the amount of shaking of the imaging device 13. Then, the HMD device 10 stores the obtained shaking amount of the imaging device 13 in the memory 32 or the storage 33.
[ステップS106]
次に、HMD装置10は、歪補正部46として機能し、撮像装置13のカメラレンズの特性によって撮像画像に生じる歪みを補正する。たとえば、HMD装置10は、図8(A)に示すような歪みのある撮像画像から一画素ずつ読み出し、図8(B)に示す歪みのない画像となるように所定の位置に移動させる補正を行う。
[Step S106]
Next, the HMD device 10 functions as the distortion correction unit 46 and corrects distortion generated in the captured image due to the characteristics of the camera lens of the imaging device 13. For example, the HMD device 10 performs correction for reading out one pixel at a time from a distorted captured image as shown in FIG. 8A and moving it to a predetermined position so as to obtain an image without distortion as shown in FIG. 8B. Do.
ただし、本実施形態では、歪補正の高速化、CPU31にかかる負荷の軽減、メモリー32の使用率低下などを目的として、撮像装置13の揺れ量に基づいて、歪みを補正する撮像画像の範囲を限定する。すなわち、撮像画像の全ての画素に対して歪補正せず、一部の画素に対してのみ歪補正を実施する。たとえば、HMD装置10は、図10(A)に示すように、所定の対象(たとえば、立方体形状の物体など)の全体が含まれる領域(破線内)Mを撮像画像の中から抽出して、歪補正を実施する。また、ステップS104において観察者の揺れが検出された場合には、図10(B)に示すように、撮像画像内において立方体形状の物体は移動しているため、上記の領域Mも移動させる。具体的には、HMD装置10は、ステップS105において求めた撮像装置13の揺れ量分、領域Mを領域M’(実線内)へ移動させる。そして、HMD装置10は、歪補正により領域M’内に収まる可能性がある画素に対してのみ歪補正を実施する。   However, in this embodiment, for the purpose of speeding up the distortion correction, reducing the load on the CPU 31, reducing the usage rate of the memory 32, and the like, the range of the captured image for correcting the distortion based on the amount of shaking of the imaging device 13 is set. limit. That is, distortion correction is performed only for some pixels without correcting distortion for all pixels of the captured image. For example, as shown in FIG. 10 (A), the HMD device 10 extracts a region (within a broken line) M including the entire predetermined target (for example, a cubic object) from the captured image, Perform distortion correction. If the observer's shaking is detected in step S104, as shown in FIG. 10B, the cube-shaped object is moving in the captured image, and thus the region M is also moved. Specifically, the HMD device 10 moves the region M to the region M ′ (in the solid line) by the amount of shaking of the imaging device 13 obtained in step S105. Then, the HMD device 10 performs distortion correction only on pixels that may fall within the region M ′ due to distortion correction.
[ステップS107]
その後、HMD装置10は、追跡部45として機能し、揺れ量算出部44によって算出された撮像装置13の揺れ量に基づいて、撮像画像における所定の対象(たとえば、図6に示す立方体形状の物体や人など)を追跡する。具体的には、HMD装置10は、異なるタイミングで撮像された複数枚の撮像画像を比較して、所定の対象を追跡する。たとえば、図9に示す例のように、HMD装置10は、連続して撮像された二枚の撮像画像を読み出して比較(マッチング)し、先に撮像された撮像画像内に存在していた所定の対象が、後で撮像された撮像画像内のどこに移動したのか特定する。
[Step S107]
After that, the HMD device 10 functions as the tracking unit 45, and based on the shake amount of the imaging device 13 calculated by the shake amount calculation unit 44, a predetermined target in the captured image (for example, a cubic object shown in FIG. 6). And people). Specifically, the HMD device 10 tracks a predetermined target by comparing a plurality of captured images captured at different timings. For example, as in the example illustrated in FIG. 9, the HMD device 10 reads and compares (matches) two captured images that are continuously captured, and the predetermined image that was present in the previously captured image. It is specified where the target of has moved in the captured image captured later.
ただし、追跡処理の高速化、CPU31にかかる負荷の軽減、メモリー32の使用率低下などを目的として、撮像装置13の揺れ量に基づいて、所定の対象を追跡するために比較する撮像画像の範囲を限定する。すなわち、撮像画像全体から追跡の対象を検索せず、撮像画像の一部の領域から検索する。具体的には、HMD装置10は、図10(B)に示すように、上記の領域M’から追跡の対象を検索する。   However, for the purpose of speeding up the tracking process, reducing the load on the CPU 31, and reducing the usage rate of the memory 32, the range of captured images to be compared to track a predetermined target based on the amount of shaking of the imaging device 13 Limit. That is, the search target is not searched from the entire captured image, but is searched from a partial region of the captured image. Specifically, as shown in FIG. 10B, the HMD device 10 searches for the tracking target from the region M ′.
[ステップS108]
次に、HMD装置10は、アプリケーション部48および表示制御部47として機能し、ステップS107において追跡された所定の対象の近傍にAR画像が存在しているかのように表示装置21に表示する。たとえば、図11に示すように、追跡の対象となっている人物の横に名前(「Aさん」というポップアップ画像)を表示することも可能である。
[Step S108]
Next, the HMD device 10 functions as the application unit 48 and the display control unit 47, and displays the AR image on the display device 21 as if the AR image exists in the vicinity of the predetermined target tracked in step S107. For example, as shown in FIG. 11, a name (a pop-up image “Mr. A”) can be displayed next to a person to be tracked.
[ステップS109]
その後、HMD装置10は、制御部41として機能し、AR画像表示処理を終了する指示が観察者よりなされたか否か判別する。具体的には、HMD装置10は、入力装置34に対してAR画像表示処理を終了する操作がなされたか否かに応じて判別すればよい。
[Step S109]
Thereafter, the HMD device 10 functions as the control unit 41 and determines whether or not an instruction to end the AR image display process has been given by the observer. Specifically, the HMD device 10 may determine whether or not the input device 34 has been operated to end the AR image display process.
HMD装置10は、AR画像表示処理を終了する指示がなされていない場合には(ステップS109:NO)、処理をステップS102に戻し、AR画像表示処理を継続する。一方、HMD装置10は、AR画像表示処理を終了する指示がなされた場合には(ステップS109:YES)、AR画像表示処理を終了する。   If there is no instruction to end the AR image display process (step S109: NO), the HMD device 10 returns the process to step S102 and continues the AR image display process. On the other hand, when an instruction to end the AR image display process is given (step S109: YES), the HMD device 10 ends the AR image display process.
以上のAR画像表示処理がHMD装置10において実行されることにより、観察者の揺れを検出したとき撮像装置13の揺れ量を算出し、この揺れ量に基づいて撮像画像内における特定の対象(たとえば、人など)を追跡する。このとき、慣性センサー14の揺れ量をそのまま用いるのではなく、慣性センサー14の揺れ量に対する撮像装置13の相対的な揺れ量を算出している。これにより、慣性センサー14と撮像装置13の取り付け位置(相対位置)によらず、撮像装置13の揺れ量を正確に算出できる。そして、このように正確に算出された撮像装置13の揺れ量に基づいて撮像画像内の特定の対象を追跡しているため、特定の対象の位置および形状を精度良く認識可能になる。その結果、図11に示すようなポップアップ画像の表示を行ったときでも、観察者にとって自然な表示が可能になる。また、撮像装置13の揺れ量を考慮しているため、歪補正および追跡処理の範囲を撮像画像内の一部の領域に限定できる。そのため、処理を高速化でき、CPUにかかる負荷を軽減でき、さらにメモリー効率も向上できる。   The AR image display process described above is executed in the HMD device 10 to calculate the amount of shaking of the imaging device 13 when an observer's shaking is detected, and based on this amount of shaking, a specific target (for example, in the captured image) , People, etc.). At this time, the amount of shaking of the inertial sensor 14 is not used as it is, but the amount of shaking of the imaging device 13 relative to the amount of shaking of the inertial sensor 14 is calculated. Thereby, the amount of shaking of the imaging device 13 can be accurately calculated regardless of the attachment position (relative position) of the inertial sensor 14 and the imaging device 13. Since the specific target in the captured image is tracked based on the shake amount of the imaging device 13 accurately calculated in this way, the position and shape of the specific target can be recognized with high accuracy. As a result, even when a pop-up image as shown in FIG. 11 is displayed, a natural display for the observer is possible. In addition, since the amount of shaking of the imaging device 13 is taken into consideration, the range of distortion correction and tracking processing can be limited to a part of the region in the captured image. Therefore, the processing can be speeded up, the load on the CPU can be reduced, and the memory efficiency can be improved.
上記したフローチャートの各処理単位は、HMD装置10の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。HMD装置10で行われる処理は、さらに多くの処理ステップに分割することもできる。また、1つの処理ステップが、さらに多くの処理を実行してもよい。   Each processing unit in the above-described flowchart is divided according to main processing contents in order to facilitate understanding of the HMD device 10. The invention of the present application is not limited by the method of classification of the processing steps and the names thereof. The processing performed in the HMD device 10 can be divided into more processing steps. One processing step may execute more processes.
<変形例>
なお、上記の実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。多くの代替物、修正、変形例は当業者にとって明らかである。
<Modification>
In addition, said embodiment intends to illustrate the summary of this invention, and does not limit this invention. Many alternatives, modifications, and variations will be apparent to those skilled in the art.
たとえば、上記実施形態では、HMD装置10は、ステップS108において、追跡の対象となっている人物の横に名前(「Aさん」というポップアップ画像)を表示している(図11)。しかし、本発明は、これに限定されない。たとえば、HMD装置10は、追跡の対象にAR画像(「キャンセル画像」と称する)を重ねて表示して、観察者からは追跡の対象が見えないようにすることもできる。   For example, in the above-described embodiment, the HMD device 10 displays a name (a pop-up image “Mr. A”) beside the person to be tracked in step S108 (FIG. 11). However, the present invention is not limited to this. For example, the HMD device 10 may display an AR image (referred to as a “cancel image”) superimposed on the tracking target so that the tracking target is not visible to the observer.
図12は、キャンセル画像の例を示す図である。図12(A)は、キャンセル画像が表示されていない状態における観察者の視界を示す図であり、図12(B)は、キャンセル画像が重ねて表示された状態における観察者の視界を示す図である。   FIG. 12 is a diagram illustrating an example of a cancel image. FIG. 12A is a diagram illustrating the observer's field of view in a state where the cancel image is not displayed, and FIG. 12B is a diagram illustrating the observer's field of view in a state where the cancel image is displayed in an overlapping manner. It is.
図12(A)に示す樹木のように追跡の対象が複雑な形状をしている場合には、キャンセル画像を正確に重ねることが難しい。しかし、上記実施形態のように、正確に算出された撮像装置13の揺れ量に基づいて撮像画像内の特定の対象を追跡していれば、樹木のような複雑な形状であっても、キャンセル画像を正確に重ねることができる(図12(B))。   When the tracking target has a complicated shape like the tree shown in FIG. 12A, it is difficult to accurately overlay the cancel images. However, if a specific target in the captured image is tracked based on the accurately calculated shake amount of the imaging device 13 as in the above-described embodiment, even if the shape is a complicated shape such as a tree, cancellation is possible. Images can be accurately superimposed (FIG. 12B).
また、上記実施形態および変形例では、HMD装置10は、シースルー型の画像表示装置としている。しかし、本発明は、これに限定されず、HMD装置10は、非透過型の画像表示装置であってもよい。   In the embodiment and the modification, the HMD device 10 is a see-through image display device. However, the present invention is not limited to this, and the HMD device 10 may be a non-transmissive image display device.
また、上記実施形態および変形例では、歪補正(ステップS106)と追跡処理(ステップS107)を逐次的に処理している。しかし、本発明は、これに限定されず、歪補正と追跡処理を並行して行ってもよい。この場合には、HMD装置10は、撮像画像から一画素読み出す毎に、歪補正と、所定の対象を追跡するために他の撮像画像と比較(マッチング)する処理と、を共に行う。   In the above-described embodiment and modification, distortion correction (step S106) and tracking processing (step S107) are sequentially performed. However, the present invention is not limited to this, and distortion correction and tracking processing may be performed in parallel. In this case, every time one pixel is read from the captured image, the HMD device 10 performs both distortion correction and a process of comparing (matching) with another captured image in order to track a predetermined target.
また、上記実施形態では、回転行列R、R、Rを用いて、慣性センサー14に対する撮像装置13の相対的な位置を求めている。しかし、本発明は、これに限定されず、撮像装置13の正確な位置が求められるならば、他の計算方法により求めてもよい。 In the embodiment, the relative position of the imaging device 13 with respect to the inertial sensor 14 is obtained using the rotation matrices R X , R Y , and R Z. However, the present invention is not limited to this, and may be obtained by another calculation method as long as the accurate position of the imaging device 13 is obtained.
以上のHMD装置10の構成は、上記の実施形態および変形例の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。また、一般的なHMD装置10が備える構成を排除するものではない。   The above-described configuration of the HMD device 10 has described the main configuration in describing the features of the above-described embodiments and modifications, and is not limited to the above-described configuration. Further, the configuration of the general HMD device 10 is not excluded.
また、上記したHMD装置10の各機能構成は、各機能構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。各機能構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、一つの構成要素がさらに多くの処理を実行するように分類することもできる。   In addition, each functional configuration of the HMD device 10 described above is classified according to main processing contents in order to facilitate understanding of each functional configuration. The present invention is not limited by the way of classification and names of the constituent elements. Each functional configuration can be classified into more components according to the processing content. Moreover, it can also classify | categorize so that one component may perform more processes.
また、上記したHMD装置10の各機能構成の処理は、専用のハードウェア回路によっても実現することもできる。この場合には、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。   The processing of each functional configuration of the HMD device 10 described above can also be realized by a dedicated hardware circuit. In this case, it may be executed by one hardware or a plurality of hardware.
また、HMD装置10を動作させるプログラムは、USBメモリー、フレキシブルディスク、CD−ROM等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリー32やストレージ33等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、HMD装置10の一機能としてその各装置のソフトウェアに組み込んでもよい。   The program for operating the HMD device 10 may be provided by a computer-readable recording medium such as a USB memory, a flexible disk, or a CD-ROM, or may be provided online via a network such as the Internet. . In this case, the program recorded on the computer-readable recording medium is usually transferred and stored in the memory 32, the storage 33, or the like. Further, this program may be provided as, for example, a single application software, or may be incorporated in the software of each device as one function of the HMD device 10.
10 HMD装置、
11 フレーム、
12 透明部材、
13 撮像装置、
14 慣性センサー、
20 AR提供装置、
21 表示装置、
22 レンズ、
30 本体部、
31 CPU、
32 メモリー、
33 ストレージ、
34 入力装置、
35 駆動装置、
36 表示コントローラー、
41 制御部、
42 揺れ検出部、
43 撮像制御部、
44 揺れ量算出部、
45 追跡部、
46 歪補正部、
47 表示制御部、
48 アプリケーション部。
10 HMD device,
11 frames,
12 Transparent member,
13 imaging device,
14 Inertial sensor,
20 AR providing device,
21 display device,
22 lenses,
30 body part,
31 CPU,
32 memory,
33 storage,
34 input devices,
35 drive unit,
36 Display controller,
41 control unit,
42 Shake detection unit,
43 imaging control unit,
44 Shaking amount calculation unit,
45 Tracking unit,
46 Distortion corrector,
47 display control unit,
48 Application part.

Claims (18)

  1. 観察者に装着して利用される画像表示装置であって、
    本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、
    前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、
    前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出する揺れ量算出部と、
    前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡する追跡部と、
    を備える画像表示装置。
    An image display device used by being attached to an observer,
    A shake detection unit that is installed at a first position of the main body part and detects the shake of the observer;
    An imaging unit that is installed at a second position different from the first position of the main body part, images the outside world, and generates a captured image;
    Based on the shake amount detected by the shake detection unit, a shake amount calculation unit that calculates the shake amount of the imaging unit;
    A tracking unit that tracks a predetermined target in the captured image based on the amount of shaking of the imaging unit calculated by the shaking amount calculation unit;
    An image display device comprising:
  2. 前記撮像部は、撮像時にカメラレンズを使用するカメラであって、
    前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正する歪補正部を、さらに備える請求項1に記載の画像表示装置。
    The imaging unit is a camera that uses a camera lens during imaging,
    The image display apparatus according to claim 1, further comprising a distortion correction unit that corrects distortion generated in the captured image due to characteristics of the camera lens.
  3. 前記歪補正部は、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、請求項2に記載の画像表示装置。   The image display device according to claim 2, wherein the distortion correction unit limits a range of the captured image in which distortion is corrected based on the shake amount of the imaging unit calculated by the shake amount calculation unit.
  4. 前記追跡部は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、請求項1〜3のいずれか一項に記載の画像表示装置。   The image display device according to claim 1, wherein the tracking unit tracks the predetermined target by comparing a plurality of the captured images captured at different timings.
  5. 前記追跡部は、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、請求項4に記載の画像表示装置。   5. The tracking unit according to claim 4, wherein the tracking unit limits a range of the captured image to be compared in order to track the predetermined target based on a shaking amount of the imaging unit calculated by the shaking amount calculation unit. Image display device.
  6. 前記歪補正部による歪みの補正と、前記追跡部による追跡とが並行して行われる、請求項2〜5のいずれか一項に記載の画像表示装置。   The image display device according to claim 2, wherein the distortion correction by the distortion correction unit and the tracking by the tracking unit are performed in parallel.
  7. 観察者に装着して利用される画像表示装置の本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、
    前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、を備える画像表示装置における画像表示方法であって、
    (a)前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出するステップと、
    (b)前記ステップ(a)によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡するステップと、
    を行う画像表示方法。
    A shake detection unit that is installed at the first position of the main body portion of the image display device used by being attached to the observer, and detects the shake of the observer;
    An image display method in an image display device, the image display device comprising: an imaging unit that is installed at a second position different from the first position of the main body part and images the outside world to generate a captured image;
    (A) calculating a shake amount of the imaging unit based on a shake amount detected by the shake detection unit;
    (B) tracking a predetermined target in the captured image based on the shaking amount of the imaging unit calculated in the step (a);
    Image display method.
  8. 前記撮像部は、撮像時にカメラレンズを使用するカメラであって、
    (c)前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正するステップを、さらに行う請求項7に記載の画像表示方法。
    The imaging unit is a camera that uses a camera lens during imaging,
    The image display method according to claim 7, further comprising: (c) correcting distortion generated in the captured image due to characteristics of the camera lens.
  9. 前記ステップ(c)は、前記ステップ(a)において算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、請求項8に記載の画像表示方法。   The image display method according to claim 8, wherein the step (c) limits a range of the captured image in which distortion is corrected based on the shake amount of the imaging unit calculated in the step (a).
  10. 前記ステップ(b)は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、請求項7〜9のいずれか一項に記載の画像表示方法。   The image display method according to claim 7, wherein the step (b) compares the plurality of captured images captured at different timings to track the predetermined target.
  11. 前記ステップ(b)は、前記ステップ(a)において算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、請求項10に記載の画像表示方法。   The step (b) limits the range of the captured image to be compared to track the predetermined target based on the amount of shaking of the imaging unit calculated in the step (a). The image display method described.
  12. 前記ステップ(c)における歪みの補正と、前記ステップ(b)による追跡とが並行して行われる、請求項8〜11のいずれか一項に記載の画像表示方法。   The image display method according to any one of claims 8 to 11, wherein the distortion correction in the step (c) and the tracking in the step (b) are performed in parallel.
  13. 観察者に装着して利用される画像表示装置の本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、
    前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、を備える画像表示装置として機能するコンピューターに、
    (a)前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出するステップと、
    (b)前記ステップ(a)によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡するステップと、
    を実行させるための画像表示プログラム。
    A shake detection unit that is installed at the first position of the main body portion of the image display device used by being attached to the observer, and detects the shake of the observer;
    In a computer that functions as an image display device, which is installed at a second position different from the first position of the main body portion, and includes an imaging unit that images the outside world and generates a captured image.
    (A) calculating a shake amount of the imaging unit based on a shake amount detected by the shake detection unit;
    (B) tracking a predetermined target in the captured image based on the shaking amount of the imaging unit calculated in the step (a);
    An image display program for executing
  14. 前記撮像部は、撮像時にカメラレンズを使用するカメラであって、
    (c)前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正するステップを、さらに前記コンピューターに実行させる請求項13に記載の画像表示プログラム。
    The imaging unit is a camera that uses a camera lens during imaging,
    The image display program according to claim 13, further causing the computer to execute a step of correcting (c) distortion generated in the captured image due to characteristics of the camera lens.
  15. 前記ステップ(c)は、前記ステップ(a)において算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、請求項14に記載の画像表示プログラム。   The image display program according to claim 14, wherein the step (c) limits a range of the captured image in which distortion is corrected based on the amount of shaking of the imaging unit calculated in the step (a).
  16. 前記ステップ(b)は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、請求項13〜15のいずれか一項に記載の画像表示プログラム。   The image display program according to any one of claims 13 to 15, wherein the step (b) compares the plurality of captured images captured at different timings to track the predetermined target.
  17. 前記ステップ(b)は、前記ステップ(a)において算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、請求項16に記載の画像表示プログラム。   The step (b) limits the range of the captured image to be compared to track the predetermined target based on the amount of shaking of the imaging unit calculated in the step (a). The image display program described.
  18. 前記ステップ(c)における歪みの補正と、前記ステップ(b)による追跡とが並行して行われる、請求項14〜17のいずれか一項に記載の画像表示プログラム。   The image display program according to any one of claims 14 to 17, wherein the distortion correction in the step (c) and the tracking in the step (b) are performed in parallel.
JP2013193533A 2013-09-18 2013-09-18 Image display device, image display method, and image display program Pending JP2015061200A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013193533A JP2015061200A (en) 2013-09-18 2013-09-18 Image display device, image display method, and image display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013193533A JP2015061200A (en) 2013-09-18 2013-09-18 Image display device, image display method, and image display program

Publications (1)

Publication Number Publication Date
JP2015061200A true JP2015061200A (en) 2015-03-30

Family

ID=52818398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013193533A Pending JP2015061200A (en) 2013-09-18 2013-09-18 Image display device, image display method, and image display program

Country Status (1)

Country Link
JP (1) JP2015061200A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101810039B1 (en) * 2015-12-31 2018-01-18 홍익대학교 산학협력단 Visual Aid System

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239791A (en) * 2003-02-07 2004-08-26 Japan Science & Technology Agency Position measuring method by zooming
JP2006295626A (en) * 2005-04-12 2006-10-26 Canon Inc Fish-eye image processing apparatus, method thereof and fish-eye imaging apparatus
JP2009081496A (en) * 2007-09-25 2009-04-16 Hitachi Ltd In-vehicle camera
WO2009150793A1 (en) * 2008-06-09 2009-12-17 パナソニック株式会社 Imaging device and imaging method
JP2011253324A (en) * 2010-06-01 2011-12-15 Sharp Corp Merchandise information providing terminal and merchandise information providing system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239791A (en) * 2003-02-07 2004-08-26 Japan Science & Technology Agency Position measuring method by zooming
JP2006295626A (en) * 2005-04-12 2006-10-26 Canon Inc Fish-eye image processing apparatus, method thereof and fish-eye imaging apparatus
JP2009081496A (en) * 2007-09-25 2009-04-16 Hitachi Ltd In-vehicle camera
WO2009150793A1 (en) * 2008-06-09 2009-12-17 パナソニック株式会社 Imaging device and imaging method
JP2011253324A (en) * 2010-06-01 2011-12-15 Sharp Corp Merchandise information providing terminal and merchandise information providing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101810039B1 (en) * 2015-12-31 2018-01-18 홍익대학교 산학협력단 Visual Aid System

Similar Documents

Publication Publication Date Title
US10078367B2 (en) Stabilization plane determination based on gaze location
US9892565B2 (en) Reprojection OLED display for augmented reality experiences
US9747726B2 (en) Late stage reprojection
JP6747504B2 (en) Information processing apparatus, information processing method, and program
US10373334B2 (en) Computer program, object tracking method, and object tracking device
WO2020248442A1 (en) Image processing method and apparatus for electronic device, and electronic device
JP2016052114A (en) Image processing system, image processing method, and program
CN108027646B (en) Anti-shaking method and device for terminal display
US10277814B2 (en) Display control method and system for executing the display control method
JP2015061200A (en) Image display device, image display method, and image display program
EP3572916A2 (en) Apparatus, system, and method for accelerating positional tracking of head-mounted displays
EP3349101B1 (en) Movement tracking method and movement tracking system
US10678325B2 (en) Apparatus, system, and method for accelerating positional tracking of head-mounted displays
JP2015100032A (en) Video display device, video presentation method and program
JP2017059196A (en) Virtual reality space video display method and program
WO2020003860A1 (en) Information processing device, information processing method, and program
WO2020071029A1 (en) Information processing device, information processing method, and recording medium
WO2020090316A1 (en) Information processing device, information processing method, and program
JP6515512B2 (en) Display device, display device calibration method, and calibration program
WO2020080177A1 (en) Information processing device, information processing method, and recording medium
JP2017126009A (en) Display control device, display control method, and program
JP5672109B2 (en) Imaging apparatus, imaging method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171024