JP2005050189A

JP2005050189A - Image processing apparatus, method and program code, and storage medium

Info

Publication number: JP2005050189A
Application number: JP2003282560A
Authority: JP
Inventors: Mahoro Anabuki; まほろ穴吹; Kiyohide Sato; 清秀佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-07-30
Filing date: 2003-07-30
Publication date: 2005-02-24

Abstract

<P>PROBLEM TO BE SOLVED: To realize a composite real feeling without causing positional deviation by correcting the measurement error of the position and attitude of a viewpoint by an inertia sensor and, especially, a storage error caused by the lapse of a time. <P>SOLUTION: This image processing apparatus is provided with: an image pickup unit whose positional relation with an object to be measured is fixed; a measuring device for measuring the position and attitude of an image pickup viewpoint; a means for updating calculation information for calculating the position and attitude of the object to be measured based on the output of the measuring device; an update estimating means for storing or estimating the updated contents of the calculating information; and a calculating means for calculating the position and attitude of the object to be measured based on the measured value and the calculation information updated by the updating means. Then, the updating means updates the calculation information based on a pickup image when information associated with the position and attitude of the object to be measured is included in the pickup image, and updates the calculation information based on the estimation result of the update estimating means in the other case. The update estimating means stores the updated contents of the calculation information when information associated with the position and attitude of the object to be measured is included in the pickup image, and estimates the calculation information in the other case. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、計測対象の位置および／または姿勢を出力する画像処理装置およびその方法並びにプログラムコード、記憶媒体に関するものである。 The present invention relates to an image processing apparatus and method for outputting a position and / or orientation of a measurement target, a program code, and a storage medium.

近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした複合現実感（以下、「ＭＲ」（ＭｉｘｅｄＲｅａｌｉｔｙ）と称す）に関する研究が盛んになっている。 In recent years, research on mixed reality (hereinafter referred to as “MR” (Mixed Reality)) aimed at seamless connection between real space and virtual space has become active.

ＭＲとは、現実空間の映像に仮想空間の映像を重ね合わせて、ＭＲを体験するユーザの頭部に装着されたＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）に提示する技術のことである。ＭＲは、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティの世界と現実空間との共存を目的とし、バーチャルリアリティを増強する技術として注目されている。その応用としては、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途などがあり、今までのバーチャルリアリティとは質的に全く異なった新たな分野での利用が期待されている。 MR is a technology that superimposes a virtual space image on a real space image and presents it on an HMD (Head Mounted Display) mounted on the head of a user experiencing MR. MR is attracting attention as a technology that enhances virtual reality for the purpose of coexistence between the real world and the virtual reality world that could only be experienced in a situation separated from the real space. Applications include medical assistance for presenting to the doctor as if the patient's body is seen through, and work assistance for displaying the product assembly procedure on the actual product in the factory. It is expected to be used in new fields that are qualitatively different from virtual reality.

このＭＲの実現において、もっとも重要な課題となっているのが、現実空間と仮想空間との位置を正確に重ね合わせる問題である。この問題は、具体的には、現実空間を観察する視点の位置および姿勢を正確に求める問題に帰着される。この問題は、カメラなどでリアルタイムに撮影した現実空間の映像と仮想空間の映像とをコンピュータ内で重ね合わせる「ビデオシースルー方式」のＭＲの場合には、撮影視点の位置姿勢を求める問題となり、ＨＭＤに現実空間の風景を光学的に透過させつつ、その透過面に仮想空間の映像を表示して観察者の網膜上で両者を重ね合わせる「光学シースルー方式」のＭＲの場合には、観察者視点の位置姿勢を求める問題となる。 In realizing this MR, the most important issue is the problem of accurately overlapping the positions of the real space and the virtual space. Specifically, this problem results in a problem of accurately obtaining the position and orientation of the viewpoint for observing the real space. This problem is a problem of obtaining the position and orientation of the shooting viewpoint in the case of the “video see-through method” MR in which a real-space image captured in real time by a camera or the like and a virtual-space image are superimposed in a computer. In the case of an “optical see-through” MR in which an image of a virtual space is optically transmitted through a real space and an image of the virtual space is displayed on the transmission surface and the both are superimposed on the viewer's retina. This is a problem of obtaining the position and orientation of the.

撮影視点、もしくは、観察者視点の位置および姿勢を求める方法には、磁気センサ（例えば特許文献１）や超音波センサを利用する方法など様々考えられるが、その中の一つに、ジャイロセンサによって計測する姿勢変化の角速度と加速度センサによって計測する移動加速度から位置および姿勢を得る、「慣性航法」と呼ばれる方法がある。また、ジャイロセンサのみを用いて姿勢を計測し、位置は既知の情報としてあらかじめ保持しておく方法もある。こうした、ジャイロセンサや加速度センサといった慣性センサを利用する方法は、磁気センサや超音波センサを利用する方法とは異なり、場所を選ばずに利用することができるので、特に屋外においてＭＲを実現する場合などに有効な方法である。ただし、位置および／または姿勢を算出する過程にセンサ出力値を積分する処理が含まれるため、得られる位置および／または姿勢にセンサ出力値の誤差が蓄積していくという欠点がある。よって、慣性センサを利用してＭＲを実現するためには、この誤差を取り除く処理が必要となる。 Various methods such as a method using a magnetic sensor (for example, Patent Document 1) or an ultrasonic sensor are conceivable as a method for obtaining the position and orientation of a photographing viewpoint or an observer viewpoint. One of them is a gyro sensor. There is a method called “inertial navigation” in which the position and posture are obtained from the angular velocity of the posture change to be measured and the movement acceleration measured by the acceleration sensor. Also, there is a method in which the posture is measured using only the gyro sensor, and the position is held as known information in advance. Unlike the method using a magnetic sensor or an ultrasonic sensor, such a method using an inertial sensor such as a gyro sensor or an acceleration sensor can be used regardless of the location, so that MR is realized particularly outdoors. This is an effective method. However, since the process of calculating the position and / or orientation includes a process of integrating the sensor output value, there is a disadvantage that an error of the sensor output value is accumulated in the obtained position and / or orientation. Therefore, in order to realize MR using an inertial sensor, it is necessary to remove this error.

視点の位置および／または姿勢の計測に蓄積する誤差を取り除く処理としては、慣性センサによる計測以外の方法で得る視点の位置および姿勢に関する情報も利用することで、慣性センサによる計測によって算出した視点の位置および／または姿勢を補正したり、視点の位置および／または姿勢の真値を推定したりする方法がある。 As processing for removing errors accumulated in the measurement of the position and / or orientation of the viewpoint, information on the position and orientation of the viewpoint obtained by a method other than the measurement by the inertial sensor is also used, and the viewpoint calculated by the measurement by the inertial sensor is used. There are methods for correcting the position and / or orientation and estimating the true value of the viewpoint position and / or orientation.

例えば、慣性センサによる計測以外の方法で得る位置および姿勢に関する情報として、現実空間中の位置が既知の特定点の、視点位置から撮影した現実空間画像中の位置を利用することができる。この場合、その特定点を算出した視点の位置および／または姿勢に従って現実空間画像上に投影した位置と、実際に現実空間画像に写る特定点の位置のずれ量から、算出した視点の位置および／または姿勢の補正値を決定することが可能である。また、カルマンフィルタを利用し、現実空間画像に写る特定点の位置を観測値として、視点の位置および／または姿勢の真値を推定するようなシステムを組むことも可能である。
特開２００２−２２８４４２号公報 For example, as the information regarding the position and orientation obtained by a method other than the measurement by the inertial sensor, the position in the real space image taken from the viewpoint position of the specific point whose position in the real space is known can be used. In this case, the position of the calculated viewpoint and / or the position of the calculated viewpoint based on the amount of deviation between the position projected on the real space image according to the calculated position and / or orientation of the viewpoint and the position of the specific point actually reflected in the real space image. Alternatively, the posture correction value can be determined. It is also possible to construct a system that uses the Kalman filter and estimates the true value of the position and / or orientation of the viewpoint using the position of a specific point in the real space image as an observation value.
JP 2002-228442 A

しかし、上記の誤差を取り除く処理には、慣性センサによる計測以外の方法で視点の位置および姿勢に関する情報を取得できなければ、処理が行えないという欠点がある。先に挙げた例で言えば、視点位置から撮影した現実空間画像内に現実空間中の位置が既知の特定点が写っていなければ、視点の位置および／または姿勢の補正や真値の推定を行うことができない。その間に得られる視点の位置および／または姿勢には、刻々と誤差が蓄積していく。 However, the process for removing the error has a drawback that the process cannot be performed unless information on the position and orientation of the viewpoint can be acquired by a method other than the measurement by the inertial sensor. In the above example, if a specific point with a known position in the real space is not shown in the real space image taken from the viewpoint position, the correction of the position and / or orientation of the viewpoint and the estimation of the true value are performed. I can't do it. Errors accumulate in the position and / or orientation of the viewpoint obtained during that time.

本発明は、以上の問題を鑑みてなされたものであり、視点の位置および／または姿勢の計測を行うことを目的とし、特に、慣性センサによって得られる位置および／または姿勢の誤差を補正することを目的とする。 The present invention has been made in view of the above problems, and aims to measure the position and / or orientation of the viewpoint, and in particular, corrects the position and / or orientation error obtained by the inertial sensor. With the goal.

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。 In order to achieve the object of the present invention, for example, an image processing apparatus of the present invention comprises the following arrangement.

すなわち、計測対象との間の位置関係が固定されている撮像装置と、前記撮像装置の撮像視点の位置および／または姿勢を計測する計測装置と、前記計測対象の位置および／または姿勢を、前記計測装置の出力に基づいて算出するための算出情報を記憶する記憶手段と、前記記憶手段に記憶されている前記算出情報を更新する更新手段と、前記更新手段による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定手段と、前記計測値と前記更新手段によって更新された前記算出情報に基づいて前記計測対象の位置および／または姿勢を算出する算出手段とを備え、前記更新手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定手段の推定結果を基に前記算出情報を更新することを特徴とし、前記更新推定手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新手段による前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする。 That is, the imaging device in which the positional relationship with the measurement target is fixed, the measurement device that measures the position and / or orientation of the imaging viewpoint of the imaging device, and the position and / or orientation of the measurement target are Storage means for storing calculation information for calculation based on the output of the measuring device, update means for updating the calculation information stored in the storage means, and update contents of the calculation information by the update means Or update estimation means for estimating the update content of the calculation information; and calculation means for calculating the position and / or orientation of the measurement object based on the measurement value and the calculation information updated by the update means; And the update means updates the calculation information based on the captured image when the captured image includes information on the position and orientation of the measurement target. When the captured image does not include information on the position and orientation of the captured image, the calculated information is updated based on an estimation result of the update estimation unit, and the update estimation unit includes When the information on the position and orientation of the measurement target is included, the update content of the calculation information by the updating unit is stored, and when the information on the position and orientation of the captured image is not included in the captured image, the update content of the calculation information Is estimated.

なお、さらに詳細に説明すれば、本発明は下記の構成によって前記課題を解決できた。 In more detail, the present invention can solve the above problems by the following configuration.

（１）計測対象との間の位置関係が固定されている撮像装置と、前記撮像装置の撮像視点の位置および／または姿勢を計測する計測装置と、前記計測対象の位置および／または姿勢を、前記計測装置の出力に基づいて算出するための算出情報を記憶する記憶手段と、前記記憶手段に記憶されている前記算出情報を更新する更新手段と、前記更新手段による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定手段と、前記計測値と前記更新手段によって更新された前記算出情報に基づいて前記計測対象の位置および／または姿勢を算出する算出手段とを備える画像処理装置であって、前記更新手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定手段の推定結果を基に前記算出情報を更新することを特徴とし、前記更新推定手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新手段による前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理装置。 (1) An imaging device in which a positional relationship with a measurement target is fixed, a measurement device that measures the position and / or orientation of an imaging viewpoint of the imaging device, and the position and / or orientation of the measurement target, Storage means for storing calculation information for calculation based on the output of the measuring device, update means for updating the calculation information stored in the storage means, and update contents of the calculation information by the update means An update estimation unit that stores or estimates an update content of the calculation information, and a calculation unit that calculates the position and / or orientation of the measurement target based on the measurement value and the calculation information updated by the update unit The update processing unit includes: an updating unit configured to update the captured image based on the captured image when the captured image includes information on the position and orientation of the measurement target. Updating the calculation information, and updating the calculation information based on an estimation result of the update estimation unit when the captured image does not include information on the position and orientation of the captured image, When the information on the position and orientation of the measurement target is included in the captured image, the update content of the calculation information by the updating unit is stored, and when the information on the position and orientation of the captured image is not included in the captured image An image processing apparatus that estimates an update content of the calculation information.

（２）前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻情報と共に記憶することを特徴とする前記（１）に記載の画像処理装置。 (2) The image processing apparatus according to (1), wherein the update estimation unit stores the update contents of the calculation information by the update unit together with time information when the update occurred.

（３）前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻の温度情報と共に記憶することを特徴とする前記（１）又は（２）に記載の画像処理装置。 (3) The image according to (1) or (2), wherein the update estimation unit stores the update content of the calculation information by the update unit together with temperature information at a time when the update occurred. Processing equipment.

（４）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。 (4) The update estimation unit estimates the update content of the calculation information based on a time change amount of the update amount that is the update content of the calculation information by the stored update unit. The image processing apparatus according to any one of (1) to (3).

（５）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の最新時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。 (5) The update estimation unit estimates the update content of the calculation information based on the latest time change amount of the update amount that is the update content of the calculation information by the stored update unit. The image processing apparatus according to any one of (1) to (3).

（６）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。 (6) The update estimation unit is a time change amount average value, a time change amount median value, or a time change amount mode value which is an update content of the calculation information by the stored update unit. The image processing apparatus according to any one of (1) to (3), wherein an update content of the calculation information is estimated based on

（７）前記更新推定手段は、前記算出情報の更新内容を推定する時刻における温度に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（４）のいずれかに記載の画像処理装置。 (7) The update estimation unit estimates the update content of the calculation information based on a temperature at a time when the update content of the calculation information is estimated. Any one of (1) to (4), An image processing apparatus according to 1.

（８）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった最新の時刻における前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。 (8) The update estimation means is the calculation information at the latest time which is the same temperature as the temperature at the time of estimating the update contents of the calculation information, which is the update contents of the calculation information by the stored update means. The image processing apparatus according to any one of (1) to (3), wherein the update content of the calculation information is estimated based on a time change amount of the update amount.

（９）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった時刻での前記算出情報の更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。 (9) The update estimation unit is configured to update the calculation information at a time that is the same temperature as the temperature at which the update content of the calculation information is estimated. (1) to (3), wherein the update content of the calculation information is estimated based on an average value of time change amount of update amount, a median value of time change amount, or a mode value of time change amount. ).

（１０）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度に近い温度であった１つ以上の時刻での前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。 (10) The update estimation means is at one or more times when the temperature is close to the temperature at the time of estimating the update contents of the calculation information, which is the update contents of the calculation information by the stored update means. The image processing apparatus according to any one of (1) to (3), wherein the update content of the calculation information is estimated based on a time change amount of the update amount of the calculation information.

（１１）前記更新推定手段は、前記算出情報の更新量の時間変化は温度に対して比例関係にあるものとして、前記算出情報の更新内容を推定することを特徴とする前記（１０）に記載の画像処理装置。 (11) The update estimation means estimates the update content of the calculation information on the assumption that the time change of the update amount of the calculation information is proportional to the temperature. Image processing apparatus.

（１２）計測対象との間の位置関係が固定されている撮像装置によって撮像画像を撮像する撮像工程と、前記撮像装置の撮像視点の位置および／または姿勢を計測する計測工程と、前記計測対象の位置および／または姿勢を、前記計測工程で計測した計測値に基づいて算出するための算出情報を記憶する記憶工程と、前記記憶工程で記憶された前記算出情報を更新する更新工程と、前記更新工程による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定工程と、前記計測値と前記更新工程によって更新された前記算出情報に基づいて前記計測対象の位置および／または姿勢を算出する算出工程とを備える画像処理方法であって、前記更新工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定工程での推定結果を基に前記算出情報を更新することを特徴とし、前記更新推定工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新工程での前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理方法。 (12) An imaging step of capturing a captured image by an imaging device in which a positional relationship with the measurement target is fixed, a measurement step of measuring a position and / or orientation of an imaging viewpoint of the imaging device, and the measurement target A storage step of storing calculation information for calculating the position and / or orientation of the device based on the measurement value measured in the measurement step, an update step of updating the calculation information stored in the storage step, The update contents of the calculation information by the update process are stored, or the update estimation process for estimating the update contents of the calculation information, the measurement value and the calculation information updated by the update process based on the calculation information A calculation step of calculating a position and / or orientation, wherein the updating step relates to the position and orientation of the measurement target in the captured image. When the information is included, the calculation information is updated based on the captured image, and when the information regarding the position and orientation of the captured image is not included in the captured image, the calculation information is based on the estimation result in the update estimation step. The update estimation step stores the update content of the calculation information in the update step when the captured image includes information on the position and orientation of the measurement target, and stores the updated content in the captured image. An image processing method characterized by estimating an update content of the calculation information when information on the position and orientation of the captured image is not included.

（１３）前記（１２）に記載の画像処理方法を実行することを特徴とするプログラムコード。 (13) A program code for executing the image processing method according to (12).

（１４）前記（１３）に記載のプログラムコードを格納することを特徴とする記憶媒体。 (14) A storage medium storing the program code according to (13).

以上の説明により、本発明によって、慣性センサによる視点の位置および／または姿勢の計測誤差の補正、特に時間経過に伴って生じる蓄積誤差の補正を行うことができ、位置ずれのないＭＲを実現することができる。 As described above, according to the present invention, it is possible to correct the measurement error of the viewpoint position and / or orientation by the inertial sensor, in particular, to correct the accumulation error that occurs with the passage of time, and realize MR without positional deviation. be able to.

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。 Hereinafter, the present invention will be described in detail according to preferred embodiments with reference to the accompanying drawings.

［第１の実施形態］
本実施形態では、ジャイロセンサおよび加速度センサを含む慣性航法装置によるカメラ視点の位置姿勢計測誤差を補正することで、位置ずれのないＭＲ空間の提示を実現する画像処理装置について説明する。 [First Embodiment]
In this embodiment, an image processing apparatus that realizes presentation of an MR space without a positional shift by correcting a camera viewpoint position and orientation measurement error by an inertial navigation apparatus including a gyro sensor and an acceleration sensor will be described.

まず、慣性航法装置を備えたＨＭＤの位置姿勢に応じて、現実空間の画像に仮想空間の画像を重畳描画する画像処理装置の構成を図１に示す。 First, FIG. 1 shows a configuration of an image processing apparatus that superimposes and draws a virtual space image on a real space image according to the position and orientation of the HMD equipped with the inertial navigation device.

同図のＨＭＤ１００はビデオシースルー方式のものであって、画像を表示するディスプレイ１０１と、このＨＭＤ１００を装着した観察者の視点位置から現実空間を撮像するカメラ１０２（観察者視点カメラ）と、カメラ１０２の視点の位置姿勢を計測する慣性航法装置１０３を備えている。 The HMD 100 in FIG. 1 is of a video see-through type, and includes a display 101 that displays an image, a camera 102 (observer viewpoint camera) that captures a real space from the viewpoint position of an observer wearing the HMD 100, and a camera 102. And an inertial navigation device 103 for measuring the position and orientation of the viewpoint.

慣性航法装置１０３は、ジャイロセンサ１０４、加速度センサ１０５、慣性演算モジュール１０６を含む一般的な慣性航法装置で、カメラ１０２の視点の位置姿勢値（カメラ１０２の視点の位置および姿勢に相当する６変数）を出力する。その仕組み等については公知であるので、ここでは簡単な説明に留める。ジャイロセンサ１０４は、３軸方向の角速度を計測するために複数のジャイロセンサで構成され、加速度センサ１０５も、同様に３軸方向の加速度を計測するために複数の加速度センサで構成されている。慣性演算モジュール１０６は、ジャイロセンサ１０４から３軸方向の角速度出力を受け取り、装置起動時（もしくは姿勢初期化時）よりの角速度を積分していき、その積分値をカメラ１０２の視点の姿勢値として出力する。場合によっては、加速度センサ１０５から受け取る加速度出力も用いて姿勢値を算出する。また、慣性演算モジュール１０６は、加速度センサ１０５から３軸方向の加速度出力を受け取り、これを、先に算出しておいた姿勢値を基に、現実空間に固定された世界座標系に対する加速度に変換する。そして、装置起動時（もしくは位置初期化時）よりの加速度を、重力加速度成分を除いて積分していき、その積分値をカメラ１０２の視点の位置として出力する。なお、慣性航法装置１０３は、フィルターを利用したセンサ出力のノイズ除去や、加速度出力から検知する重力方向に基づく算出姿勢の補正や、温度ドリフトの補正などの処理を行う、図示してないモジュールを含んでいても良い。 The inertial navigation device 103 is a general inertial navigation device including a gyro sensor 104, an acceleration sensor 105, and an inertia calculation module 106, and is a position and orientation value of the viewpoint of the camera 102 (six variables corresponding to the position and orientation of the viewpoint of the camera 102). ) Is output. Since the mechanism and the like are publicly known, only a brief description will be given here. The gyro sensor 104 is composed of a plurality of gyro sensors in order to measure the angular velocity in the triaxial direction, and the acceleration sensor 105 is also composed of a plurality of acceleration sensors in order to measure the acceleration in the triaxial direction. The inertial calculation module 106 receives the angular velocity output in the triaxial direction from the gyro sensor 104, integrates the angular velocity from when the apparatus is activated (or when the posture is initialized), and uses the integrated value as the posture value of the viewpoint of the camera 102. Output. In some cases, the posture value is also calculated using the acceleration output received from the acceleration sensor 105. In addition, the inertia calculation module 106 receives the acceleration output in the three-axis directions from the acceleration sensor 105, and converts it into acceleration with respect to the world coordinate system fixed in the real space based on the posture value calculated previously. To do. Then, the acceleration from when the apparatus is activated (or at the time of position initialization) is integrated by removing the gravitational acceleration component, and the integrated value is output as the position of the viewpoint of the camera 102. The inertial navigation device 103 is a module (not shown) that performs processing such as noise removal from the sensor output using a filter, correction of the calculated posture based on the direction of gravity detected from the acceleration output, and correction of temperature drift. It may be included.

図１に示した画像処理装置１１０は、慣性航法装置１０３から出力される位置姿勢値を入力する位置姿勢入力モジュール１１１、カメラ１０２から現実空間の撮影画像を入力する画像入力モジュール１１３、位置姿勢入力モジュール１１１から入力したカメラ１０２の視点の位置姿勢値に基づいてカメラ１０２の視点の位置姿勢を表す情報（例えば４×４のモデルビュー行列）を算出する視点位置姿勢算出モジュール１１２、視点位置姿勢算出モジュール１１２により算出された視点の位置姿勢を表す情報に基づいて現実空間の画像に仮想空間の画像を重畳描画した画像を生成する画像生成モジュール１１４から構成されており、ディスプレイ１０１に提示画像を表示する。この場合、時間経過に伴って、慣性航法装置１０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含んだ画像がディスプレイ１０１に表示される。視点位置姿勢算出モジュール１１２によって行われる、位置姿勢値（位置および姿勢を示す６変数）からモデルビュー行列のような位置姿勢を表す情報を算出する方法については公知であるので、ここでの説明は省略する。 An image processing apparatus 110 illustrated in FIG. 1 includes a position / orientation input module 111 that inputs a position / orientation value output from the inertial navigation apparatus 103, an image input module 113 that inputs a captured image of a real space from the camera 102, and a position / orientation input. A viewpoint position / orientation calculation module 112 that calculates information (for example, a 4 × 4 model view matrix) representing the position / orientation of the viewpoint of the camera 102 based on the position / orientation value of the viewpoint of the camera 102 input from the module 111; Based on the information indicating the position and orientation of the viewpoint calculated by the module 112, the image generation module 114 generates an image in which a virtual space image is superimposed and drawn on a real space image, and a display image is displayed on the display 101. To do. In this case, as time elapses, the display 101 displays an image including a positional shift that occurs in accordance with the accumulation of sensor output errors in the inertial navigation apparatus 103. Since a method for calculating information representing a position / orientation such as a model view matrix from position / orientation values (six variables indicating position and orientation) performed by the viewpoint position / orientation calculation module 112 is well known, the description here will be given. Omitted.

次に、図１に示した構成に慣性航法装置１０３内のセンサ出力誤差を取り除くための補正値算出モジュールを加えた構成を図２に示す。図１と同じ部分には同じ番号を付けており、また、図１と同じ部分については説明を省略する。 Next, FIG. 2 shows a configuration in which a correction value calculation module for removing a sensor output error in the inertial navigation apparatus 103 is added to the configuration shown in FIG. The same parts as those in FIG. 1 are denoted by the same reference numerals, and the description of the same parts as those in FIG.

図２に示した画像処理装置２１０は、図１に示した画像処理装置１１０に補正値算出モジュール２１５を付加し、さらに、視点位置姿勢算出モジュール１１２を視点位置算出モジュール２１２に変更した装置の構成となっている。 The image processing apparatus 210 illustrated in FIG. 2 has a configuration in which a correction value calculation module 215 is added to the image processing apparatus 110 illustrated in FIG. 1 and the viewpoint position / orientation calculation module 112 is changed to a viewpoint position calculation module 212. It has become.

補正値算出モジュール２１５は、画像入力モジュール１１３から入力した撮影画像と位置姿勢入力モジュール１１１から入力したカメラ１０２の視点の位置姿勢値に基づいて、後述する補正値算出処理によってカメラ１０２の視点の位置姿勢を表す情報の補正値（例えば補正行列）を生成し、その補正値を視点位置姿勢算出モジュール２１２へと出力する。 The correction value calculation module 215 uses the captured image input from the image input module 113 and the position / orientation value of the viewpoint of the camera 102 input from the position / orientation input module 111 to perform the position of the viewpoint of the camera 102 through correction value calculation processing described later. A correction value (for example, a correction matrix) of information representing the posture is generated, and the correction value is output to the viewpoint position / orientation calculation module 212.

視点位置姿勢算出モジュール２１２は、位置姿勢入力モジュール１１１から入力したカメラ１０２の視点の位置姿勢値に基づいて算出した位置姿勢情報を、補正値算出モジュール２１５から入力した補正値に基づいて補正して、補正後の位置姿勢情報（例えば補正後のモデルビュー行列）を生成する。 The viewpoint position / orientation calculation module 212 corrects the position / orientation information calculated based on the position / orientation value of the viewpoint of the camera 102 input from the position / orientation input module 111 based on the correction value input from the correction value calculation module 215. Then, corrected position and orientation information (for example, a corrected model view matrix) is generated.

補正値算出モジュール２１５が行う補正値算出処理は、位置姿勢の計測対象である視点においてカメラ１０２により撮影された撮影画像に含まれる位置姿勢に関する情報と、慣性航法装置１０３により計測された計測対象の視点位置姿勢の計測値に基づいて行われる。例えば、現実空間上の位置が既知である特定点に対して、位置姿勢入力モジュール１１１が受け取るカメラ１０２の視点の位置姿勢値に基づいて予測した画像上の特定点の観測予測位置と、画像処理によって実際に検出される当該特定点の画像上における観測位置のずれ量から、観測予測位置を観測位置に重ねるために必要なカメラ１０２の視点の位置姿勢を表す情報の変化量が求められ、それが補正値として算出される。また別の例では、現実空間上の位置が既知である特定点の画像上における観測位置を観測値とした視点位置姿勢を推定するカルマンフィルタによって、カメラ１０２の視点の位置姿勢を表す情報の真値を推定し、その推定値と位置姿勢入力モジュール１１１から受け取るカメラ１０２の視点の位置姿勢値から算出するカメラ１０２の視点の位置姿勢を表す情報の差から、カメラ１０２の視点の位置姿勢を表す情報の補正値が算出される。 The correction value calculation process performed by the correction value calculation module 215 includes information on the position and orientation included in the captured image captured by the camera 102 from the viewpoint that is the position and orientation measurement target, and the measurement target measured by the inertial navigation device 103. This is performed based on the measurement value of the viewpoint position and orientation. For example, with respect to a specific point whose position in the real space is known, the observed predicted position of the specific point on the image predicted based on the position and orientation value of the viewpoint of the camera 102 received by the position and orientation input module 111, and image processing The amount of change in information indicating the position and orientation of the viewpoint of the camera 102 necessary to superimpose the observation predicted position on the observation position is obtained from the amount of deviation of the observation position on the image of the specific point actually detected by Is calculated as a correction value. In another example, the true value of the information indicating the position and orientation of the viewpoint of the camera 102 by a Kalman filter that estimates the viewpoint position and orientation using the observation position on the image of a specific point whose position in the real space is known as an observation value. The information indicating the position and orientation of the viewpoint of the camera 102 from the difference between the information indicating the position and orientation of the viewpoint of the camera 102 calculated from the estimated value and the position and orientation value of the viewpoint of the camera 102 received from the position and orientation input module 111 The correction value is calculated.

しかしながら、補正値算出モジュール２１５が行う補正値算出処理によって補正値が算出されるのは、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれている場合に限られている。上記の例では、現実空間上の位置が既知である特定点が写っていなければ、補正値を算出することができない。よって、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれておらず、補正値の算出が行えない場合には、過去に算出した最新の補正値が、更新されずにそのまま利用される。 However, the correction value is calculated by the correction value calculation process performed by the correction value calculation module 215 only when the captured image input from the image input module 113 includes information on the viewpoint position and orientation. Yes. In the above example, the correction value cannot be calculated unless a specific point whose position in the real space is known is shown. Therefore, if the captured image input from the image input module 113 does not include information on the viewpoint position and orientation and the correction value cannot be calculated, the latest correction value calculated in the past is not updated. It is used as it is.

以上により、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれる場合には、慣性航法装置１０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示され、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれない間には、時間経過に伴って変化する慣性航法装置１０３内のセンサ出力誤差に応じて変化すべき補正値が更新されないため、時間経過に伴って、そのセンサ出力誤差の蓄積に応じて生じる位置ずれを含んだ画像がディスプレイ１０１に表示される。 As described above, when information regarding the viewpoint position and orientation is included in the captured image input from the image input module 113, an image that does not include a positional shift that occurs in response to accumulation of sensor output errors in the inertial navigation device 103 is displayed. While the information on the viewpoint position and orientation is not included in the captured image displayed on the image 101 and input from the image input module 113, it changes according to the sensor output error in the inertial navigation device 103 that changes with time. Since the correction value to be updated is not updated, an image including a positional deviation caused by the accumulation of the sensor output error is displayed on the display 101 as time elapses.

次に、ＨＭＤ１００に繋いだ本実施形態における画像処理装置の構成を図３に示す。図２と同じ部分には同じ番号を付けており、また、図２と同じ部分については説明を省略する。 Next, the configuration of the image processing apparatus in the present embodiment connected to the HMD 100 is shown in FIG. The same parts as those in FIG. 2 are given the same reference numerals, and the description of the same parts as those in FIG. 2 is omitted.

図３に示した画像処理装置３１０は、図２に示した画像処理装置２１０に補正値推定モジュール３１６を付加し、さらに、補正値算出モジュール２１５を補正値算出モジュール３１５に変更した装置の構成となっている。 The image processing apparatus 310 shown in FIG. 3 has a configuration of an apparatus in which a correction value estimation module 316 is added to the image processing apparatus 210 shown in FIG. 2 and the correction value calculation module 215 is changed to a correction value calculation module 315. It has become.

補正値算出モジュール３１５は、補正値算出モジュール２１５と同様に、画像入力モジュール１１３から入力した撮影画像と位置姿勢入力モジュール１１１から入力したカメラ１０２の視点の位置姿勢値に基づいて、前述した補正値算出処理によってカメラ１０２の視点の位置姿勢を表す情報の補正値の算出を試みる。そして、補正値を算出できた場合、すなわち画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれていた場合には、算出した補正値を視点位置姿勢算出モジュール２１２および補正値推定モジュール３１６へと出力する。画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれず、補正値の算出が行えなかった場合には、補正値推定モジュール３１６から補正値の推定値を受け取り、これを補正値として視点位置姿勢算出モジュール２１２へと出力する。 Similar to the correction value calculation module 215, the correction value calculation module 315 is based on the captured image input from the image input module 113 and the position / orientation value of the viewpoint of the camera 102 input from the position / orientation input module 111. An attempt is made to calculate a correction value of information representing the position and orientation of the viewpoint of the camera 102 by the calculation process. If the correction value can be calculated, that is, if the captured image input from the image input module 113 includes information on the viewpoint position and orientation, the calculated correction value is used as the viewpoint position and orientation calculation module 212 and the correction. Output to the value estimation module 316. If the information about the viewpoint position and orientation is not included in the captured image input from the image input module 113 and the correction value cannot be calculated, the estimated value of the correction value is received from the correction value estimation module 316 and corrected. The value is output to the viewpoint position / orientation calculation module 212 as a value.

補正値推定モジュール３１６は、補正値算出モジュール３１５より補正値の入力がある場合には、補正値算出モジュール３１５から入力したカメラ１０２の視点の位置姿勢を表す情報の補正値に基づいて、その補正値の時間当たりの変化量を算出し、算出した時刻やその時の温度と対にして内部に保持しておく。そして、補正値算出モジュール３１５において補正値の算出が行えなかった場合に、記憶しておいた補正値の時間当たりの変化量を基に、後述する補正値推定処理によってカメラ１０２の視点の位置姿勢を表す情報の補正値の推定を行い、その推定値を補正値算出モジュール３１５に提供する。なお、補正値の時間当たりの変化量の算出および保持は、位置姿勢を表す情報のままで行っても良いし、位置姿勢値やセンサ出力値に変換してから行っても良い。変換を施した場合には、補正値算出モジュール３１５に推定値を提供する際に、位置姿勢を表す情報へ戻るよう逆変換を施す。 When the correction value is input from the correction value calculation module 315, the correction value estimation module 316 corrects the correction based on the correction value of the information indicating the position and orientation of the viewpoint of the camera 102 input from the correction value calculation module 315. The amount of change per time of the value is calculated, and the value is stored internally in pairs with the calculated time and temperature at that time. If the correction value calculation module 315 cannot calculate the correction value, the position / orientation of the viewpoint of the camera 102 is calculated by a correction value estimation process, which will be described later, based on the change amount of the stored correction value per time. Is estimated, and the estimated value is provided to the correction value calculation module 315. Note that the calculation and holding of the change amount of the correction value per time may be performed with the information indicating the position and orientation, or may be performed after being converted into the position and orientation value and the sensor output value. When the conversion is performed, when the estimated value is provided to the correction value calculation module 315, the reverse conversion is performed so as to return to the information indicating the position and orientation.

補正値推定モジュール３１６が行う補正値推定処理は、慣性航法装置１０３が出力するカメラ１０２の視点の位置姿勢値に含まれる慣性航法装置１０３内のセンサ出力誤差が、慣性航法装置１０３の位置や姿勢によらず、時間経過に対して一定の割合で蓄積していくという仮定に基づく。具体的な推定方法について、以下に３つの方法を説明する。なお、説明で利用する変数として、時刻ｔにおける補正値算出モジュール３１５が算出した補正値、その変化量、補正値の推定値をそれぞれ、Ｍ（ｔ）、ΔＭ（ｔ）、Ｍ´（ｔ）とする。 The correction value estimation process performed by the correction value estimation module 316 is based on the sensor output error in the inertial navigation device 103 included in the position and orientation value of the viewpoint of the camera 102 output from the inertial navigation device 103. Regardless, it is based on the assumption that it accumulates at a constant rate over time. Three specific estimation methods will be described below. As variables used in the description, the correction value calculated by the correction value calculation module 315 at time t, its change amount, and the estimated value of the correction value are M (t), ΔM (t), and M ′ (t), respectively. And

［第一の推定方法］
第一の推定方法では、最新の補正値変化量を用いて補正値を推定する。つまり、最後に補正値算出モジュール３１５が補正値の算出を行った時刻ｔ₀以降の、時刻ｔ₁における補正値の推定値Ｍ´（ｔ₁）は、 [First estimation method]
In the first estimation method, the correction value is estimated using the latest correction value change amount. That is, the estimated value M ′ (t ₁ ) of the correction value at time t ₁ after time t ₀ when the correction value calculation module 315 finally calculated the correction value is

と表すことができる。

It can be expressed as.

［第二の推定方法］
第二の推定方法では、過去に得られた補正値変化量に対する、平均値、中央値、最頻値等の、統計値を使って補正値を推定する。補正値変化量に対する統計値をΔＭ^Sとすると、最後に補正値算出モジュール３１５が補正値の算出を行った時刻ｔ₀以降の、時刻ｔ₁における補正値の推定値Ｍ´（ｔ₁）は、 [Second estimation method]
In the second estimation method, a correction value is estimated using statistical values such as an average value, a median value, and a mode value with respect to a correction value change amount obtained in the past. Assuming that the statistical value for the correction value change amount is ΔM ^S , the estimated value M ′ (t ₁ ) of the correction value at time t ₁ after time t ₀ when the correction value calculation module 315 last calculated the correction value is ,

と表すことができる。なお、推定に利用する統計値を算出する際には、過去に得られている補正値変化量の中から、例外値（アウトライアー）を除去してから算出するような、ロバスト推定の手法を用いても良い。

It can be expressed as. Note that when calculating the statistical values used for estimation, a robust estimation method such as calculating after removing the exception value (outlier) from the correction value variation obtained in the past is used. It may be used.

［第三の推定方法］
第三の推定方法は温度変化によるセンサ出力ドリフトを考慮した方法である。時刻ｔにおける温度をＴ（ｔ）と表記すると、この推定方法を実行する場合には、あらかじめ補正値算出モジュール３１５より補正値の入力がある段階で、補正値の時間当たりの変化量ΔＭ（ｔ）と、その時点の温度Ｔ（ｔ）とを対にして内部に保持しておく。そして、ある時刻ｔ₁においては、その時刻ｔ₁における温度Ｔ（ｔ₁）に対応した補正値を推定する。すなわち、最後に補正値算出モジュール３１５が補正値の算出を行った時刻ｔ₀以降の時刻ｔ_aと時刻ｔ₀以前の時刻ｔ_bにおいてＴ（ｔ_a）＝Ｔ（ｔ_b）の関係があるとき、時刻ｔ_a直後の時刻ｔ_a＋ｄｔにおける補正値の推定値Ｍ´（ｔ_a＋ｄｔ）は、時刻ｔ_aにおける補正値の推定値Ｍ´（ｔ_a）を用いて、 [Third estimation method]
The third estimation method is a method that considers sensor output drift due to temperature change. When the temperature at time t is expressed as T (t), when this estimation method is executed, the amount of change ΔM (t per time of the correction value when the correction value is input from the correction value calculation module 315 in advance. ) And the temperature T (t) at that time are paired and held inside. Then, at a certain time t ₁ , a correction value corresponding to the temperature T (t ₁ ) at that time t ₁ is estimated. That is, there is a relationship of T (t _a ) = T (t _b ) at time t _a after time t ₀ when the correction value calculation module 315 finally calculates the correction value and time t _b before time t _0. when the estimated value of the correction value at time t _a immediately after time _{_{t a + dt M'(t a}} + dt) , using the estimated value of the correction value at time t _a M'a (t _a),

と表すことができる。Ｔ（ｔ_a）＝Ｔ（ｔ_b）となる時刻ｔ_bが過去にない場合には、補正値変化量と温度は比例関係にあると仮定して、得られている他の温度に対応する補正値変化量から時刻ｔ_aにおける補正値の推定値を求める。例えば、最後に補正値算出モジュール３１５が補正値の算出を行った時刻ｔ₀以前の時刻ｔ_cおよび時刻ｔ_dに対する温度および補正値変化量を利用すると、時刻ｔ_a直後の時刻ｔ_a＋ｄｔにおける補正値の推定値Ｍ´（ｔ_a＋ｄｔ）は、時刻ｔ_aにおける補正値の推定値Ｍ´（ｔ_a）を用いて、

It can be expressed as. If the time t _{b at} which T (t _a ) = T (t _b ) does not exist in the past, it is assumed that the correction value change amount and the temperature are in a proportional relationship, and correspond to other obtained temperatures. An estimated value of the correction value at time t _a is obtained from the correction value change amount. For example, in the last when the correction value calculation module 315 utilizes the temperature and the correction value change amount with respect to time t ₀ before the time t _c and the time t _d was performed calculation of the correction value, immediately after the time point t _a time t _a + dt The estimated value M ′ (t _a + dt) of the correction value is obtained by using the estimated value M ′ (t _a ) of the correction value at time t _a .

と表すことができる。なお、温度Ｔに対してＴ＝Ｔ（ｔ）となる時刻ｔが複数存在する場合には、温度Ｔに対応する補正値変化量には最も新しい時刻の補正値変化量を利用しても良いし、Ｔ＝Ｔ（ｔ）となる全ての時刻ｔにおける補正値変化量ΔＭ（ｔ）の平均値、中央値、最頻値等の統計値を利用しても良いし、ロバスト推定の手法を利用して求めても良い。

It can be expressed as. If there are a plurality of times t at which T = T (t) with respect to the temperature T, the correction value change amount at the latest time may be used as the correction value change amount corresponding to the temperature T. Then, statistical values such as an average value, a median value, and a mode value of the correction value variation ΔM (t) at all times t where T = T (t) may be used, and a robust estimation method is used. You may ask for it.

なお、上記の説明では、補正値推定モジュール３１６が補正値を推定するよりも過去の時点で補正値算出モジュール３１５が補正値を算出していることが暗黙の前提となっているが、過去に補正値算出モジュール３１５が補正値を算出していない場合には、過去のすべての時刻における補正値は０（補正なし）であるとすれば良い。 In the above description, it is an implicit assumption that the correction value calculation module 315 has calculated the correction value at a point in the past rather than the correction value estimation module 316 has estimated the correction value. When the correction value calculation module 315 has not calculated a correction value, the correction values at all past times may be 0 (no correction).

以上により、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれる場合には、慣性航法装置１０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示され、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれない間にも、補正値推定モジュール３１６によって推定する補正値の利用により、慣性航法装置１０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示される。 As described above, when information regarding the viewpoint position and orientation is included in the captured image input from the image input module 113, an image that does not include a positional shift that occurs in response to accumulation of sensor output errors in the inertial navigation device 103 is displayed. Even when information regarding the viewpoint position and orientation is not included in the captured image displayed on the image 101 and input from the image input module 113, the correction value estimated by the correction value estimation module 316 is used in the inertial navigation apparatus 103. An image that does not include a positional shift that occurs according to the accumulation of sensor output error is displayed on the display 101.

以上、説明した本実施形態における画像処理のフローチャートを図４に示し、以下に説明する。 The flowchart of the image processing in the present embodiment described above is shown in FIG. 4 and will be described below.

処理が始まると、まず、慣性航法装置１０３が出力するカメラ１０２の視点の位置姿勢値を、位置姿勢入力モジュール１１１が取得する（ステップＳ４０１）。続いて、視点位置姿勢算出モジュール２１２において、カメラ１０２の視点の位置姿勢値に基づいてカメラ１０２の視点の位置姿勢を表す情報が算出される（ステップＳ４０２）。これと同時に、補正値算出モジュール２１５においては、カメラ１０２の視点の位置姿勢値に基づいてカメラ１０２の視点の位置姿勢を表す情報が算出された上で、この位置姿勢を表す情報を補正する補正値の算出が行われる（ステップＳ４０３）。さらに補正値算出モジュール２１５では、補正値の算出が行えたか否かの判定が行われる（ステップＳ４０４）。補正値の算出が行えた場合には、処理はステップＳ４０５へと進み、補正値の算出が行えなかった場合には、処理はステップＳ４０９へと進む。 When the processing starts, first, the position / orientation input module 111 acquires the position / orientation value of the viewpoint of the camera 102 output from the inertial navigation apparatus 103 (step S401). Subsequently, in the viewpoint position / orientation calculation module 212, information indicating the position / orientation of the viewpoint of the camera 102 is calculated based on the position / orientation value of the viewpoint of the camera 102 (step S402). At the same time, the correction value calculation module 215 calculates information indicating the position and orientation of the viewpoint of the camera 102 based on the position and orientation value of the viewpoint of the camera 102, and then corrects the information indicating the position and orientation. A value is calculated (step S403). Further, the correction value calculation module 215 determines whether or not the correction value has been calculated (step S404). If the correction value can be calculated, the process proceeds to step S405. If the correction value cannot be calculated, the process proceeds to step S409.

補正値算出モジュール２１５において補正値の算出を行えた場合には、その補正値に基づき、視点位置姿勢算出モジュール１１２において算出されたカメラ１０２の視点の位置姿勢を表す情報が補正される（ステップＳ４０５）。これと同時に、補正値は補正値推定モジュール３１６へと送られ、そこで単位時間当たりの補正値の変化量が算出され、算出した時刻やその時の温度と対にして内部に保持される（ステップＳ４０６）。補正値変化量の保持方法は、ステップＳ４０９で行われる補正値の推定方法に応じて異なる。ステップＳ４０９において先に述べた［第一の推定方法］を行う場合には、最新の補正値変化量のみを内部に保持する。［第二の推定方法］を行う場合には、補正値変化量と、それを算出した時刻を対にしてテーブルに保持する。［第三の補正方法］を行う場合には、補正値変化量と、それを算出した時刻と、その時刻の温度を対にしてテーブルに保持する。 When the correction value calculation module 215 can calculate the correction value, the information indicating the position and orientation of the viewpoint of the camera 102 calculated by the viewpoint position and orientation calculation module 112 is corrected based on the correction value (step S405). ). At the same time, the correction value is sent to the correction value estimation module 316, where the amount of change in the correction value per unit time is calculated, and stored internally in pairs with the calculated time and temperature at that time (step S406). ). The correction value change amount holding method differs depending on the correction value estimation method performed in step S409. When performing the [first estimation method] described above in step S409, only the latest correction value change amount is held inside. When the [second estimation method] is performed, the correction value change amount and the time at which it is calculated are paired and held in a table. When the [third correction method] is performed, a correction value change amount, a time at which the correction value is calculated, and a temperature at the time are paired and held in a table.

ステップＳ４０６を終えると、ステップＳ４０５で補正されたカメラ１０２の視点の位置姿勢を表す情報を利用して、画像生成モジュール１１４においてＣＧ画像が生成され、その画像が画像入力モジュール１１３を介して入力されるカメラ１０２で撮影された画像に重ね合わされ、ディスプレイ１０１に表示される（ステップＳ４０７）。 When step S406 is completed, a CG image is generated in the image generation module 114 using the information indicating the position and orientation of the viewpoint of the camera 102 corrected in step S405, and the image is input via the image input module 113. The image is superimposed on the image taken by the camera 102 and displayed on the display 101 (step S407).

ステップＳ４０４において、補正値算出モジュール２１５において補正値の算出を行えなかったと判定した場合には、処理は補正値推定処理へと進む（ステップＳ４０９）。この処理では、前述した［第一の推定方法］、［第二の推定方法］、［第三の推定方法］のいずれかを行う。ここで求まった補正値の推定値は、補正値算出モジュール３１５へと送られ、そこで、この推定値を用いて、視点位置姿勢算出モジュール１１２において算出されたカメラ１０２の視点の位置姿勢を表す情報が補正される（ステップＳ４１０）。その後は、ステップＳ４０７へと進み、ステップＳ４１０で補正されたカメラ１０２の視点の位置姿勢を表す情報を利用して、画像生成モジュール１１４においてＣＧ画像が生成され、その画像が画像入力モジュール１１３を介して入力されるカメラ１０２で撮影された画像に重ね合わされ、ディスプレイ１０１に表示される（ステップＳ４０７）。 If it is determined in step S404 that the correction value calculation module 215 cannot calculate the correction value, the process proceeds to a correction value estimation process (step S409). In this process, any one of the aforementioned [first estimation method], [second estimation method], and [third estimation method] is performed. The estimated value of the correction value obtained here is sent to the correction value calculation module 315, where information indicating the position and orientation of the viewpoint of the camera 102 calculated by the viewpoint position and orientation calculation module 112 using the estimated value. Is corrected (step S410). Thereafter, the process proceeds to step S407, and a CG image is generated in the image generation module 114 using the information indicating the position and orientation of the viewpoint of the camera 102 corrected in step S410, and the image is input via the image input module 113. Are superimposed on the image captured by the camera 102 and displayed on the display 101 (step S407).

［第２の実施形態］
第１の実施形態においては、ＭＲシステムにおけるカメラ視点の位置および姿勢の計測を行ったが、ＭＲシステムにおけるカメラの視点の姿勢のみを計測する形態であっても良い。その場合の構成を図５に示す。図３と同じ部分には同じ番号を付けている。 [Second Embodiment]
In the first embodiment, the position and orientation of the camera viewpoint in the MR system are measured. However, only the orientation of the camera viewpoint in the MR system may be measured. The configuration in that case is shown in FIG. The same parts as those in FIG.

図５に示した画像処理装置５１０は、図３に示した慣性航法装置１０３を姿勢計測装置５０３に変更し、さらに、視点位置姿勢入力モジュール１１１を視点位置姿勢入力モジュール５１１に変更した構成となっている。 The image processing apparatus 510 illustrated in FIG. 5 has a configuration in which the inertial navigation apparatus 103 illustrated in FIG. 3 is changed to an attitude measurement apparatus 503 and the viewpoint position / orientation input module 111 is changed to a viewpoint position / orientation input module 511. ing.

姿勢計測装置５０３は、ジャイロセンサ５０４、慣性演算モジュール５０６を含む一般的な姿勢計測装置で、カメラ１０２の視点の姿勢値（カメラ１０２の視点の姿勢に相当する３変数）を位置姿勢入力モジュール５１１に対して出力する。その仕組み等については公知であるので、ここでは省略する。位置姿勢入力モジュール５１１は、内部にあらかじめカメラ１０２の視点の位置（カメラ１０２の視点の位置に相当する３変数）を保持し、姿勢計測装置５０３より入力した姿勢値と共に、位置姿勢算出モジュール２１２および補正値算出モジュール３１５へと出力する。 The posture measurement device 503 is a general posture measurement device including a gyro sensor 504 and an inertia calculation module 506, and the posture value of the viewpoint of the camera 102 (three variables corresponding to the posture of the viewpoint of the camera 102) is input to the position / posture input module 511. Output for. Since the mechanism and the like are known, they are omitted here. The position / orientation input module 511 internally retains the position of the viewpoint of the camera 102 (three variables corresponding to the position of the viewpoint of the camera 102) in advance, along with the attitude value input from the attitude measurement device 503, and the position / orientation calculation module 212 and It outputs to the correction value calculation module 315.

図３と同じ番号が付けられた残りの部分については、上記の変更に対応する部分の読み替えを行えば、第１の実施例と同様であるので説明は省略する。 The remaining parts with the same numbers as in FIG. 3 are the same as those in the first embodiment if the parts corresponding to the above change are replaced, and the description thereof will be omitted.

以上により、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれる場合には、姿勢計測装置５０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示され、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれない間にも、補正値推定モジュール３１６によって推定する補正値の利用により、姿勢計測装置５０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示される。 As described above, when information regarding the viewpoint position and orientation is included in the captured image input from the image input module 113, an image that does not include a positional deviation that occurs in response to accumulation of sensor output errors in the orientation measurement device 503 is displayed. Even when information about the viewpoint position and orientation is not included in the captured image that is displayed on the image 101 and input from the image input module 113, the correction value estimated by the correction value estimation module 316 is used in the posture measurement apparatus 503. An image that does not include a positional shift that occurs according to the accumulation of sensor output error is displayed on the display 101.

なお、画像処理装置５１０で行われる画像処理の流れは、図４中のステップＳ４０１として示した部分が、「姿勢計測装置５０３が出力するカメラ１０２の視点の姿勢値を、位置姿勢入力モジュール５１１が取得し、さらに位置姿勢入力モジュール５１１は内部に保持したカメラ１０２の視点の位置を取得する」と変わる以外は同様である。よって、説明は省略する。 The flow of the image processing performed by the image processing apparatus 510 is as follows. The portion indicated as step S401 in FIG. 4 is “the posture value of the viewpoint of the camera 102 output from the posture measurement device 503 is detected by the position / posture input module 511. This is the same as the above, except that the position and orientation input module 511 acquires the position of the viewpoint of the camera 102 held inside. Therefore, the description is omitted.

［変形例１］
上記実施形態においては、ＭＲシステムにおけるカメラ視点の位置姿勢または姿勢の計測を行ったが、本発明の適応範囲はこれに留まるものではなく、カメラの視点の位置姿勢または姿勢を計測するいずれの用途に用いることも可能であることはいうまでもない。 [Modification 1]
In the above embodiment, the position and orientation or orientation of the camera viewpoint in the MR system is measured. However, the applicable range of the present invention is not limited to this, and any application for measuring the position and orientation or orientation of the viewpoint of the camera is used. Needless to say, it can also be used.

［変形例２］
上記実施例においては、ビデオシースルー方式のＭＲシステムにおける視点の位置姿勢または姿勢の計測を行ったが、光学シースルー方式のＭＲシステムであっても、本発明の画像処理装置による位置姿勢または姿勢の計測を行うことができる。この場合、ＨＭＤに慣性航法装置または姿勢計測装置を装着するとともに、計測対象であるところの観察者の視点位置との相対的な位置姿勢関係が既知であるような位置に固定されるように、ＨＭＤにカメラを装着する。そして、上記実施形態と同様な手法によってカメラの位置姿勢または姿勢を算出し、さらにその値を変換することで、観察者視点の位置姿勢または姿勢を算出する。また、本発明の適用範囲は計測対象物体に限定されるものではなく、いずれの計測対象物体であっても、同様にカメラおよび慣性航法装置または姿勢計測装置を装着することで、その位置姿勢または姿勢を計測することができる。 [Modification 2]
In the above embodiment, the position and orientation or orientation of the viewpoint is measured in the video see-through MR system. However, even in the optical see-through MR system, the position and orientation or orientation is measured by the image processing apparatus of the present invention. It can be performed. In this case, the HMD is equipped with an inertial navigation device or posture measurement device, and is fixed at a position where the relative position and posture relationship with the viewpoint position of the observer who is the measurement target is known. Attach the camera to the HMD. Then, the position / orientation or orientation of the camera is calculated by the same method as in the above embodiment, and the position and orientation or orientation of the observer viewpoint is calculated by further converting the value. Further, the scope of application of the present invention is not limited to the measurement target object, and any measurement target object can be similarly installed by attaching a camera and an inertial navigation device or a posture measurement device. Posture can be measured.

［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラミングコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 [Other Embodiments]
An object of the present invention is to supply a storage medium (or recording medium) in which a software programming code for realizing the functions of the above-described embodiments is recorded to a system or apparatus, and the computer of the system or apparatus (or CPU or MPU). Needless to say, this can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program code read from the storage medium is written in a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the card or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

本発明の上記記憶媒体に適用する場合、その記憶媒体には先に説明した図４に示したフローチャートに対応するプログラムコードが格納されることになる。 When applied to the storage medium of the present invention, the storage medium stores program codes corresponding to the flowchart shown in FIG. 4 described above.

慣性航法装置を備えたＨＭＤの位置姿勢に応じて、現実空間の画像に仮想空間の画像を重畳描画する従来の画像処理装置の構成を示す図である。It is a figure which shows the structure of the conventional image processing apparatus which superimposes and draws the image of virtual space on the image of real space according to the position and orientation of HMD provided with the inertial navigation apparatus. 図１に示した従来の画像処理装置に、慣性航法装置内のセンサ出力の誤差を取り除くための補正値算出モジュールを加えた画像処理装置の構成を示す図である。It is a figure which shows the structure of the image processing apparatus which added the correction value calculation module for removing the error of the sensor output in an inertial navigation apparatus to the conventional image processing apparatus shown in FIG. 本発明の第１の実施形態における画像処理装置の構成を示す図である。It is a figure which shows the structure of the image processing apparatus in the 1st Embodiment of this invention. 本発明の実施形態における画像処理のフローチャートである。It is a flowchart of the image process in embodiment of this invention. 本発明の第２の実施形態における画像処理装置の構成を示す図である。It is a figure which shows the structure of the image processing apparatus in the 2nd Embodiment of this invention.

Explanation of symbols

１００ＨＭＤ
１０１ディスプレイ
１０２カメラ（観察者視点カメラ）
１０３慣性航法装置
１０４ジャイロセンサ
１０５加速度センサ
１０６慣性演算モジュール
１１０画像処理装置
１１１位置姿勢入力モジュール
１１２視点位置姿勢算出モジュール
１１３画像入力モジュール
１１４画像生成モジュール
２１０画像処理装置
２１２視点位置算出モジュール
２１５補正値算出モジュール
３１０画像処理装置
３１５補正値算出モジュール
３１６補正値推定モジュール
５０３姿勢計測装置
５０４ジャイロセンサ
５０６慣性演算モジュール
５１０画像処理装置
５１１視点位置姿勢入力モジュール 100 HMD
101 Display 102 Camera (observer viewpoint camera)
103 Inertial navigation device 104 Gyro sensor 105 Acceleration sensor 106 Inertial calculation module 110 Image processing device 111 Position / orientation input module 112 Viewpoint position / orientation calculation module 113 Image input module 114 Image generation module 210 Image processing device 212 Viewpoint position calculation module 215 Correction value calculation Module 310 Image processing device 315 Correction value calculation module 316 Correction value estimation module 503 Attitude measurement device 504 Gyro sensor 506 Inertia calculation module 510 Image processing device 511 Viewpoint position and orientation input module

Claims

An imaging device having a fixed positional relationship with the measurement target;
A measuring device for measuring the position and / or orientation of the imaging viewpoint of the imaging device;
Storage means for storing calculation information for calculating the position and / or orientation of the measurement object based on the output of the measurement device;
Updating means for updating the calculation information stored in the storage means;
Storing update contents of the calculation information by the update means, or update estimation means for estimating the update contents of the calculation information;
An image processing apparatus comprising: a calculation unit that calculates a position and / or orientation of the measurement target based on the measurement value and the calculation information updated by the update unit;
The update unit updates the calculation information based on the captured image when the captured image includes information on the position and orientation of the measurement target, and the captured image includes information on the position and orientation of the captured image. If not, the calculation information is updated based on the estimation result of the update estimation means,
The update estimation unit stores the update contents of the calculation information by the update unit when the captured image includes information regarding the position and orientation of the measurement target, and the captured image includes information regarding the position and orientation of the captured image. An image processing apparatus that estimates an update content of the calculation information when the information is not included.

The image processing apparatus according to claim 1, wherein the update estimation unit stores the update contents of the calculation information by the update unit together with time information when the update occurred.

The image processing apparatus according to claim 1, wherein the update estimation unit stores the update content of the calculation information by the update unit together with temperature information at a time when the update occurred.

The update estimation unit estimates the update content of the calculation information based on a temporal change amount of the update amount that is the update content of the calculation information by the stored update unit. 4. The image processing device according to any one of 3.

The update estimation unit estimates the update content of the calculation information based on the latest time change amount of the update amount that is the update content of the calculation information by the stored update unit. 4. The image processing device according to any one of items 1 to 3.

The update estimation means is based on the time change average value of the update amount, or the median time change amount, or the time change amount mode value, which is the update content of the calculation information stored by the update means. The image processing apparatus according to claim 1, wherein an update content of the calculation information is estimated.

The image processing apparatus according to claim 1, wherein the update estimation unit estimates the update content of the calculation information based on a temperature at a time when the update content of the calculation information is estimated. .

The update estimation means is the update amount of the calculation information at the latest time that was the same temperature as the temperature at the time of estimating the update contents of the calculation information, which is the update contents of the calculation information by the stored update means The image processing apparatus according to claim 1, wherein an update content of the calculation information is estimated based on an amount of time change.

The update estimation unit is configured to determine the update amount of the calculation information at a time that is the same temperature as the temperature at which the update content of the calculation information is estimated. The update content of the calculation information is estimated based on an average value of time variation, a median value of time variation, or a mode value of time variation. Image processing apparatus.

The update estimation means is the calculation information at one or more times that are close to the temperature at the time of estimating the update contents of the calculation information, which is the update contents of the calculation information by the stored update means. The image processing apparatus according to claim 1, wherein an update content of the calculation information is estimated based on a time change amount of the update amount.

The image processing apparatus according to claim 10, wherein the update estimation unit estimates an update content of the calculation information on the assumption that a temporal change in the update amount of the calculation information is proportional to a temperature. .

An imaging step of imaging a captured image by an imaging device in which a positional relationship with a measurement target is fixed;
A measuring step of measuring the position and / or orientation of the imaging viewpoint of the imaging device;
A storage step for storing calculation information for calculating the position and / or orientation of the measurement object based on the measurement value measured in the measurement step;
An update step of updating the calculation information stored in the storage step;
Storing the update content of the calculation information by the update step, or estimating the update content of the calculation information; and
An image processing method comprising: a calculation step of calculating a position and / or orientation of the measurement target based on the measurement value and the calculation information updated by the update step,
The updating step updates the calculation information based on the captured image when the captured image includes information regarding the position and orientation of the measurement target, and the captured image includes information regarding the position and orientation of the captured image. If not, characterized by updating the calculation information based on the estimation result in the update estimation step,
The update estimation step stores the update content of the calculation information in the update step when the captured image includes information on the position and orientation of the measurement target, and the captured image relates to the position and orientation of the captured image. An image processing method characterized by estimating an update content of the calculation information when information is not included.

A program code for executing the image processing method according to claim 12.

A storage medium storing the program code according to claim 13.