JP2020136802A - Image adjustment system, image adjustment device, and image adjustment method - Google Patents
Image adjustment system, image adjustment device, and image adjustment method Download PDFInfo
- Publication number
- JP2020136802A JP2020136802A JP2019025377A JP2019025377A JP2020136802A JP 2020136802 A JP2020136802 A JP 2020136802A JP 2019025377 A JP2019025377 A JP 2019025377A JP 2019025377 A JP2019025377 A JP 2019025377A JP 2020136802 A JP2020136802 A JP 2020136802A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- spherical
- camera
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像調整システム、画像調整装置、及び画像調整方法に関する。 The present invention relates to an image adjustment system, an image adjustment device, and an image adjustment method.
近年、画像表示装置としてヘッドマウントディスプレイが注目されている。ヘッドマウントディスプレイは、使用者の頭部に装着された状態で画像を表示することにより、使用者は仮想空間に入り込んだような感覚（没入感）を得ることができる。特許文献１に記載されているように、ヘッドマウントディスプレイは、外部のカメラで撮影した画像をネックワークを介して表示することができる。 In recent years, a head-mounted display has attracted attention as an image display device. By displaying an image while the head-mounted display is attached to the user's head, the user can obtain a feeling of entering a virtual space (immersive feeling). As described in Patent Document 1, the head-mounted display can display an image taken by an external camera via a neckwork.
３６０度の範囲を撮影できる全方位カメラとして、右目用画像と左目用画像とを撮影できるステレオカメラを用いて撮影された画像をヘッドマウントディスプレイに表示することにより、使用者はヘッドマウントディスプレイに表示された画像を立体的に見ることができる。 As an omnidirectional camera capable of capturing a 360-degree range, the user can display the image captured by the stereo camera capable of capturing the image for the right eye and the image for the left eye on the head-mounted display by displaying the image on the head-mounted display. You can see the image in three dimensions.
しかし、右目用画像と左目用画像とのずれが大きいと、使用者はＶＲ(Virtual Reality)酔いと称される乗り物酔いに似た症状を生じる場合がある。ＶＲ酔いは、右目用画像と左目用画像との上下方向のずれ、右目用画像と左目用画像との視差または右目用画像と左目用画像との傾きのずれが大きい場合に生じやすい。 However, if the gap between the image for the right eye and the image for the left eye is large, the user may develop a symptom similar to motion sickness called VR (Virtual Reality) sickness. VR sickness is likely to occur when the vertical deviation between the right eye image and the left eye image, the parallax between the right eye image and the left eye image, or the inclination deviation between the right eye image and the left eye image is large.
本発明は、右目用画像と左目用画像とのずれを簡便に補正することができる画像調整システム、画像調整装置、及び画像調整方法を提供することを目的とする。 An object of the present invention is to provide an image adjustment system, an image adjustment device, and an image adjustment method capable of easily correcting a deviation between an image for the right eye and an image for the left eye.
本発明は、右目用画像と左目用画像とを撮影するカメラと、前記カメラの姿勢を制御する姿勢制御装置と、前記カメラから前記右目用画像と前記左目用画像とを撮影画像として取得し、前記撮影画像を調整する画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、前記画像調整装置へ指示情報を出力するコントローラとを備え、前記画像調整装置は、球面状画像を生成する画像生成部と、前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像における前記右目用画像または前記左目用画像を調整し、前記指示情報、または、前記画像表示装置に表示されている前記撮影画像の調整方向及び調整量に基づいて前記カメラの傾斜方向及び傾斜角度を推定し、推定結果に基づいて補正情報を生成する画像処理部とを有し、前記姿勢制御装置は、前記補正情報に基づいて前記カメラの姿勢を制御する画像調整システムを提供する。 In the present invention, a camera that captures a right-eye image and a left-eye image, an attitude control device that controls the posture of the camera, and the right-eye image and the left-eye image are acquired from the camera as captured images. The image adjusting device includes an image adjusting device for adjusting the captured image, an image display device for displaying the captured image adjusted by the image adjusting device, and a controller for outputting instruction information to the image adjusting device. An image generation unit that generates a spherical image, an image generation unit that acquires the spherical image from the image generation unit based on the instruction information, displays the spherical image on the image display device, and displays the spherical image based on the instruction information. The image for the right eye or the image for the left eye in the captured image displayed on the image display device is adjusted in accordance with the rotation of the spherical image, and the instruction information or the image display device is displayed. The attitude control device includes an image processing unit that estimates the tilt direction and tilt angle of the camera based on the adjustment direction and adjustment amount of the captured image displayed, and generates correction information based on the estimation result. Provides an image adjustment system that controls the posture of the camera based on the correction information.
本発明は、球面状画像を生成する画像生成部と、コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、姿勢制御装置によって左右方向の傾斜角度が前後方向の傾斜角度よりも小さくなるように姿勢制御されたカメラにより撮影されて前記画像表示装置に表示されている撮影画像における右目用画像または左目用画像を、前記球面状画像の回転に対応させて調整し、前記指示情報、または、前記画像表示装置に表示されている前記撮影画像の調整方向及び調整量に基づいて前記カメラの傾斜方向及び傾斜角度を推定し、推定結果に基づいて姿勢制御装置が前記カメラの姿勢を制御するための補正情報を生成する画像処理部とを備える画像調整装置を提供する。 The present invention acquires the spherical image from the image generation unit based on an image generation unit that generates a spherical image and instruction information acquired from the controller, displays the spherical image on an image display device, and based on the instruction information. In a captured image displayed on the image display device, the spherical image is rotated and photographed by a camera whose attitude is controlled so that the tilt angle in the left-right direction is smaller than the tilt angle in the front-rear direction by the posture control device. The image for the right eye or the image for the left eye is adjusted in correspondence with the rotation of the spherical image, and the adjustment direction and adjustment amount of the captured image displayed on the instruction information or the image display device are used. Provided is an image adjusting device including an image processing unit that estimates the tilt direction and tilt angle of the camera, and the posture control device generates correction information for controlling the posture of the camera based on the estimation result.
本発明は、カメラが右目用画像と左目用画像とを撮影し、画像処理部が前記カメラから前記右目用画像と前記左目用画像とを撮影画像として取得し、画像表示装置が前記撮影画像を表示し、前記画像処理部がコントローラから指示情報を取得し、前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、前記画像表示装置が前記球面状画像を表示し、前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、前記画像処理部が前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像における前記右目用画像または前記左目用画像を調整し、前記画像処理部が前記指示情報、または、前記画像表示装置に表示されている前記撮影画像の調整方向及び調整量に基づいて前記カメラの傾斜方向及び傾斜角度を推定し、前記画像処理部が推定結果に基づいて補正情報を生成し、姿勢制御装置が前記補正情報に基づいて前記カメラの姿勢を制御する画像調整方法を提供する。 In the present invention, the camera captures an image for the right eye and an image for the left eye, the image processing unit acquires the image for the right eye and the image for the left eye from the camera as captured images, and the image display device captures the captured image. The image processing unit acquires instruction information from the controller, the image processing unit acquires a spherical image from the image generation unit based on the instruction information, and the image display device displays the spherical image. Then, the image processing unit rotates the spherical image based on the instruction information, and the image processing unit rotates the spherical image in correspondence with the rotation of the spherical image, and the photographed image displayed on the image display device. The image for the right eye or the image for the left eye is adjusted, and the image processing unit adjusts the tilting direction and the tilting direction of the camera based on the instruction information or the adjustment direction and adjustment amount of the captured image displayed on the image display device. Provided is an image adjustment method in which an inclination angle is estimated, the image processing unit generates correction information based on the estimation result, and the posture control device controls the posture of the camera based on the correction information.
本発明の画像調整システム、画像調整装置、及び画像調整方法によれば、右目用画像と左目用画像とのずれを簡便に補正することができる。 According to the image adjustment system, the image adjustment device, and the image adjustment method of the present invention, the deviation between the right-eye image and the left-eye image can be easily corrected.
［第１実施形態］
図１を用いて、第１実施形態の画像調整システムの構成例を説明する。画像調整システム１０１は、カメラ１０２と、通信部１０３と、画像表示装置１０４と、コントローラ１０５と、画像調整装置１１０と、サーバ１０６とを備える。画像調整装置１１０は、画像処理部１１１と、画像生成部１１２と、通信部１１３とを有する。
[First Embodiment]
A configuration example of the image adjustment system of the first embodiment will be described with reference to FIG. The
カメラ１０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）であり、右目用画像と左目用画像とを撮影できるステレオカメラである。通信部１０３と通信部１１３とはネットワークを介して接続されている。画像調整装置１１０は、カメラ１０２が３６０度の範囲を撮影した右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１を撮影画像ＩＭ１として、通信部１０３及び１１３とネットワークとを介して取得することができる。
The
画像調整装置１１０としてコンピュータ機器を用いてもよい。画像処理部１１１及び画像生成部１１２としてＣＰＵを用いてもよい。画像生成部１１２及び通信部１１３は、画像調整装置１１０の外部に設けられていてもよい。
A computer device may be used as the image adjusting
サーバ１０６は、ネットワークと通信部１０３とを介してカメラ１０２と接続し、ネットワークと通信部１１３とを介して画像調整装置１１０と接続する。サーバ１０６がカメラ１０２から撮影画像ＩＭ１を通信部１０３及びネットワークを介して取得し、画像調整装置１１０がサーバ１０６から撮影画像ＩＭ１をネットワーク及び通信部１１３を介して取得してもよい。
The
画像調整装置１１０が取得した撮影画像ＩＭ１は、画像処理部１１１へ入力される。画像調整装置１１０は、撮影画像ＩＭ１の歪みを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像表示装置１０４へ出力する。画像表示装置１０４は、例えばヘッドマウントディスプレイである。コントローラ１０５は、例えばＶＲ等に用いられるグローブ型コントローラである。
The captured image IM1 acquired by the image adjusting
図２は、画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている状態を模式的に示している。図２に示す符号ＺＥは天頂を示している。カメラ１０２の天頂と使用者ＵＳの天頂とは一致していることが望ましい。画像表示装置１０４が使用者ＵＳの頭部に装着されている状態で、画像調整装置１１０が使用者ＵＳの右目に対応する領域に右目用画像ＩＭＲ１を表示し、使用者ＵＳの左目に対応する領域に左目用画像ＩＭＬ１を表示することにより、使用者ＵＳは、撮影画像ＩＭ１を立体画像として見ることができる。
FIG. 2 schematically shows a state in which the
サーバ１０６がカメラ１０２から取得した撮影画像ＩＭ１の歪みを補正し、撮影画像ＩＭ１の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像調整装置１１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置１０４を装着することにより、画像調整装置１１０またはサーバ１０６によって画像処理された撮影画像ＩＭ１を見ることができる。
The
画像表示装置１０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ１を生成する。画像処理部１１１は、画像表示装置１０４から姿勢情報ＰＮ１を取得する。即ち、画像処理部１１１は、画像表示装置１０４の姿勢に基づいて姿勢情報ＰＮ１を取得することになる。画像処理部１１１は、姿勢情報ＰＮ１に基づいて、撮影画像ＩＭ１から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置１０４に表示する。
The
コントローラ１０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢、または、使用者ＵＳの指の動きまたは姿勢等の状態に基づいて指示情報ＮＮ１を生成する。以下、手または指を、単に手と略記する。画像処理部１１１は、コントローラ１０５から指示情報ＮＮ１を取得する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１を変化させたり調整したりすることができる。
The
画像生成部１１２は、ＣＧ(Computer Graphics)である球面により構成された仮想画像である球面状画像ＶＳＳ１を生成し、内蔵メモリまたは外部のメモリに保存する。
The
画像処理部１１１は、指示情報ＮＮ１に基づいて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。図２は、画像表示装置１０４が使用者ＵＳの頭部に装着された状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときの使用者ＵＳのイメージを模式的に示している。
The
画像表示装置１０４が使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときに、球面状画像ＶＳＳ１は、使用者ＵＳ及び画像表示装置１０４の周囲に配置され、かつ、使用者ＵＳの手が球面状画像ＶＳＳ１に届く範囲に表示されるように設定されている。使用者ＵＳは、コントローラ１０５が装着されている手を、画像表示装置１０４に表示されている球面状画像ＶＳＳ１に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ１に接触しているように感じる。
When the user US sees the spherical image VSS1 displayed on the
コントローラ１０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部１１１は、指示情報ＮＮ１に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ１に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ１に接触する感覚を実感として得ることができる。
The
球面状画像ＶＳＳ１が画像表示装置１０４に表示されている状態において、使用者ＵＳが、コントローラ１０５が装着されている手を任意の方向へ移動させた場合、画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている球面状画像ＶＳＳ１と撮影画像ＩＭ１とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
When the user US moves the hand on which the
使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ１を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ１を回転させることができる。画像処理部１１１は、球面状画像ＶＳＳ１の回転に対応させて撮影画像ＩＭ１を移動させる。
The user US can rotate the spherical image VSS1 in an arbitrary direction and at an arbitrary speed by moving the hand in an arbitrary direction and at an arbitrary speed to an arbitrary position. it can. That is, the user US can rotate the spherical image VSS1 by the movement of his / her hand. The
図３Ａ〜図３Ｄに示すフローチャートを用いて、第１実施形態の画像調整方法の一例を説明する。具体的には、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれを調整する方法の一例について説明する。画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている。画像表示装置１０４には撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）が表示されている。
An example of the image adjustment method of the first embodiment will be described with reference to the flowcharts shown in FIGS. 3A to 3D. Specifically, an example of a method of adjusting the deviation between the right-eye image IMR1 and the left-eye image IML1 will be described. The
使用者ＵＳが画像表示装置１０４に表示されている撮影画像ＩＭ１を見て違和感を覚えたりＶＲ酔いが生じたりした場合、図３Ａにおいて、使用者ＵＳがコントローラ１０５を操作することにより、画像処理部１１１は、ステップＳ１０１にて、画像表示装置１０４に設定画面を表示させる。
When the user US sees the captured image IM1 displayed on the
設定画面には、例えば、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向（垂直方向）のずれを補正するための上下補正の項目、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差を補正するための視差補正の項目、及び、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれを補正するための傾き補正の項目が調整項目として表示される。 On the setting screen, for example, a vertical correction item for correcting a vertical (vertical) deviation between the right eye image IMR1 and the left eye image IML1, and a misalignment between the right eye image IMR1 and the left eye image IML1 are corrected. The item of the misalignment correction for correcting the deviation and the item of the inclination correction for correcting the deviation of the inclination between the image IMR1 for the right eye and the image IML1 for the left eye are displayed as adjustment items.
図４に示すように、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とが上下方向にずれている場合、使用者ＵＳはコントローラ１０５を操作して、設定画面に表示されている上下補正の項目を選択する。図５に示すように、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が大きい場合、使用者ＵＳはコントローラ１０５を操作して、設定画面に表示されている視差補正の項目を選択する。図６に示すように、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれが大きい場合、使用者ＵＳはコントローラ１０５を操作して、設定画面に表示されている傾き補正の項目を選択する。
As shown in FIG. 4, when the image IMR1 for the right eye and the image IML1 for the left eye are displaced in the vertical direction, the user US operates the
使用者ＵＳが設定画面に表示されている上下補正、視差補正、及び傾き補正の項目のうちのいずれかの項目を選択した場合、コントローラ１０５は、ステップＳ１０２にて、選択された項目を含む指示情報ＮＮ１を画像処理部１１１へ出力する。
When the user US selects any one of the vertical correction, parallax correction, and tilt correction items displayed on the setting screen, the
ステップＳ１０１において上下補正の項目が選択された場合、コントローラ１０５は、上下補正の項目が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１１１にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれを補正するための処理モード（上下補正モード）へ処理を移行させる。
When the vertical correction item is selected in step S101, the
画像処理部１１１は、ステップＳ１１２にて、補正する画像が右目用画像ＩＭＲ１か左目用画像ＩＭＬ１かを選択するための項目を画像表示装置１０４に表示させる。使用者ＵＳが右目用画像ＩＭＲ１を選択した場合、コントローラ１０５は、右目用画像ＩＭＲ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１１３にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１の上下方向を補正するための処理モード（右目用上下補正モード）へ処理を移行させる。
In step S112, the
画像処理部１１１は、ステップＳ１１４にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。
In step S114, the
使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれが小さくなるように球面状画像ＶＳＳ１を垂直方向である上方向または下方向へ回転させる。画像処理部１１１は、ステップＳ１１５にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている右目用画像ＩＭＲ１を上方向または下方向へ移動させる。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれがなくなるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。
The user US rotates the spherical image VSS1 in the vertical direction upward or downward so that the vertical deviation between the right-eye image IMR1 and the left-eye image IML1 is small. In step S115, the
ステップＳ１１２において使用者ＵＳが左目用画像ＩＭＬ１を選択した場合、コントローラ１０５は、左目用画像ＩＭＬ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１１６にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、左目用画像ＩＭＬ１の上下方向を補正するための処理モード（左目用上下補正モード）へ処理を移行させる。
When the user US selects the left-eye image IML1 in step S112, the
画像処理部１１１は、ステップＳ１１７にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。
In step S117, the
使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれが小さくなるように球面状画像ＶＳＳ１を上方向または下方向へ回転させる。画像処理部１１１は、ステップＳ１１８にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている左目用画像ＩＭＬ１を上方向または下方向へ移動させる。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれがなくなるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。
The user US rotates the spherical image VSS1 in the upward or downward direction so that the vertical deviation between the right-eye image IMR1 and the left-eye image IML1 is small. In step S118, the
ステップＳ１１１において上下補正モードへ移行された場合、ステップＳ１１３において右目用上下補正モードへ移行された場合、または、ステップＳ１１６において左目用上下補正モードへ移行された場合、画像処理部１１１は、球面状画像ＶＳＳ１が上下方向のみに回転するように球面状画像ＶＳＳ１の回転方向を制限してもよい。また、球面状画像ＶＳＳ１を回転させずに、球面状画像ＶＳＳ１を上下に動かすことで左目用画像ＩＭＬ１を上方向または下方向へ移動させてもよい。
When the vertical correction mode is shifted in step S111, the vertical correction mode for the right eye is shifted in step S113, or the vertical correction mode for the left eye is shifted in step S116, the
ステップＳ１０１において視差補正の項目が選択された場合、コントローラ１０５は、視差補正の項目が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。図３Ｂにおいて、画像処理部１１１は、ステップＳ１２１にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差を補正するための処理モード（視差補正モード）へ処理を移行させる。
When the parallax correction item is selected in step S101, the
画像処理部１１１は、ステップＳ１２２にて、補正する画像が右目用画像ＩＭＲ１か左目用画像ＩＭＬ１かを選択するための項目を画像表示装置１０４に表示させる。使用者ＵＳが右目用画像ＩＭＲ１を選択した場合、コントローラ１０５は、右目用画像ＩＭＲ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１２３にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１の視差を補正するための処理モード（右目用視差補正モード）へ処理を移行させる。
In step S122, the
画像処理部１１１は、ステップＳ１２４にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。
In step S124, the
使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が目的の視差となるように球面状画像ＶＳＳ１を水平方向である右方向または左方向へ回転させる。画像処理部１１１は、ステップＳ１２５にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている右目用画像ＩＭＲ１の視差を補正する。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が目的の視差となるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。
The user US rotates the spherical image VSS1 in the horizontal direction to the right or left so that the parallax between the right-eye image IMR1 and the left-eye image IML1 becomes the desired parallax. In step S125, the
ステップＳ１２２において使用者ＵＳが左目用画像ＩＭＬ１を選択した場合、コントローラ１０５は、左目用画像ＩＭＬ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１２６にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、左目用画像ＩＭＬ１の視差を補正するための処理モード（左目用視差補正モード）へ処理を移行させる。
When the user US selects the left-eye image IML1 in step S122, the
画像処理部１１１は、ステップＳ１２７にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。
In step S127, the
使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が目的の視差となるように球面状画像ＶＳＳ１を右方向または左方向へ回転させる。画像処理部１１１は、ステップＳ１２８にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている左目用画像ＩＭＬ１の視差を補正する。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が目的の視差となるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。
The user US rotates the spherical image VSS1 to the right or left so that the parallax between the right-eye image IMR1 and the left-eye image IML1 is the desired parallax. In step S128, the
ステップＳ１２１において視差補正モードへ移行された場合、ステップＳ１２３において右目用視差補正モードへ移行された場合、または、ステップＳ１２６において左目用視差補正モードへ移行された場合、画像処理部１１１は、球面状画像ＶＳＳ１が水平方向のみに回転するように球面状画像ＶＳＳ１の回転方向を制限してもよい。
When the mode is changed to the parallax correction mode in step S121, the right eye parallax correction mode is changed in step S123, or the left eye parallax correction mode is changed in step S126, the
ステップＳ１０１において傾き補正の項目が選択された場合、コントローラ１０５は、傾き補正の項目が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。図３Ｃにおいて、画像処理部１１１は、ステップＳ１３１にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれを補正するための処理モード（傾き補正モード）へ処理を移行させる。
When the tilt correction item is selected in step S101, the
画像処理部１１１は、ステップＳ１３２にて、補正する画像が右目用画像ＩＭＲ１か左目用画像ＩＭＬ１かを選択するための項目を画像表示装置１０４に表示させる。使用者ＵＳが右目用画像ＩＭＲ１を選択した場合、コントローラ１０５は、右目用画像ＩＭＲ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１３３にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１の傾きを補正するための処理モード（右目用傾き補正モード）へ処理を移行させる。
In step S132, the
画像処理部１１１は、ステップＳ１３４にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。
In step S134, the
使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれが小さくなるように球面状画像ＶＳＳ１を任意の方向へ回転させる。画像処理部１１１は、ステップＳ１３５にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている右目用画像ＩＭＲ１の傾きを補正する。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれがなくなるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。
The user US rotates the spherical image VSS1 in an arbitrary direction so that the deviation between the tilt of the right-eye image IMR1 and the left-eye image IML1 becomes small. In step S135, the
ステップＳ１３２において使用者ＵＳが左目用画像ＩＭＬ１を選択した場合、コントローラ１０５は、左目用画像ＩＭＬ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１３６にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、左目用画像ＩＭＬ１の傾きを補正するための処理モード（左目用傾き補正モード）へ処理を移行させる。
When the user US selects the left-eye image IML1 in step S132, the
画像処理部１１１は、ステップＳ１３７にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。
In step S137, the
使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれが小さくなるように球面状画像ＶＳＳ１を任意の方向へ回転させる。画像処理部１１１は、ステップＳ１３８にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている左目用画像ＩＭＬ１の傾きを補正する。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれがなくなるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。
The user US rotates the spherical image VSS1 in an arbitrary direction so that the deviation between the tilt of the right-eye image IMR1 and the left-eye image IML1 becomes small. In step S138, the
ステップＳ１３１において傾き補正モードへ移行された場合、ステップＳ１３３において右目用傾き補正モードへ移行された場合、または、ステップＳ１３６において左目用傾き補正モードへ移行された場合、画像処理部１１１は、球面状画像ＶＳＳ１の回転方向を制限しない。従って、使用者ＵＳは、球面状画像ＶＳＳ１を任意の方向へ回転させることができる。
When the
画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ１を回転させることによって球面状画像ＶＳＳ１の座標上のどの位置へ移動したかを判定することができる。画像処理部１１１は、球面状画像ＶＳＳ１の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前と回転させた後との球面状画像ＶＳＳ１の変化量を算出する。
The
球面状画像ＶＳＳ１の変化量とは、球面状画像ＶＳＳ１において、Ｘ軸を回転軸とした回転量（回転角度）と、Ｙ軸を回転軸とした回転量（回転角度）と、Ｚ軸を回転軸とした回転量（回転角度）とが合成された球面状画像ＶＳＳ１の回転量（回転角度）に相当する。画像処理部１１１は、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として、画像処理された撮影画像ＩＭ１（右目用画像ＩＭＲ１または左目用画像ＩＭＬ１）と対応付けて保存する。
The amount of change in the spherical image VSS1 is the amount of rotation (rotation angle) with the X-axis as the rotation axis, the amount of rotation (rotation angle) with the Y-axis as the rotation axis, and the rotation of the Z-axis in the spherical image VSS1. The amount of rotation (rotation angle) as the axis corresponds to the amount of rotation (rotation angle) of the spherical image VSS1 synthesized. The
即ち、補正値ＣＶ１は、球面状画像ＶＳＳ１の回転方向と、天頂ＺＥの移動量または移動角度（球面状画像ＶＳＳ１の回転角度）に基づいて算出されることになる。画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させた後の天頂ＺＥの球面状画像ＶＳＳ１上の座標を補正値ＣＶ１として保存してもよい。
That is, the correction value CV1 is calculated based on the rotation direction of the spherical image VSS1 and the movement amount or movement angle of the zenith ZE (rotation angle of the spherical image VSS1). The
画像処理部１１１は、補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存してもよい。サーバ１０６がネットワーク及び通信部１１３を介して画像調整装置１１０から補正値ＣＶ１を画像処理された撮影画像ＩＭ１（右目用画像ＩＭＲ１または左目用画像ＩＭＬ１）と対応付けて取得してもよい。サーバ１０６は、補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存する。
The
使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれが補正されたと判断した場合にコントローラ１０５を操作することにより、図３Ｄにおいて、画像処理部１１１は、ステップＳ１４１にて、球面状画像ＶＳＳ１の表示を終了させ、画像表示装置１０４に設定画面を表示させる。
When the user US determines that the deviation between the right-eye image IMR1 and the left-eye image IML1 has been corrected, the user US operates the
使用者ＵＳがコントローラ１０５を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、コントローラ１０５は、ステップＳ１４２にて、終了の項目が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１４３にて、選択された項目に対応する所定の処理モードへ処理を移行させる。終了の項目が選択された場合、画像処理部１１１は、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との画像調整を終了するための処理モード（終了モード）へ処理を移行させる。
When the user US operates the
画像処理部１１１は、ステップＳ１４４にて、球面状画像ＶＳＳ１が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ１の変化量として取得する。画像処理部１１１は、ステップＳ１４５にて、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として、画像処理された撮影画像ＩＭ１（右目用画像ＩＭＲ１または左目用画像ＩＭＬ１）と対応付けて保存し、処理を終了する。
In step S144, the
第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、画像表示装置１０４に球面状画像ＶＳＳ１を表示させる。第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれが生じた場合に、使用者ＵＳは、コントローラ１０５を操作して球面状画像ＶＳＳ１を回転させることにより、画像表示装置１０４に表示されている右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれを簡便に調整することができる。
In the
第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、補正値ＣＶ１が画像調整装置１１０またはサーバ１０６に保存されている場合、画像処理部１１１は、画像調整装置１１０またはサーバ１０６から補正値ＣＶ１を読み出し、カメラ１０２が撮影した撮影画像ＩＭ１（右目用画像ＩＭＲ１または左目用画像ＩＭＬ１）を補正値ＣＶ１に基づいて画像調整し、画像表示装置１０４に表示することができる。
According to the
［第２実施形態］
図７を用いて、第２実施形態の画像調整システムの構成例を説明する。画像調整システム２０１は、カメラ２０２と、姿勢制御装置２２０と、通信部２０３と、画像表示装置２０４と、コントローラ２０５と、画像調整装置２１０と、サーバ２０６とを備える。画像調整装置２１０は、画像処理部２１１と、画像生成部２１２と、通信部２１３とを有する。
[Second Embodiment]
A configuration example of the image adjustment system of the second embodiment will be described with reference to FIG. 7. The image adjustment system 201 includes a camera 202, an attitude control device 220, a communication unit 203, an image display device 204, a controller 205, an image adjustment device 210, and a server 206. The image adjusting device 210 includes an image processing unit 211, an image generation unit 212, and a communication unit 213.
カメラ２０２、通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及びサーバ２０６は、それぞれ、第１実施形態のカメラ１０２、通信部１０３、画像表示装置１０４、コントローラ１０５、画像調整装置１１０、及びサーバ１０６に相当する。画像処理部２１１、画像生成部２１２、及び通信部２１３は、それぞれ、第１実施形態の画像処理部１１１、画像生成部１１２、及び通信部１１３に相当する。
The camera 202, the communication unit 203, the image display device 204, the controller 205, the image adjustment device 210, and the server 206 are the
図８に示すように、カメラ２０２は、第１の面ＰＬ１と、第１の面ＰＬ１とは反対側の面である第２の面ＰＬ２とを有する。カメラ２０２は、第１の面ＰＬ１側に配置された右目用及び左目用の魚眼レンズＬＲ１及びＬＬ１と、第２の面ＰＬ２側に配置された右目用及び左目用の魚眼レンズＬＲ２及びＬＬ２とを有する。以下、右目用の魚眼レンズＬＲ１を第１の右目用レンズＬＲ１、左目用の魚眼レンズＬＬ１を第１の左目用レンズＬＬ１、右目用の魚眼レンズＬＲ２を第２の右目用レンズＬＲ２、及び、左目用の魚眼レンズＬＬ２を第２の左目用レンズＬＬ２とする。 As shown in FIG. 8, the camera 202 has a first surface PL1 and a second surface PL2 which is a surface opposite to the first surface PL1. The camera 202 has fisheye lenses LR1 and LL1 for the right eye and the left eye arranged on the first surface PL1 side, and fisheye lenses LR2 and LL2 for the right eye and the left eye arranged on the second surface PL2 side. Hereinafter, the fisheye lens LR1 for the right eye is the first right eye lens LR1, the fisheye lens LL1 for the left eye is the first left eye lens LL1, the fisheye lens LR2 for the right eye is the second right eye lens LR2, and the fisheye lens for the left eye. Let LL2 be the second left eye lens LL2.
カメラ２０２は、第１の面ＰＬ１側の１８０度の範囲を第１の右目用レンズＬＲ１と第１の左目用レンズＬＬ１とを用いて撮影する第１のカメラ２０２１と、第２の面ＰＬ２側の１８０度の範囲を第２の右目用レンズＬＲ２と第２の左目用レンズＬＬ２とを用いて撮影する第２のカメラ２０２２とを有する。即ち、カメラ２０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）であり、右目用画像と左目用画像とを撮影できるステレオカメラである。 The camera 202 is a first camera 2021 and a second surface PL2 side that captures a 180-degree range on the first surface PL1 side using the first right eye lens LR1 and the first left eye lens LL1. It has a second camera 2022 that captures a 180-degree range of the above with a second right-eye lens LR2 and a second left-eye lens LL2. That is, the camera 202 is an omnidirectional camera (360-degree camera) capable of capturing a 360-degree range, and is a stereo camera capable of capturing an image for the right eye and an image for the left eye.
カメラ２０２は、撮影レンズである第１及び第２の右目用レンズＬＲ１及びＬＲ２を用いて３６０度の範囲を撮影し、右目用画像ＩＭＲ２を生成する。カメラ２０２は、撮影レンズである第１及び第２の左目用レンズＬＬ１及びＬＬ２を用いて３６０度の範囲を撮影し、左目用画像ＩＭＬ２を生成する。 The camera 202 captures a 360-degree range using the first and second right-eye lenses LR1 and LR2, which are photographing lenses, and generates a right-eye image IMR2. The camera 202 captures a 360-degree range using the first and second left-eye lenses LL1 and LL2, which are photographing lenses, and generates a left-eye image IML2.
姿勢制御装置２２０は、カメラ２０２の姿勢を制御する。図９に示すように、姿勢制御装置２２０は、カメラ２０２の左右方向の傾きを制御する。例えば、姿勢制御装置２２０は、第１の右目用レンズＬＲ１と第１の左目用レンズＬＬ１との中間の位置、及び、第２の右目用レンズＬＲ２と第２の左目用レンズＬＬ２との中間の位置を通り、かつ、各レンズＬＲ１、ＬＬ１、ＬＲ２、及びＬＬ２の光軸と平行な回転軸ＣＬａ（第１の回転軸）を中心としてカメラ２０２を回転させることにより、カメラ２０２の左右方向の傾きを制御する。即ち、カメラ２０２の左右方向の傾きとは、回転軸ＣＬａを中心とするカメラ２０２の傾きである。 The attitude control device 220 controls the attitude of the camera 202. As shown in FIG. 9, the attitude control device 220 controls the tilt of the camera 202 in the left-right direction. For example, the attitude control device 220 is located at an intermediate position between the first right eye lens LR1 and the first left eye lens LL1 and between the second right eye lens LR2 and the second left eye lens LL2. By rotating the camera 202 around the rotation axis CLa (first rotation axis) that passes through the position and is parallel to the optical axes of the lenses LR1, LL1, LR2, and LL2, the camera 202 is tilted in the left-right direction. To control. That is, the tilt of the camera 202 in the left-right direction is the tilt of the camera 202 about the rotation axis CLa.
図１０に示すように、姿勢制御装置２２０は、カメラ２０２の前後方向の傾きを制御する。例えば、姿勢制御装置２２０は、第１の右目用レンズＬＲ１と第２の左目用レンズＬＬ２との中間の位置、及び、第１の左目用レンズＬＬ１と第２の右目用レンズＬＲ２との中間の位置を通り、かつ、各レンズＬＲ１、ＬＬ１、ＬＲ２、及びＬＬ２の光軸に直交する回転軸ＣＬｂ（第２の回転軸）を中心としてカメラ２０２を回転させることにより、カメラ２０２の前後方向の傾きを制御する。即ち、カメラ２０２の前後方向の傾きとは、回転軸ＣＬｂを中心とするカメラ２０２の傾きである。 As shown in FIG. 10, the attitude control device 220 controls the tilt of the camera 202 in the front-rear direction. For example, the attitude control device 220 is located at an intermediate position between the first right eye lens LR1 and the second left eye lens LL2, and is intermediate between the first left eye lens LL1 and the second right eye lens LR2. By rotating the camera 202 around the rotation axis CLb (second rotation axis) that passes through the position and is orthogonal to the optical axes of the lenses LR1, LL1, LR2, and LL2, the camera 202 is tilted in the front-rear direction. To control. That is, the tilt of the camera 202 in the front-rear direction is the tilt of the camera 202 about the rotation axis CLb.
第１の回転軸ＣＬａと第２の回転軸ＣＬｂとは互いに直交する。カメラ２０２が水平に姿勢制御されている状態では、第１及び第２の回転軸ＣＬａ及びＣＬｂは、水平面と平行である。 The first rotation axis CLa and the second rotation axis CLb are orthogonal to each other. When the camera 202 is attitude-controlled horizontally, the first and second rotation axes CLa and CLb are parallel to the horizontal plane.
図１１に示すように、姿勢制御装置２２０は、３軸加速度センサ２２１と、３軸磁気センサ２２２と、３軸ジャイロセンサ２２３と、駆動制御部２２４と、駆動部２２５及び２２６とを有する。３軸加速度センサ２２１を第１のセンサ２２１、３軸磁気センサ２２２を第２のセンサ２２２、３軸ジャイロセンサ２２３を第３のセンサ２２３とする。駆動部２２５を第１の駆動部、駆動部２２６を第２の駆動部とする。
As shown in FIG. 11, the attitude control device 220 includes a 3-
第１のセンサ２２１は、重力の方向を検知することによってカメラ２０２の左右方向及び前後方向の傾きを取得する。第２のセンサ２２２は磁場（磁界）の大きさと方向とを検知し、第３のセンサ２２３は角速度を検知する。
The
駆動制御部２２４は、第１のセンサ２２１が検知した情報に基づいて駆動部２２５及び２２６の少なくともいずれかを制御する。カメラ２０２が加速または減速しながら移動している場合、駆動制御部２２４は、第１のセンサ２２１が検知した情報と、第２及び第３のセンサ２２２及び２２３の少なくともいずれかが検知した情報とに基づいて駆動部２２５及び２２６の少なくともいずれかを制御する。図９に示すように、駆動部２２５はカメラ２０２を左右方向へ回転させる。図１０に示すように、駆動部２２６はカメラ２０２を前後方向へ回転させる。
The
画像調整装置２１０は、カメラ２０２が３６０度の範囲を撮影した右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２を撮影画像ＩＭ２として、通信部２０３及び２１３とネットワークとを介して取得することができる。 The image adjusting device 210 can acquire the image IMR2 for the right eye and the image IML2 for the left eye obtained by the camera 202 in a range of 360 degrees as the captured image IM2 via the communication units 203 and 213 and the network.
サーバ２０６は、ネットワークと通信部２０３とを介してカメラ２０２と接続し、ネットワークと通信部２１３とを介して画像調整装置２１０と接続する。サーバ２０６がカメラ２０２から撮影画像ＩＭ２を通信部２０３及びネットワークを介して取得し、画像調整装置２１０がサーバ２０６から撮影画像ＩＭ２をネットワーク及び通信部２１３を介して取得してもよい。図７では、画像調整装置２１０またはサーバ２０６は、撮影画像ＩＭ２を、姿勢制御装置２２０を介して取得するように示しているが、姿勢制御装置２２０を介さずに取得してもよい。 The server 206 connects to the camera 202 via the network and the communication unit 203, and connects to the image adjusting device 210 via the network and the communication unit 213. The server 206 may acquire the captured image IM2 from the camera 202 via the communication unit 203 and the network, and the image adjusting device 210 may acquire the captured image IM2 from the server 206 via the network and the communication unit 213. In FIG. 7, the image adjusting device 210 or the server 206 shows that the captured image IM2 is acquired via the attitude control device 220, but may be acquired without the attitude control device 220.
画像調整装置２１０が取得した撮影画像ＩＭ２は、画像処理部２１１へ入力される。画像調整装置２１０は、撮影画像ＩＭ２の歪みを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像表示装置２０４へ出力する。 The captured image IM2 acquired by the image adjusting device 210 is input to the image processing unit 211. The image adjusting device 210 executes image processing such as correcting distortion of the captured image IM2, and outputs the image-processed captured image IM2 to the image display device 204.
画像表示装置２０４が使用者ＵＳの頭部に装着されている状態で、画像調整装置２１０が使用者ＵＳの右目に対応する領域に右目用画像ＩＭＲ２を表示し、使用者ＵＳの左目に対応する領域に左目用画像ＩＭＬ２を表示することにより、使用者ＵＳは、撮影画像ＩＭ２を立体画像として見ることができる。 With the image display device 204 mounted on the head of the user US, the image adjustment device 210 displays the image IMR2 for the right eye in the area corresponding to the right eye of the user US, and corresponds to the left eye of the user US. By displaying the left-eye image IML2 in the area, the user US can see the captured image IM2 as a stereoscopic image.
サーバ２０６がカメラ２０２から取得した撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像調整装置２１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置２０４を装着することにより、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ２を見ることができる。 The server 206 corrects the distortion of the captured image IM2 acquired from the camera 202, executes image processing such as adjusting the level of the captured image IM2, and outputs the image-processed captured image IM2 to the image adjusting device 210. May be good. By attaching the image display device 204 to the head of the user US, the user US can see the captured image IM2 image-processed by the image adjusting device 210 or the server 206.
画像表示装置２０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ２を生成する。画像処理部２１１は、画像表示装置２０４から姿勢情報ＰＮ２を取得する。即ち、画像処理部２１１は、画像表示装置２０４の姿勢に基づいて姿勢情報ＰＮ２を取得することになる。画像処理部２１１は、姿勢情報ＰＮ２に基づいて、撮影画像ＩＭ２から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置２０４に表示する。 The image display device 204 generates posture information PN2 based on the direction in which the user US is facing, the posture of the user US, and the like when the image display device 204 is attached to the head of the user US. The image processing unit 211 acquires the posture information PN2 from the image display device 204. That is, the image processing unit 211 acquires the posture information PN2 based on the posture of the image display device 204. Based on the posture information PN2, the image processing unit 211 displays on the image display device 204 an image of a region corresponding to a state such as the direction in which the user US is facing and the posture of the user US from the captured image IM2. ..
コントローラ２０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ２を生成する。画像処理部２１１は、コントローラ２０５から指示情報ＮＮ２を取得する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を変化させたり調整したりすることができる。 The controller 205 generates instruction information NN2 based on a state such as the movement or posture of the user US's hand while it is attached to the user US's hand. The image processing unit 211 acquires the instruction information NN2 from the controller 205. The image processing unit 211 can change or adjust the captured image IM2 displayed on the image display device 204 based on the instruction information NN2.
画像生成部２１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ２を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。球面状画像ＶＳＳ２は、第１実施形態の球面状画像ＶＳＳ１に相当する。使用者ＵＳは、コントローラ２０５が装着されている手を、画像表示装置２０４に表示されている球面状画像ＶＳＳ２に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ２に接触しているように感じる。 The image generation unit 212 generates a spherical image VSS2 which is a virtual image composed of a spherical surface which is CG, and stores it in the internal memory or an external memory. The image processing unit 211 acquires the spherical image VSS2 from the image generation unit 212 based on the instruction information NN2 and displays it on the image display device 204. The spherical image VSS2 corresponds to the spherical image VSS1 of the first embodiment. The user US moves the hand on which the controller 205 is attached to a position corresponding to the spherical image VSS2 displayed on the image display device 204, so that the hand of the user US comes into contact with the spherical image VSS2. I feel like I'm doing it.
コントローラ２０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部２１１は、指示情報ＮＮ２に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ２に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ２に接触する感覚を実感として得ることができる。 In the controller 205, the actuator may be arranged at a portion that comes into contact with the hand of the user US. The image processing unit 211 operates the actuator when it is determined that the hand of the user US has moved to the position corresponding to the spherical image VSS2 based on the instruction information NN2. When the actuator applies pressure to the hand of the user US, the user US can actually feel the hand touching the spherical image VSS2.
球面状画像ＶＳＳ２が画像表示装置２０４に表示されている状態において、使用者ＵＳが、コントローラ２０５が装着されている手を任意の方向へ移動させた場合、画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている球面状画像ＶＳＳ２と撮影画像ＩＭ２とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。 When the user US moves the hand on which the controller 205 is mounted in an arbitrary direction while the spherical image VSS2 is displayed on the image display device 204, the image processing unit 211 displays the instruction information NN2. Based on this, image processing is performed so that the spherical image VSS2 and the captured image IM2 displayed on the image display device 204 move according to the moving direction, moving speed, and moving destination position of the hand of the user US. To execute.
使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ２を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ２を回転させることができる。画像処理部２１１は、球面状画像ＶＳＳ２の回転に対応させて撮影画像ＩＭ２を移動させる。 The user US can rotate the spherical image VSS2 in an arbitrary direction and at an arbitrary speed by moving the hand in an arbitrary direction and at an arbitrary speed to an arbitrary position. it can. That is, the user US can rotate the spherical image VSS2 by the movement of his / her hand. The image processing unit 211 moves the captured image IM2 in correspondence with the rotation of the spherical image VSS2.
姿勢制御装置２２０において、駆動制御部２２４は、第１〜第３のセンサ２２１〜２２３の少なくともいずれかのセンサが検知した情報に基づいて、水平面を取得し、水平面に対するカメラ２０２の左右方向の傾斜角度θａ（第１の傾斜角度）と前後方向の傾斜角度θｂ（第２の傾斜角度）とを取得する。
In the attitude control device 220, the
駆動制御部２２４は、傾斜角度θａが所定の角度α（第１の角度）以下（θａ≦α）になるように、駆動部２２５を制御することにより、カメラ２０２の左右方向の姿勢を調整する。駆動制御部２２４は、傾斜角度θｂが所定の角度β（第２の角度）以下（θｂ≦β）になるように、駆動部２２５を制御することにより、カメラ２０２の前後方向の姿勢を調整する。
The
図９に示すように、第１の面ＰＬ１側からカメラ２０２を見たときに例えばカメラ２０２が右方向に傾いている状態では、第１の面ＰＬ１側では第１の右目用レンズＬＲ１が第１の左目用レンズＬＬ１よりも上側に位置する。それに対して、第２の面ＰＬ２側では第２の右目用レンズＬＲ２が第２の左目用レンズＬＬ２よりも下側に位置する。 As shown in FIG. 9, when the camera 202 is viewed from the first surface PL1, for example, when the camera 202 is tilted to the right, the first right eye lens LR1 is on the first surface PL1 side. It is located above the left eye lens LL1 of 1. On the other hand, on the second surface PL2 side, the second right eye lens LR2 is located below the second left eye lens LL2.
従って、右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２の視差が第１の面ＰＬ１側と第２の面ＰＬ２側とで逆になるため、使用者ＵＳは、画像表示装置２０４に表示されている撮影画像ＩＭ２に違和感を覚える。それに対して、カメラ２０２が前後方向に傾いている状態では、右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２の視差が第１の面ＰＬ１側と第２の面ＰＬ２側とで逆にならないため、使用者ＵＳは、画像表示装置２０４に表示されている撮影画像ＩＭ２に違和感を覚えにくい。 Therefore, since the parallax of the right-eye image IMR2 and the left-eye image IML2 is opposite between the first surface PL1 side and the second surface PL2 side, the user US can see the captured image displayed on the image display device 204. I feel uncomfortable with IM2. On the other hand, when the camera 202 is tilted in the front-rear direction, the parallax of the image IMR2 for the right eye and the image IML2 for the left eye is not reversed between the first surface PL1 side and the second surface PL2 side. The US is less likely to feel uncomfortable with the captured image IM2 displayed on the image display device 204.
上記の理由により、角度αは角度βよりも小さく（α＜β）なるように設定されている。例えば、角度αは１度に設定され、角度βは５度に設定されている。従って、駆動制御部２２４は、左右方向の傾斜角度θａが前後方向の傾斜角度θｂよりも小さく（θａ＜θｂ）なるように、駆動部２２５及び２２６の少なくともいずれかを制御することによって、カメラ２０２の姿勢を制御する。
For the above reason, the angle α is set to be smaller than the angle β (α <β). For example, the angle α is set to 1 degree and the angle β is set to 5 degrees. Therefore, the
姿勢制御装置２２０がカメラ２０２の姿勢を制御した後、画像調整システム２０１は、第１実施形態のステップＳ１０１、Ｓ１１１〜Ｓ１１８、Ｓ１２１〜Ｓ１２８、Ｓ１３１〜Ｓ１３８、またはＳ１４１〜Ｓ１４４と同様の処理を実行する。 After the attitude control device 220 controls the attitude of the camera 202, the image adjustment system 201 executes the same processing as in steps S101, S111 to S118, S121 to S128, S131 to S138, or S141 to S144 of the first embodiment. To do.
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、画像表示装置２０４に球面状画像ＶＳＳ２を表示させる。第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれが生じた場合に、使用者ＵＳは、コントローラ２０５を操作して球面状画像ＶＳＳ２を回転させることにより、画像表示装置２０４に表示されている右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれを簡便に調整することができる。 In the image adjustment system 201, the image adjustment device 210, and the image adjustment method of the second embodiment, the spherical image VSS2 is displayed on the image display device 204. According to the image adjustment system 201, the image adjustment device 210, and the image adjustment method of the second embodiment, the user US operates the controller 205 when the image IMR2 for the right eye and the image IML2 for the left eye are misaligned. By rotating the spherical image VSS2, the deviation between the right-eye image IMR2 and the left-eye image IML2 displayed on the image display device 204 can be easily adjusted.
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、補正値ＣＶ１が画像調整装置２１０またはサーバ２０６に保存されている場合、画像処理部２１１は、補正値ＣＶ１を画像調整装置２１０またはサーバ２０６から読み出し、カメラ２０２が撮影した撮影画像ＩＭ２（右目用画像ＩＭＲ２または左目用画像ＩＭＬ２）を補正値ＣＶ１に基づいて画像調整し、画像表示装置２０４に表示することができる。 According to the image adjustment system 201, the image adjustment device 210, and the image adjustment method of the second embodiment, when the correction value CV1 is stored in the image adjustment device 210 or the server 206, the image processing unit 211 causes the correction value CV1. Is read from the image adjusting device 210 or the server 206, and the captured image IM2 (right-eye image IMR2 or left-eye image IML2) captured by the camera 202 is image-adjusted based on the correction value CV1 and displayed on the image display device 204. it can.
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、カメラ２０２は、姿勢制御装置２２０によって水平または水平に近い状態に姿勢制御される。カメラ２０２が姿勢制御された状態において、使用者ＵＳは右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれを調整するため、上記のずれを簡便に調整することができる。 According to the image adjustment system 201, the image adjustment device 210, and the image adjustment method of the second embodiment, the camera 202 is attitude-controlled by the attitude control device 220 in a horizontal or near-horizontal state. Since the user US adjusts the deviation between the image IMR2 for the right eye and the image IML2 for the left eye while the camera 202 is in the posture controlled state, the above deviation can be easily adjusted.
［第３実施形態］
図７を用いて、第３実施形態の画像調整システムの構成例を説明する。画像調整システム３０１は、カメラ３０２と、姿勢制御装置３２０と、通信部３０３と、画像表示装置３０４と、コントローラ３０５と、画像調整装置３１０と、サーバ３０６とを備える。画像調整装置３１０は、画像処理部３１１と、画像生成部３１２と、通信部３１３とを有する。
[Third Embodiment]
A configuration example of the image adjustment system of the third embodiment will be described with reference to FIG. 7. The image adjustment system 301 includes a camera 302, an attitude control device 320, a communication unit 303, an image display device 304, a controller 305, an image adjustment device 310, and a server 306. The image adjusting device 310 includes an image processing unit 311, an image generation unit 312, and a communication unit 313.
カメラ３０２、姿勢制御装置３２０、通信部３０３、画像表示装置３０４、コントローラ３０５、画像調整装置３１０、及びサーバ３０６は、それぞれ、第２実施形態のカメラ２０２、姿勢制御装置２２０、通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及びサーバ２０６に相当する。画像処理部３１１、画像生成部３１２、及び通信部３１３は、それぞれ、第２実施形態の画像処理部２１１、画像生成部２１２、及び通信部２１３に相当する。説明をわかりやすくするために、第２実施形態の構成部と同じ構成部には同じ符号を付す。 The camera 302, the attitude control device 320, the communication unit 303, the image display device 304, the controller 305, the image adjustment device 310, and the server 306 are the camera 202, the attitude control device 220, the communication unit 203, and the image, respectively. It corresponds to the display device 204, the controller 205, the image adjustment device 210, and the server 206. The image processing unit 311, the image generation unit 312, and the communication unit 313 correspond to the image processing unit 211, the image generation unit 212, and the communication unit 213 of the second embodiment, respectively. For the sake of clarity, the same components as those of the second embodiment are designated by the same reference numerals.
図８に示すように、カメラ３０２は、第１の面ＰＬ１側の１８０度の範囲を第１の右目用レンズＬＲ１と第１の左目用レンズＬＬ１とを用いて撮影する第１のカメラ３０２１と、第２の面ＰＬ２側の１８０度の範囲を第２の右目用レンズＬＲ２と第２の左目用レンズＬＬ２とを用いて撮影する第２のカメラ３０２２とを有する。第１及び第２のカメラ３０２１及び３０２２は、第２実施形態の第１及び第２のカメラ２０２１及び２０２２に相当する。即ち、カメラ３０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）であり、右目用画像と左目用画像とを撮影できるステレオカメラである。 As shown in FIG. 8, the camera 302 includes the first camera 3021 that captures a 180-degree range on the first surface PL1 side using the first right-eye lens LR1 and the first left-eye lens LL1. It has a second camera 3022 that captures a 180-degree range on the second surface PL2 side using a second right-eye lens LR2 and a second left-eye lens LL2. The first and second cameras 3021 and 3022 correspond to the first and second cameras 2021 and 2022 of the second embodiment. That is, the camera 302 is an omnidirectional camera (360-degree camera) capable of capturing a 360-degree range, and is a stereo camera capable of capturing an image for the right eye and an image for the left eye.
カメラ３０２は、第１及び第２の右目用レンズＬＲ１及びＬＲ２を用いて３６０度の範囲を撮影し、右目用画像ＩＭＲ３を生成する。カメラ３０２は、第１及び第２の左目用レンズＬＬ１及びＬＬ２を用いて３６０度の範囲を撮影し、左目用画像ＩＭＬ３を生成する。 The camera 302 uses the first and second right-eye lenses LR1 and LR2 to capture a 360-degree range and generate a right-eye image IMR3. The camera 302 uses the first and second left-eye lenses LL1 and LL2 to capture a 360-degree range and generate a left-eye image IML3.
姿勢制御装置３２０は、カメラ３０２の姿勢を制御する。図９に示すように、姿勢制御装置３２０は、カメラ３０２の左右方向の傾きを制御する。例えば、姿勢制御装置３２０は、回転軸ＣＬａを中心としてカメラ３０２を回転させることにより、カメラ３０２の左右方向の傾きを制御する。即ち、カメラ３０２の左右方向の傾きとは、回転軸ＣＬａを中心とするカメラ３０２の傾きである。図１０に示すように、姿勢制御装置３２０は、カメラ３０２の前後方向の傾きを制御してもよい。例えば、姿勢制御装置３２０は、回転軸ＣＬｂを中心としてカメラ３０２を回転させることにより、カメラ３０２の前後方向の傾きを制御する。即ち、カメラ３０２の前後方向の傾きとは、回転軸ＣＬｂを中心とするカメラ３０２の傾きである。 The attitude control device 320 controls the attitude of the camera 302. As shown in FIG. 9, the attitude control device 320 controls the tilt of the camera 302 in the left-right direction. For example, the attitude control device 320 controls the tilt of the camera 302 in the left-right direction by rotating the camera 302 around the rotation axis CLa. That is, the tilt of the camera 302 in the left-right direction is the tilt of the camera 302 about the rotation axis CLa. As shown in FIG. 10, the attitude control device 320 may control the tilt of the camera 302 in the front-rear direction. For example, the attitude control device 320 controls the tilt of the camera 302 in the front-rear direction by rotating the camera 302 around the rotation axis CLb. That is, the tilt of the camera 302 in the front-rear direction is the tilt of the camera 302 about the rotation axis CLb.
図１１に示すように、姿勢制御装置３２０は、３軸加速度センサ２２１（第１のセンサ）と、３軸磁気センサ２２２（第２のセンサ）と、３軸ジャイロセンサ２２３（第３のセンサ）と、駆動制御部２２４と、駆動部２２５と、駆動部２２６とを有する。カメラ３０２が加速または減速しながら移動している場合、駆動制御部２２４は、第１のセンサ２２１が検知した情報と、第２及び第３のセンサ２２２及び２２３の少なくともいずれかが検知した情報とに基づいて駆動部２２５及び２２６の少なくともいずれかを制御する。
As shown in FIG. 11, the attitude control device 320 includes a 3-axis acceleration sensor 221 (first sensor), a 3-axis magnetic sensor 222 (second sensor), and a 3-axis gyro sensor 223 (third sensor). It has a
画像調整装置３１０は、カメラ３０２が３６０度の範囲を撮影した右目用画像ＩＭＲ３及び左目用画像ＩＭＬ３を撮影画像ＩＭ３として、通信部３０３及び３１３とネットワークとを介して取得することができる。 The image adjusting device 310 can acquire the image IMR3 for the right eye and the image IML3 for the left eye obtained by the camera 302 in a range of 360 degrees as the captured image IM3 via the communication units 303 and 313 and the network.
サーバ３０６は、ネットワークと通信部３０３とを介してカメラ３０２と接続し、ネットワークと通信部３１３とを介して画像調整装置３１０と接続する。サーバ３０６がカメラ３０２から撮影画像ＩＭ３を通信部３０３及びネットワークを介して取得し、画像調整装置３１０がサーバ３０６から撮影画像ＩＭ３をネットワーク及び通信部３１３を介して取得してもよい。図７では、画像調整装置３１０またはサーバ３０６は、撮影画像ＩＭ３を、姿勢制御装置３２０を介して取得するように示しているが、姿勢制御装置３２０を介さずに取得してもよい。 The server 306 connects to the camera 302 via the network and the communication unit 303, and connects to the image adjusting device 310 via the network and the communication unit 313. The server 306 may acquire the captured image IM3 from the camera 302 via the communication unit 303 and the network, and the image adjusting device 310 may acquire the captured image IM3 from the server 306 via the network and the communication unit 313. In FIG. 7, the image adjusting device 310 or the server 306 shows that the captured image IM3 is acquired via the attitude control device 320, but the captured image IM3 may be acquired without the attitude control device 320.
画像調整装置３１０が取得した撮影画像ＩＭ３は、画像処理部３１１へ入力される。画像調整装置３１０は、撮影画像ＩＭ３の歪みを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ３を画像表示装置３０４へ出力する。 The captured image IM3 acquired by the image adjusting device 310 is input to the image processing unit 311. The image adjusting device 310 executes image processing such as correcting distortion of the captured image IM3, and outputs the image-processed captured image IM3 to the image display device 304.
画像表示装置３０４が使用者ＵＳの頭部に装着されている状態で、画像調整装置３１０が使用者ＵＳの右目に対応する領域に右目用画像ＩＭＲ３を表示し、使用者ＵＳの左目に対応する領域に左目用画像ＩＭＬ３を表示することにより、使用者ＵＳは、撮影画像ＩＭ３を立体画像として見ることができる。 With the image display device 304 mounted on the head of the user US, the image adjusting device 310 displays the image IMR3 for the right eye in the area corresponding to the right eye of the user US, and corresponds to the left eye of the user US. By displaying the left-eye image IML3 in the area, the user US can see the captured image IM3 as a stereoscopic image.
サーバ３０６がカメラ３０２から取得した撮影画像ＩＭ３の歪みを補正し、撮影画像ＩＭ３の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ３を画像調整装置３１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置３０４を装着することにより、画像調整装置３１０またはサーバ３０６によって画像処理された撮影画像ＩＭ３を見ることができる。 The server 306 corrects the distortion of the captured image IM3 acquired from the camera 302, executes image processing such as adjusting the level of the captured image IM3, and outputs the image-processed captured image IM3 to the image adjusting device 310. May be good. By attaching the image display device 304 to its head, the user US can see the captured image IM3 image-processed by the image adjusting device 310 or the server 306.
画像表示装置３０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ３を生成する。画像処理部３１１は、画像表示装置３０４から姿勢情報ＰＮ３を取得する。即ち、画像処理部３１１は、画像表示装置３０４の姿勢に基づいて姿勢情報ＰＮ３を取得することになる。画像処理部３１１は、姿勢情報ＰＮ３に基づいて、撮影画像ＩＭ３から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置３０４に表示する。 The image display device 304 generates posture information PN3 based on the direction in which the user US is facing, the posture of the user US, and the like when the image display device 304 is attached to the head of the user US. The image processing unit 311 acquires the posture information PN3 from the image display device 304. That is, the image processing unit 311 acquires the posture information PN3 based on the posture of the image display device 304. Based on the posture information PN3, the image processing unit 311 displays on the image display device 304 an image of a region corresponding to a state such as the direction in which the user US is facing and the posture of the user US from the captured image IM3. ..
コントローラ３０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ３を生成する。画像処理部３１１は、コントローラ３０５から指示情報ＮＮ３を取得する。画像処理部３１１は、指示情報ＮＮ３に基づいて、画像表示装置３０４に表示されている撮影画像ＩＭ３を変化させたり調整したりすることができる。 The controller 305 generates instruction information NN3 based on a state such as the movement or posture of the hand of the user US in a state of being attached to the hand of the user US. The image processing unit 311 acquires the instruction information NN3 from the controller 305. The image processing unit 311 can change or adjust the captured image IM3 displayed on the image display device 304 based on the instruction information NN3.
画像生成部３１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ３を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部３１１は、指示情報ＮＮ３に基づいて、画像生成部３１２から球面状画像ＶＳＳ３を取得し、画像表示装置３０４に表示する。球面状画像ＶＳＳ３は、第１及び第２実施形態の球面状画像ＶＳＳ１及びＶＳＳ２に相当する。使用者ＵＳは、コントローラ３０５が装着されている手を、画像表示装置３０４に表示されている球面状画像ＶＳＳ３に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ３に接触しているように感じる。 The image generation unit 312 generates a spherical image VSS3 which is a virtual image composed of a spherical surface which is CG, and stores the spherical image VSS3 in the built-in memory or an external memory. The image processing unit 311 acquires the spherical image VSS3 from the image generation unit 312 based on the instruction information NN3 and displays it on the image display device 304. The spherical image VSS3 corresponds to the spherical images VSS1 and VSS2 of the first and second embodiments. The user US moves the hand on which the controller 305 is attached to a position corresponding to the spherical image VSS3 displayed on the image display device 304, so that the hand of the user US comes into contact with the spherical image VSS3. I feel like I'm doing it.
コントローラ３０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部３１１は、指示情報ＮＮ３に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ３に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ３に接触する感覚を実感として得ることができる。 The controller 305 may have an actuator arranged at a portion that comes into contact with the hand of the user US. The image processing unit 311 operates the actuator when it is determined that the hand of the user US has moved to the position corresponding to the spherical image VSS3 based on the instruction information NN3. When the actuator applies pressure to the hand of the user US, the user US can actually feel the hand touching the spherical image VSS3.
球面状画像ＶＳＳ３が画像表示装置３０４に表示されている状態において、使用者ＵＳが、コントローラ３０５が装着されている手を任意の方向へ移動させた場合、画像処理部３１１は、指示情報ＮＮ３に基づいて、画像表示装置３０４に表示されている球面状画像ＶＳＳ３と撮影画像ＩＭ３とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。 When the user US moves the hand on which the controller 305 is attached in an arbitrary direction while the spherical image VSS3 is displayed on the image display device 304, the image processing unit 311 sends the instruction information NN3. Based on this, image processing is performed so that the spherical image VSS3 and the captured image IM3 displayed on the image display device 304 move according to the moving direction, moving speed, and moving destination position of the user US's hand. To execute.
使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ３を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ３を回転させることができる。画像処理部３１１は、球面状画像ＶＳＳ３の回転に対応させて撮影画像ＩＭ３を移動させる。 The user US can rotate the spherical image VSS3 in an arbitrary direction and at an arbitrary speed by moving the hand in an arbitrary direction and at an arbitrary speed to an arbitrary position. it can. That is, the user US can rotate the spherical image VSS3 by the movement of his / her hand. The image processing unit 311 moves the captured image IM3 in correspondence with the rotation of the spherical image VSS3.
図１２Ａ及び図１２Ｂに示すフローチャートを用いて、第３実施形態の画像調整方法の一例を説明する。具体的には、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを調整する方法の一例について説明する。画像表示装置３０４が使用者ＵＳの頭部に装着され、コントローラ３０５が使用者ＵＳの手に装着されている。画像表示装置３０４には撮影画像ＩＭ３（右目用画像ＩＭＲ３及び左目用画像ＩＭＬ３）が表示されている。 An example of the image adjustment method of the third embodiment will be described with reference to the flowcharts shown in FIGS. 12A and 12B. Specifically, an example of a method of adjusting the vertical deviation between the right-eye image IMR3 and the left-eye image IML3 will be described. The image display device 304 is attached to the head of the user US, and the controller 305 is attached to the hand of the user US. The captured image IM3 (right-eye image IMR3 and left-eye image IML3) is displayed on the image display device 304.
使用者ＵＳが画像表示装置３０４に表示されている右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを補正する場合、図１２Ａにおいて、使用者ＵＳがコントローラ３０５を操作することにより、画像処理部３１１は、ステップＳ３０１にて、画像表示装置３０４に設定画面を表示させる。 When the user US corrects the vertical deviation between the image IMR3 for the right eye and the image IML3 for the left eye displayed on the image display device 304, in FIG. 12A, the user US operates the controller 305 to obtain an image. In step S301, the processing unit 311 causes the image display device 304 to display the setting screen.
設定画面には、例えば、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを補正するための上下補正の項目が調整項目として表示される。画像処理部３１１は、設定画面に、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との視差を補正するための視差補正の項目、及び、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との傾きのずれを補正するための傾き補正の項目を調整項目として表示してもよい。 On the setting screen, for example, an item of vertical correction for correcting a vertical deviation between the image IMR3 for the right eye and the image IML3 for the left eye is displayed as an adjustment item. The image processing unit 311 corrects the parallax correction item for correcting the parallax between the right-eye image IMR3 and the left-eye image IML3 and the deviation of the inclination between the right-eye image IMR3 and the left-eye image IML3 on the setting screen. An item for tilt correction may be displayed as an adjustment item.
図４に示すように、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とが上下方向にずれている場合、使用者ＵＳは設定画面に表示されている上下補正の項目を選択する。コントローラ３０５は、ステップＳ３０２にて、上下補正の項目が選択されたことを示す指示情報ＮＮ３を画像処理部３１１へ出力する。画像処理部３１１は、ステップＳ３１１にて、コントローラ３０５から出力される指示情報ＮＮ３に基づいて、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを補正するための処理モード（上下補正モード）へ処理を移行させる。 As shown in FIG. 4, when the image IMR3 for the right eye and the image IML3 for the left eye are displaced in the vertical direction, the user US selects the vertical correction item displayed on the setting screen. In step S302, the controller 305 outputs instruction information NN3 indicating that the item for vertical correction has been selected to the image processing unit 311. The image processing unit 311 has a processing mode (vertical correction mode) for correcting the vertical deviation between the right-eye image IMR3 and the left-eye image IML3 based on the instruction information NN3 output from the controller 305 in step S311. ) To shift the process.
画像処理部３１１は、ステップＳ３１２にて、補正する画像が右目用画像ＩＭＲ３か左目用画像ＩＭＬ３かを選択するための項目を画像表示装置３０４に表示する。使用者ＵＳが右目用画像ＩＭＲ３を選択した場合、コントローラ３０５は、右目用画像ＩＭＲ３が選択されたことを示す指示情報ＮＮ３を画像処理部３１１へ出力する。画像処理部３１１は、ステップＳ３１３にて、コントローラ３０５から出力される指示情報ＮＮ３に基づいて、右目用画像ＩＭＲ３の上下方向を補正するための処理モード（右目用上下補正モード）へ処理を移行させる。 In step S312, the image processing unit 311 displays on the image display device 304 an item for selecting whether the image to be corrected is the right-eye image IMR3 or the left-eye image IML3. When the user US selects the right-eye image IMR3, the controller 305 outputs instruction information NN3 indicating that the right-eye image IMR3 has been selected to the image processing unit 311. In step S313, the image processing unit 311 shifts the processing to the processing mode (right-eye vertical correction mode) for correcting the vertical direction of the right-eye image IMR3 based on the instruction information NN3 output from the controller 305. ..
画像処理部１１１は、ステップＳ３１４にて、画像生成部３１２から球面状画像ＶＳＳ３を取得し、画像表示装置２０４に表示する。画像表示装置２０４には、撮影画像ＩＭ３（右目用画像ＩＭＲ３及び左目用画像ＩＭＬ３）と球面状画像ＶＳＳ３とが混合して表示される。
In step S314, the
使用者ＵＳは、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれが小さくなるように球面状画像ＶＳＳ３を上方向または下方向へ回転させる。画像処理部３１１は、ステップＳ３１５にて、球面状画像ＶＳＳ３の回転に対応させて、画像表示装置３０４に表示されている右目用画像ＩＭＲ３を上方向または下方向へ移動させる。 The user US rotates the spherical image VSS3 in the upward or downward direction so that the vertical deviation between the right-eye image IMR3 and the left-eye image IML3 is small. In step S315, the image processing unit 311 moves the right-eye image IMR3 displayed on the image display device 304 upward or downward in correspondence with the rotation of the spherical image VSS3.
ステップＳ３１２において使用者ＵＳが左目用画像ＩＭＬ３を選択した場合、コントローラ３０５は、左目用画像ＩＭＬ３が選択されたことを示す指示情報ＮＮ３を画像処理部３１１へ出力する。画像処理部３１１は、ステップＳ３１６にて、コントローラ３０５から出力される指示情報ＮＮ３に基づいて、左目用画像ＩＭＬ３の上下方向を補正するための処理モード（左目用上下補正モード）へ処理を移行させる。 When the user US selects the left-eye image IML3 in step S312, the controller 305 outputs instruction information NN3 indicating that the left-eye image IML3 has been selected to the image processing unit 311. In step S316, the image processing unit 311 shifts the processing to the processing mode (left-eye vertical correction mode) for correcting the vertical direction of the left-eye image IML3 based on the instruction information NN3 output from the controller 305. ..
画像処理部３１１は、ステップＳ３１７にて、画像生成部３１２から球面状画像ＶＳＳ３を取得し、画像表示装置３０４に表示する。画像表示装置３０４には、撮影画像ＩＭ３（右目用画像ＩＭＲ３及び左目用画像ＩＭＬ３）と球面状画像ＶＳＳ３とが混合して表示される。 In step S317, the image processing unit 311 acquires the spherical image VSS3 from the image generation unit 312 and displays it on the image display device 304. The captured image IM3 (right-eye image IMR3 and left-eye image IML3) and the spherical image VSS3 are mixed and displayed on the image display device 304.
使用者ＵＳは、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれが小さくなるように球面状画像ＶＳＳ３を上方向または下方向へ回転させる。画像処理部３１１は、ステップＳ３１８にて、球面状画像ＶＳＳ３の回転に対応させて、画像表示装置３０４に表示されている左目用画像ＩＭＬ３を上方向または下方向へ移動させる。 The user US rotates the spherical image VSS3 in the upward or downward direction so that the vertical deviation between the right-eye image IMR3 and the left-eye image IML3 is small. In step S318, the image processing unit 311 moves the left-eye image IML3 displayed on the image display device 304 upward or downward in correspondence with the rotation of the spherical image VSS3.
ステップＳ３１１において上下補正モードへ移行された場合、ステップＳ３１３において右目用上下補正モードへ移行された場合、または、ステップＳ３１６において左目用上下補正モードへ移行された場合、画像処理部３１１は、球面状画像ＶＳＳ３が上下方向のみに回転するように球面状画像ＶＳＳ３の回転方向を制限してもよい。また、球面状画像ＶＳＳ３を回転させずに、球面状画像ＶＳＳ３を上下に動かすことで左目用画像ＩＭＬ３を上方向または下方向へ移動させてもよい。 When the vertical correction mode is shifted to in step S311, the vertical correction mode for the right eye is shifted to in step S313, or the vertical correction mode for the left eye is shifted to in step S316, the image processing unit 311 has a spherical shape. The rotation direction of the spherical image VSS3 may be restricted so that the image VSS3 rotates only in the vertical direction. Further, the image IML3 for the left eye may be moved upward or downward by moving the spherical image VSS3 up and down without rotating the spherical image VSS3.
画像処理部３１１は、使用者ＵＳが球面状画像ＶＳＳ３を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ３を回転させることによって球面状画像ＶＳＳ３の座標上のどの位置へ移動したかを判定することができる。画像処理部３１１は、球面状画像ＶＳＳ３の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ３を回転させる前と回転させた後との球面状画像ＶＳＳ３の変化量を算出する。球面状画像ＶＳＳ３の変化量は球面状画像ＶＳＳ１の変化量に相当する。 The image processing unit 311 indicates to which position on the coordinates of the spherical image VSS3 the zenith ZE before the user US rotates the spherical image VSS3 moves by rotating the spherical image VSS3 by the user US. Can be determined. The image processing unit 311 is a spherical image before and after the user US rotates the spherical image VSS3 based on the moving direction of the zenith ZE and the position of the moving destination on the coordinates of the spherical image VSS3. Calculate the amount of change in VSS3. The amount of change in the spherical image VSS3 corresponds to the amount of change in the spherical image VSS1.
図９に示すようにカメラ３０２が左右方向に傾いていると、図４に示すように右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とは上下方向にずれる。そのため、使用者ＵＳが球面状画像ＶＳＳ３を回転させて撮影画像ＩＭ３を調整しても、画像表示装置３０４に表示されている右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを十分に補正できない場合がある。 When the camera 302 is tilted in the left-right direction as shown in FIG. 9, the image IMR3 for the right eye and the image IML3 for the left eye are displaced in the vertical direction as shown in FIG. Therefore, even if the user US rotates the spherical image VSS3 to adjust the captured image IM3, the vertical deviation between the right-eye image IMR3 and the left-eye image IML3 displayed on the image display device 304 is sufficient. It may not be possible to correct.
図１２Ｂにおいて、画像処理部３１１は、ステップＳ３２１にて、姿勢情報ＰＮ３、または画像表示装置３０４に表示されている撮影画像ＩＭ３に基づいて、画像表示装置３０４に表示されている撮影画像ＩＭ３が、第１のカメラ３０２１が撮影したものか第２のカメラ３０２２が撮影したものかを判定する。 In FIG. 12B, the image processing unit 311 displays the captured image IM3 displayed on the image display device 304 based on the attitude information PN3 or the captured image IM3 displayed on the image display device 304 in step S321. It is determined whether the image is taken by the first camera 3021 or the second camera 3022.
画像処理部３１１は、ステップＳ３２２にて、ステップＳ３２１における判定結果（第１のカメラ３０２１または第２のカメラ３０２２）と、指示情報ＮＮ３、または画像表示装置３０４に表示されている撮影画像ＩＭ３の調整方向（上方向または下方向）及び調整量とから、カメラ３０２の傾斜方向と傾斜角度とを推定する。画像表示装置３０４に表示されている右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との距離をｄ、上方向または下方向の調整量をｈとすると、カメラ３０２の傾斜角度θａは、関係式θａ＝ｔａｎ−１（ｈ／ｄ）により算出することができる。 In step S322, the image processing unit 311 adjusts the determination result (first camera 3021 or second camera 3022) in step S321 and the instruction information NN3 or the captured image IM3 displayed on the image display device 304. The tilt direction and tilt angle of the camera 302 are estimated from the direction (upward or downward) and the adjustment amount. Assuming that the distance between the image IMR3 for the right eye and the image IML3 for the left eye displayed on the image display device 304 is d and the adjustment amount in the upward or downward direction is h, the tilt angle θa of the camera 302 is the relational expression θa = tan. It can be calculated by -1 (h / d).
画像処理部３１１は、ステップＳ３２３にて、ステップＳ３２２における推定結果（具体的にはカメラ３０２の傾斜方向及び傾斜角度）に基づいて、カメラ３０２の姿勢を補正するための補正情報ＣＮを生成する。さらに、画像処理部３１１は、補正情報ＣＮを、通信部３１３及び３０３とネットワークとを介して姿勢制御装置３２０へ出力する。画像処理部３１１が補正情報ＣＮを通信部３１３とネットワークとを介してサーバ３０６へ出力し、サーバ３０６が補正情報ＣＮをネットワークと通信部３０３とを介して姿勢制御装置３２０へ出力してもよい。 In step S323, the image processing unit 311 generates correction information CN for correcting the posture of the camera 302 based on the estimation result in step S322 (specifically, the tilt direction and tilt angle of the camera 302). Further, the image processing unit 311 outputs the correction information CN to the attitude control device 320 via the communication units 313 and 303 and the network. The image processing unit 311 may output the correction information CN to the server 306 via the communication unit 313 and the network, and the server 306 may output the correction information CN to the attitude control device 320 via the network and the communication unit 303. ..
姿勢制御装置３２０は、ステップＳ３２４にて、補正情報ＣＮに基づいて、カメラ３０２の姿勢を制御する。画像処理部３１１は、ステップＳ３２５にて、姿勢制御装置３２０によるカメラ３０２の姿勢制御が終了したことを確認する。姿勢制御装置３２０がカメラ３０２の姿勢制御が終了したことを示す終了信号ＥＳを生成し、通信部３０３及び３１３とネットワークとを介して画像処理部３１１へ出力してもよい。 In step S324, the attitude control device 320 controls the attitude of the camera 302 based on the correction information CN. In step S325, the image processing unit 311 confirms that the attitude control of the camera 302 by the attitude control device 320 is completed. The attitude control device 320 may generate an end signal ES indicating that the attitude control of the camera 302 has been completed, and output the end signal ES to the image processing unit 311 via the communication units 303 and 313 and the network.
画像処理部３１１は、ステップＳ３２６にて、球面状画像ＶＳＳ３の表示を終了させ、ステップＳ３１５またはＳ３１８とは逆の補正を実行する。例えば、ステップＳ３１５において右目用画像ＩＭＲ３を上方向へ移動させた場合、画像処理部３１１は、右目用画像ＩＭＲ３を下方向へ移動させて右目用画像ＩＭＲ３がステップＳ３１５の処理が実行される前の状態となるように画像処理を実行する。例えば、ステップＳ３１８において左目用画像ＩＭＬ３を下方向へ移動させた場合、画像処理部３１１は、左目用画像ＩＭＬ３を上方向へ移動させて左目用画像ＩＭＬ３がステップＳ３１８の処理が実行される前の状態となるように画像処理を実行する。 In step S326, the image processing unit 311 ends the display of the spherical image VSS3 and executes the correction opposite to that in steps S315 or S318. For example, when the right-eye image IMR3 is moved upward in step S315, the image processing unit 311 moves the right-eye image IMR3 downward and the right-eye image IMR3 is before the processing of step S315 is executed. Image processing is executed so that the state is reached. For example, when the left-eye image IML3 is moved downward in step S318, the image processing unit 311 moves the left-eye image IML3 upward and the left-eye image IML3 is before the processing of step S318 is executed. Image processing is executed so that the state is reached.
即ち、姿勢制御装置３２０がカメラ３０２の姿勢を制御することにより、画像処理部３１１は、右目用画像ＩＭＲ３に対してステップＳ３１５の処理が実行される前の状態に処理を戻す、または、左目用画像ＩＭＬ３に対してステップＳ３１８の処理が実行される前の状態に処理を戻すように画像処理を実行し、処理を終了する。 That is, when the attitude control device 320 controls the attitude of the camera 302, the image processing unit 311 returns the processing to the state before the processing of step S315 is executed for the image IMR3 for the right eye, or for the left eye. The image processing is executed so as to return the processing to the state before the processing of step S318 is executed for the image IML3, and the processing is terminated.
第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、画像表示装置３０４に球面状画像ＶＳＳ３を表示させる。第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とのずれが生じた場合に、使用者ＵＳは、コントローラ３０５を操作して球面状画像ＶＳＳ３を回転させることにより、画像表示装置３０４に表示されている右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とのずれを簡便に調整することができる。 In the image adjustment system 301, the image adjustment device 310, and the image adjustment method of the third embodiment, the image display device 304 displays the spherical image VSS3. According to the image adjustment system 301, the image adjustment device 310, and the image adjustment method of the third embodiment, when the image IMR3 for the right eye and the image IML3 for the left eye are misaligned, the user US operates the controller 305. By rotating the spherical image VSS3, the deviation between the right-eye image IMR3 and the left-eye image IML3 displayed on the image display device 304 can be easily adjusted.
第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、画像調整装置３１０による撮影画像ＩＭ３の調整結果に基づいてカメラ３０２の傾斜方向と傾斜角度とを推定し、推定結果に基づいて姿勢制御装置３２０がカメラ３０２の姿勢を制御する。カメラ３０２は姿勢制御装置３２０によって水平または水平に近い状態に姿勢制御されるため、使用者ＵＳは右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とのずれを調整する場合に上記のずれを簡便に調整することができる。 In the image adjustment system 301, the image adjustment device 310, and the image adjustment method of the third embodiment, the tilt direction and the tilt angle of the camera 302 are estimated based on the adjustment result of the captured image IM3 by the image adjustment device 310, and the estimation result is obtained. The attitude control device 320 controls the attitude of the camera 302 based on the above. Since the camera 302 is attitude-controlled by the attitude control device 320 in a horizontal or near-horizontal state, the user US easily adjusts the above deviation when adjusting the deviation between the right-eye image IMR3 and the left-eye image IML3. be able to.
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
例えば、ＣＧにより生成される仮想画像ＶＳＳは、楕円体の表面（楕円面）であってもよく、さらには使用者ＵＳの手の届く範囲であれば、任意の閉じた面（閉曲面）であればよい。即ち、使用者ＵＳが内側からその閉曲面に接触するような感覚を得て、撮影画像ＩＭの水平調整ができればよい。使用者ＵＳが仮想画像ＶＳＳを回転動作させることから、仮想画像ＶＳＳは球面または楕円面等の球面に近い球面状の形状であることが望ましい。 For example, the virtual image VSS generated by CG may be an ellipsoidal surface (elliptical surface), and may be an arbitrary closed surface (closed curved surface) within the reach of the user US. All you need is. That is, it suffices if the photographed image IM can be horizontally adjusted with the feeling that the user US touches the closed curved surface from the inside. Since the user US rotates the virtual image VSS, it is desirable that the virtual image VSS has a spherical shape close to a spherical surface such as a spherical surface or an ellipsoidal surface.
１０１，２０１，３０１ 画像調整システム
１０２，２０２，３０２ カメラ
１０４，２０４，３０４ 画像表示装置
１０５，２０５，３０５ コントローラ
１１０，２１０，３１０ 画像調整装置
１１１，２１１，３１１ 画像処理部
１１２，２１２，３１２ 画像生成部
２２０，３２０ 姿勢制御装置
ＣＮ 補正情報
ＩＭ１，ＩＭ２，ＩＭ３ 撮影画像
ＩＭＬ１，ＩＭＬ２，ＩＭＬ３ 左目用画像
ＩＭＲ１，ＩＭＲ２，ＩＭＲ３ 右目用画像
ＮＮ１，ＮＮ２，ＮＮ３ 指示情報
ＶＳＳ１，ＶＳＳ２，ＶＳＳ３ 球面状画像（仮想画像）
θａ，θｂ 傾斜角度
101,201,301 Image adjustment system 102,202,302 Camera 104,204,304 Image display device 105,205,305 Controller 110,210,310 Image adjustment device 111,211,311 Image processing unit 112,212,312 Image Generator 220, 320 Attitude control device CN correction information IM1, IM2, IM3 Captured image IML1, IML2, IML3 Left eye image IMR1, IMR2, IMR3 Right eye image NN1, NN2, NN3 Instruction information VSS1, VSS2, VSS3 Spherical image ( Virtual image)
θa, θb tilt angle
Claims (6)
前記カメラの姿勢を制御する姿勢制御装置と、
前記カメラから前記右目用画像と前記左目用画像とを撮影画像として取得し、前記撮影画像を調整する画像調整装置と、
前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、
前記画像調整装置へ指示情報を出力するコントローラと、
を備え、
前記画像調整装置は、
球面状画像を生成する画像生成部と、
前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像における前記右目用画像または前記左目用画像を調整し、前記指示情報、または、前記画像表示装置に表示されている前記撮影画像の調整方向及び調整量に基づいて前記カメラの傾斜方向及び傾斜角度を推定し、推定結果に基づいて補正情報を生成する画像処理部と、
を有し、
前記姿勢制御装置は、前記補正情報に基づいて前記カメラの姿勢を制御する、
画像調整システム。 A camera that captures images for the right eye and images for the left eye,
An attitude control device that controls the attitude of the camera,
An image adjusting device that acquires the image for the right eye and the image for the left eye from the camera as captured images and adjusts the captured image.
An image display device that displays the captured image adjusted by the image adjustment device, and
A controller that outputs instruction information to the image adjustment device,
With
The image adjusting device is
An image generator that generates a spherical image and
The spherical image is acquired from the image generation unit based on the instruction information and displayed on the image display device, and the spherical image is rotated based on the instruction information to correspond to the rotation of the spherical image. The right-eye image or the left-eye image in the captured image displayed on the image display device is adjusted, and the instruction information or the adjustment direction and adjustment of the captured image displayed on the image display device are adjusted. An image processing unit that estimates the tilt direction and tilt angle of the camera based on the amount and generates correction information based on the estimation result.
Have,
The attitude control device controls the attitude of the camera based on the correction information.
Image adjustment system.
前記画像処理部は、前記右目用画像または前記左目用画像を調整する前の状態に戻す、
請求項１に記載の画像調整システム。 When the attitude control of the camera by the attitude control device is completed
The image processing unit returns the image for the right eye or the image for the left eye to the state before adjustment.
The image adjustment system according to claim 1.
前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である、
請求項１または２に記載の画像調整システム。 The camera is an omnidirectional camera that captures a 360-degree range.
The image display device is a head-mounted display mounted on the user's head.
The controller is a glove-type controller that is worn on the user's hand.
When the user sees the spherical image displayed on the image display device while the image display device is attached to the head of the user, the spherical image is used. It is a virtual image that is arranged around a person and the image display device and is set so that the user's hand or finger is displayed within a range that can reach the spherical image.
The image adjustment system according to claim 1 or 2.
請求項３に記載の画像調整システム。 When the user moves the hand or finger in an arbitrary direction while the controller is attached to the user's hand, the image processing unit uses the instruction information of the user. The spherical image is rotated in response to the movement of the hand or finger, and the image for the right eye or the image for the left eye in the captured image displayed on the image display device in response to the rotation of the spherical image is displayed. adjust,
The image adjustment system according to claim 3.
コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、姿勢制御装置によって左右方向の傾斜角度が前後方向の傾斜角度よりも小さくなるように姿勢制御されたカメラにより撮影されて前記画像表示装置に表示されている撮影画像における右目用画像または左目用画像を、前記球面状画像の回転に対応させて調整し、前記指示情報、または、前記画像表示装置に表示されている前記撮影画像の調整方向及び調整量に基づいて前記カメラの傾斜方向及び傾斜角度を推定し、推定結果に基づいて姿勢制御装置が前記カメラの姿勢を制御するための補正情報を生成する画像処理部と、
を備える画像調整装置。 An image generator that generates a spherical image and
The spherical image is acquired from the image generation unit based on the instruction information acquired from the controller and displayed on the image display device, the spherical image is rotated based on the instruction information, and the posture control device is used to rotate the spherical image in the left-right direction. Rotation of the spherical image by rotating the right-eye image or left-eye image in the captured image captured by the posture-controlled camera so that the tilt angle is smaller than the tilt angle in the front-rear direction and displayed on the image display device. The tilt direction and tilt angle of the camera are estimated based on the instruction information or the adjustment direction and adjustment amount of the captured image displayed on the image display device, and based on the estimation result. An image processing unit that generates correction information for controlling the posture of the camera by the posture control device.
An image adjustment device comprising.
画像処理部が前記カメラから前記右目用画像と前記左目用画像とを撮影画像として取得し、
画像表示装置が前記撮影画像を表示し、
前記画像処理部がコントローラから指示情報を取得し、
前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、
前記画像表示装置が前記球面状画像を表示し、
前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、
前記画像処理部が前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像における前記右目用画像または前記左目用画像を調整し、
前記画像処理部が前記指示情報、または、前記画像表示装置に表示されている前記撮影画像の調整方向及び調整量に基づいて前記カメラの傾斜方向及び傾斜角度を推定し、
前記画像処理部が推定結果に基づいて補正情報を生成し、
姿勢制御装置が前記補正情報に基づいて前記カメラの姿勢を制御する、
画像調整方法。 The camera takes an image for the right eye and an image for the left eye,
The image processing unit acquires the image for the right eye and the image for the left eye from the camera as captured images.
The image display device displays the captured image,
The image processing unit acquires instruction information from the controller and
The image processing unit acquires a spherical image from the image generation unit based on the instruction information, and obtains a spherical image.
The image display device displays the spherical image,
The image processing unit rotates the spherical image based on the instruction information, and the spherical image is rotated.
The image processing unit adjusts the image for the right eye or the image for the left eye in the captured image displayed on the image display device in correspondence with the rotation of the spherical image.
The image processing unit estimates the tilt direction and tilt angle of the camera based on the instruction information or the adjustment direction and adjustment amount of the captured image displayed on the image display device.
The image processing unit generates correction information based on the estimation result, and the image processing unit generates correction information.
The attitude control device controls the attitude of the camera based on the correction information.
Image adjustment method.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019025377A JP2020136802A (en) | 2019-02-15 | 2019-02-15 | Image adjustment system, image adjustment device, and image adjustment method |
| PCT/JP2020/005238 WO2020166581A1 (en) | 2019-02-15 | 2020-02-12 | Image adjustment system, image adjustment device, and image adjustment method |
| US17/304,992 US11647292B2 (en) | 2019-02-15 | 2021-06-29 | Image adjustment system, image adjustment device, and image adjustment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019025377A JP2020136802A (en) | 2019-02-15 | 2019-02-15 | Image adjustment system, image adjustment device, and image adjustment method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020136802A true JP2020136802A (en) | 2020-08-31 |
Family
ID=72279185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019025377A Pending JP2020136802A (en) | 2019-02-15 | 2019-02-15 | Image adjustment system, image adjustment device, and image adjustment method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020136802A (en) |
-
2019
- 2019-02-15 JP JP2019025377A patent/JP2020136802A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110320999B (en) | Method and system for deep learning of three-dimensional (3D) gaze prediction | |
| WO2020166581A1 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| US11184597B2 (en) | Information processing device, image generation method, and head-mounted display | |
| US10115235B2 (en) | Method for controlling head mounted display, and system for implemeting the method | |
| JP6479199B2 (en) | Information processing device | |
| JP6899875B2 (en) | Information processing device, video display system, information processing device control method, and program | |
| JPWO2015122052A1 (en) | Image transmission device, information processing terminal, image transmission method, information processing method, program, and information storage medium | |
| JP2024083363A (en) | IMAGE DISPLAY SYSTEM, IMAGE DISPLAY PROGRAM, DISPLAY CONTROL DEVICE, AND IMAGE DISPLAY METHOD | |
| WO2016152734A1 (en) | Computer program | |
| JPWO2017122270A1 (en) | Image display device | |
| JP6450226B2 (en) | Camera control apparatus and program thereof | |
| JP7471497B2 (en) | IMAGE DISPLAY SYSTEM, IMAGE DISPLAY PROGRAM, DISPLAY CONTROL DEVICE, AND IMAGE DISPLAY METHOD | |
| JP7127569B2 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020136802A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020134617A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| US11703948B2 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP6696409B2 (en) | Imaging device | |
| WO2020166491A1 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP7167760B2 (en) | image adjustment system | |
| JP7247636B2 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP7088064B2 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020134629A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020134632A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP7301567B2 (en) | Image display system, image display program, image display device, and image display method | |
| JP7057197B2 (en) | Image processing equipment, image processing methods, and programs |