JP2020134620A - Image adjustment system, image adjustment device, and image adjustment method - Google Patents
Image adjustment system, image adjustment device, and image adjustment method Download PDFInfo
- Publication number
- JP2020134620A JP2020134620A JP2019025464A JP2019025464A JP2020134620A JP 2020134620 A JP2020134620 A JP 2020134620A JP 2019025464 A JP2019025464 A JP 2019025464A JP 2019025464 A JP2019025464 A JP 2019025464A JP 2020134620 A JP2020134620 A JP 2020134620A
- Authority
- JP
- Japan
- Prior art keywords
- image
- spherical
- processing unit
- camera
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像調整システム、画像調整装置、及び画像調整方法に関する。 The present invention relates to an image adjustment system, an image adjustment device, and an image adjustment method.
近年、画像表示装置としてヘッドマウントディスプレイが注目されている。ヘッドマウントディスプレイは、使用者の頭部に装着された状態で画像を表示することにより、使用者は仮想空間に入り込んだような感覚（没入感）を得ることができる。特許文献１に記載されているように、ヘッドマウントディスプレイは、外部のカメラで撮影した画像をネックワークを介して表示することができる。 In recent years, a head-mounted display has attracted attention as an image display device. By displaying an image while the head-mounted display is attached to the user's head, the user can obtain a feeling of entering a virtual space (immersive feeling). As described in Patent Document 1, the head-mounted display can display an image taken by an external camera via a neckwork.
３６０度の範囲を撮影できる全方位カメラを用いて撮影された画像をヘッドマウントディスプレイに表示することにより、使用者は使用者の周囲である３６０度の範囲を見ているような感覚を得ることができる。全方位カメラとして、右目用画像と左目用画像とを撮影できるステレオカメラを用いて撮影された画像をヘッドマウントディスプレイに表示することにより、使用者はヘッドマウントディスプレイに表示された画像を立体的に見ることができる。 By displaying the image taken by the omnidirectional camera capable of taking a 360-degree range on the head-mounted display, the user feels as if he / she is looking at the 360-degree range around the user. Can be done. By displaying the image taken by the stereo camera capable of taking the image for the right eye and the image for the left eye on the head-mounted display as an omnidirectional camera, the user can three-dimensionally display the image displayed on the head-mounted display. You can see it.
手振れ補正機能により、カメラが撮影する画像の振れを低減させることができ、かつ、カメラの向きが変更されても画像は一定の状態を維持することができる。しかし、全方位カメラにより撮影され、手振れ補正された画像を使用者が見ている状態において、全方位カメラの進行方向が変更された場合、使用者は、ヘッドマウントディスプレイに表示されている画像が変化する方向を認識してから使用者が向いている方向を変更する。そのため、使用者は、カメラが進行方向を変更してから、かなり遅れて向いている方向を変更することになる。 The image stabilization function can reduce the shake of the image captured by the camera, and can maintain the image in a constant state even if the orientation of the camera is changed. However, if the direction of travel of the omnidirectional camera is changed while the user is viewing an image taken by the omnidirectional camera and corrected for camera shake, the user will see the image displayed on the head-mounted display. After recognizing the changing direction, change the direction in which the user is facing. Therefore, the user changes the direction in which the camera is facing after changing the direction of travel with a considerable delay.
本発明は、カメラの進行方向の変更に応じて使用者が向いている方向を速やかに変更させることができる画像調整システム、画像調整装置、及び画像調整方法を提供することを目的とする。 An object of the present invention is to provide an image adjustment system, an image adjustment device, and an image adjustment method capable of quickly changing the direction in which the user is facing in response to a change in the traveling direction of the camera.
本発明は、カメラと、前記カメラが撮影した撮影画像を調整する画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、前記画像調整装置へ指示情報を出力するコントローラとを備え、前記画像調整装置は、球面状画像を生成する画像生成部と、前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部とを有する画像調整システムを提供する。 The present invention outputs instruction information to a camera, an image adjusting device that adjusts a captured image taken by the camera, an image display device that displays the captured image adjusted by the image adjusting device, and the image adjusting device. The image adjusting device includes an image generation unit that generates a spherical image, and an image generation unit that acquires the spherical image from the image generation unit based on the instruction information and displays the spherical image on the image display device. The spherical image is rotated based on the instruction information, the captured image displayed on the image display device is adjusted in correspondence with the rotation of the spherical image, and the adjusted captured image is corrected for camera shake. , It is determined whether or not the photographed image corrected for camera shake has been changed to a predetermined angle or more, and if it is determined that the photographed image has been changed to a predetermined angle or more, it is determined that the traveling direction of the camera has been changed. An image adjustment system including an image processing unit is provided.
本発明は、球面状画像を生成する画像生成部と、コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を前記球面状画像の回転に対応させて調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部とを備える画像調整装置を提供する。 The present invention acquires the spherical image from the image generation unit based on an image generation unit that generates a spherical image and instruction information acquired from the controller, displays the spherical image on an image display device, and based on the instruction information. The spherical image is rotated, the captured image captured by the camera and displayed on the image display device is adjusted in correspondence with the rotation of the spherical image, and the adjusted captured image is corrected for camera shake and camera shake. An image that determines whether or not the corrected captured image has been changed to a predetermined angle or more, and if it is determined that the captured image has been changed to a predetermined angle or more, it is determined that the traveling direction of the camera has been changed. Provided is an image adjusting device including a processing unit.
本発明は、画像処理部がコントローラから指示情報を取得し、前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、画像表示装置が前記球面状画像を表示し、前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、前記画像処理部が調整された前記撮影画像を手振れ補正し、前記画像処理部が手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記画像処理部が前記カメラの進行方向が変更されたと判定する、画像調整方法を提供する。 In the present invention, the image processing unit acquires instruction information from the controller, the image processing unit acquires a spherical image from the image generation unit based on the instruction information, and the image display device displays the spherical image. , The image processing unit rotates the spherical image based on the instruction information, and the captured image captured by the camera and displayed on the image display device is converted into the rotation of the spherical image. The photographed image adjusted by the image processing unit is subjected to camera shake correction, and the image processing unit determines whether or not the photographed image corrected by camera shake is changed to a predetermined angle or more. Provided is an image adjustment method in which the image processing unit determines that the traveling direction of the camera has been changed when it is determined that the captured image has been changed to a predetermined angle or more.
本発明の画像調整システム、画像調整装置、及び画像調整方法によれば、カメラの進行方向の変更に応じて使用者が向いている方向を速やかに変更させることができる。 According to the image adjustment system, the image adjustment device, and the image adjustment method of the present invention, the direction in which the user is facing can be quickly changed according to the change in the traveling direction of the camera.
［第１実施形態］
図１を用いて、第１実施形態の画像調整システムの構成例を説明する。画像調整システム１０１は、カメラ１０２と、姿勢制御装置１２０と、通信部１０３と、画像表示装置１０４と、コントローラ１０５と、画像調整装置１１０と、サーバ１０６とを備える。画像調整装置１１０は、画像処理部１１１と、画像生成部１１２と、通信部１１３とを有する。
[First Embodiment]
A configuration example of the image adjustment system of the first embodiment will be described with reference to FIG. The image adjustment system 101 includes a camera 102, an attitude control device 120, a communication unit 103, an image display device 104, a controller 105, an image adjustment device 110, and a server 106. The image adjusting device 110 includes an image processing unit 111, an image generation unit 112, and a communication unit 113.
カメラ１０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）である。カメラ１０２は、右目用画像と左目用画像とを撮影できるステレオカメラにより構成された全方位カメラであってもよい。通信部１０３と通信部１１３とはネットワークを介して接続されている。 The camera 102 is an omnidirectional camera (360 degree camera) capable of photographing a range of 360 degrees. The camera 102 may be an omnidirectional camera configured by a stereo camera capable of capturing an image for the right eye and an image for the left eye. The communication unit 103 and the communication unit 113 are connected via a network.
画像調整装置１１０は、カメラ１０２が３６０度の範囲を撮影した撮影画像ＩＭ１を、通信部１０３及び１１３とネットワークとを介して取得することができる。カメラ１０２がステレオカメラにより構成された全方位カメラである場合、画像調整装置１１０は、カメラ１０２が３６０度の範囲を撮影した右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１を撮影画像ＩＭ１として、通信部１０３及び１１３とネットワークとを介して取得することができる。 The image adjusting device 110 can acquire the captured image IM1 captured by the camera 102 in a range of 360 degrees via the communication units 103 and 113 and the network. When the camera 102 is an omnidirectional camera configured by a stereo camera, the image adjusting device 110 uses the right-eye image IMR1 and the left-eye image IML1 captured in a range of 360 degrees as the captured image IM1 and the communication unit 103. And 113 and can be obtained via the network.
画像調整装置１１０としてコンピュータ機器を用いてもよい。画像処理部１１１及び画像生成部１１２としてＣＰＵを用いてもよい。画像生成部１１２及び通信部１１３は、画像調整装置１１０の外部に設けられていてもよい。 A computer device may be used as the image adjusting device 110. A CPU may be used as the image processing unit 111 and the image generation unit 112. The image generation unit 112 and the communication unit 113 may be provided outside the image adjusting device 110.
サーバ１０６は、ネットワークと通信部１０３とを介してカメラ１０２と接続し、ネットワークと通信部１１３とを介して画像調整装置１１０と接続する。サーバ１０６がカメラ１０２から撮影画像ＩＭ１を通信部１０３及びネットワークを介して取得し、画像調整装置１１０がサーバ１０６から撮影画像ＩＭ１をネットワーク及び通信部１１３を介して取得してもよい。 The server 106 connects to the camera 102 via the network and the communication unit 103, and connects to the image adjusting device 110 via the network and the communication unit 113. The server 106 may acquire the captured image IM1 from the camera 102 via the communication unit 103 and the network, and the image adjusting device 110 may acquire the captured image IM1 from the server 106 via the network and the communication unit 113.
画像調整装置１１０が取得した撮影画像ＩＭ１は、画像処理部１１１へ入力される。画像調整装置１１０（具体的には画像処理部１１１）は、手振れ補正機能を有する。画像調整装置１１０は、撮影画像ＩＭ１の歪み及び手振れを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像表示装置１０４へ出力する。画像表示装置１０４は、例えばヘッドマウントディスプレイである。コントローラ１０５は、例えばＶＲ等に用いられるグローブ型コントローラである。 The captured image IM1 acquired by the image adjusting device 110 is input to the image processing unit 111. The image adjusting device 110 (specifically, the image processing unit 111) has a camera shake correction function. The image adjusting device 110 executes image processing such as correcting distortion and camera shake of the captured image IM1, and outputs the image-processed captured image IM1 to the image display device 104. The image display device 104 is, for example, a head-mounted display. The controller 105 is a glove type controller used for, for example, VR.
姿勢制御装置１２０は、カメラ１０２の姿勢を制御する。姿勢制御装置１２０は、カメラ１０２が向いている方向、及びカメラ１０２が向きを変更したときの方向とその角度を示すカメラ姿勢情報ＣＰ１を生成してもよい。画像処理部１１１は、通信部１１３及び１０３とネットワークとを介して、姿勢制御装置１２０からカメラ姿勢情報ＣＰ１を取得することができる。サーバ１０６が姿勢制御装置１２０からカメラ姿勢情報ＣＰ１を取得し、画像処理部１１１がサーバ１０６からカメラ姿勢情報ＣＰ１を取得してもよい。 The attitude control device 120 controls the attitude of the camera 102. The attitude control device 120 may generate camera attitude information CP1 indicating the direction in which the camera 102 is facing, the direction when the camera 102 changes the direction, and the angle thereof. The image processing unit 111 can acquire the camera attitude information CP1 from the attitude control device 120 via the communication units 113 and 103 and the network. The server 106 may acquire the camera attitude information CP1 from the attitude control device 120, and the image processing unit 111 may acquire the camera attitude information CP1 from the server 106.
図２は、画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている状態を模式的に示している。図２に示す符号ＺＥは天頂を示している。カメラ１０２の天頂と使用者ＵＳの天頂とは一致していることが望ましい。使用者ＵＳは、その頭部に画像表示装置１０４を装着することにより、画像調整装置１１０によって画像処理された撮影画像ＩＭ１を見ることができる。 FIG. 2 schematically shows a state in which the image display device 104 is attached to the head of the user US and the controller 105 is attached to the hand of the user US. The symbol ZE shown in FIG. 2 indicates the zenith. It is desirable that the zenith of the camera 102 and the zenith of the user US coincide with each other. By attaching the image display device 104 to the head of the user US, the user US can see the captured image IM1 image-processed by the image adjusting device 110.
カメラ１０２がステレオカメラにより構成された全方位カメラである場合、画像表示装置１０４が使用者ＵＳの頭部に装着されている状態で、画像調整装置１１０が使用者ＵＳの右目に対応する領域に右目用画像ＩＭＲ１を表示し、使用者ＵＳの左目に対応する領域に左目用画像ＩＭＬ１を表示することにより、使用者ＵＳは、撮影画像ＩＭ１を立体画像として見ることができる。 When the camera 102 is an omnidirectional camera configured by a stereo camera, the image adjusting device 110 is placed in the area corresponding to the right eye of the user US while the image display device 104 is mounted on the head of the user US. By displaying the image IMR1 for the right eye and displaying the image IML1 for the left eye in the area corresponding to the left eye of the user US, the user US can see the captured image IM1 as a stereoscopic image.
サーバ１０６がカメラ１０２から取得した撮影画像ＩＭ１の歪みを補正し、撮影画像ＩＭ１の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像調整装置１１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置１０４を装着することにより、画像調整装置１１０またはサーバ１０６によって画像処理された撮影画像ＩＭ１を見ることができる。 The server 106 corrects the distortion of the captured image IM1 acquired from the camera 102, executes image processing such as adjusting the level of the captured image IM1, and outputs the image-processed captured image IM1 to the image adjusting device 110. May be good. By attaching the image display device 104 to its head, the user US can see the captured image IM1 image-processed by the image adjustment device 110 or the server 106.
画像表示装置１０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて使用者姿勢情報ＰＮ１を生成する。画像処理部１１１は、画像表示装置１０４から使用者姿勢情報ＰＮ１を取得する。即ち、画像処理部１１１は、画像表示装置１０４の姿勢に基づいて使用者姿勢情報ＰＮ１を取得することになる。画像処理部１１１は、使用者姿勢情報ＰＮ１に基づいて、撮影画像ＩＭ１から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置１０４に表示する。 The image display device 104 generates the user posture information PN1 based on the direction in which the user US is facing, the posture of the user US, and the like when the image display device 104 is attached to the head of the user US. The image processing unit 111 acquires the user posture information PN1 from the image display device 104. That is, the image processing unit 111 acquires the user posture information PN1 based on the posture of the image display device 104. Based on the user posture information PN1, the image processing unit 111 displays an image of an area corresponding to a state such as the direction in which the user US is facing and the posture of the user US from the captured image IM1 on the image display device 104. indicate.
コントローラ１０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢、または、使用者ＵＳの指の動きまたは姿勢等の状態に基づいて指示情報ＮＮ１を生成する。以下、手または指を、単に手と略記する。画像処理部１１１は、コントローラ１０５から指示情報ＮＮ１を取得する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１を変化させたり調整したりすることができる。 The controller 105 generates instruction information NN1 based on the movement or posture of the hand of the user US or the movement or posture of the finger of the user US when the controller 105 is attached to the hand of the user US. .. Hereinafter, the hand or finger is simply abbreviated as a hand. The image processing unit 111 acquires the instruction information NN1 from the controller 105. The image processing unit 111 can change or adjust the captured image IM1 displayed on the image display device 104 based on the instruction information NN1.
画像生成部１１２は、ＣＧ(Computer Graphics)である球面により構成された仮想画像である球面状画像ＶＳＳ１を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。 The image generation unit 112 generates a spherical image VSS1 which is a virtual image composed of spherical surfaces which are CG (Computer Graphics), and stores the spherical image VSS1 in the built-in memory or an external memory. The image processing unit 111 acquires the spherical image VSS1 from the image generation unit 112 based on the instruction information NN1 and displays it on the image display device 104.
図２は、画像表示装置１０４が使用者ＵＳの頭部に装着された状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときの使用者ＵＳのイメージを模式的に示している。 FIG. 2 shows an image of the user US when the user US sees the spherical image VSS1 displayed on the image display device 104 in a state where the image display device 104 is attached to the head of the user US. It is shown schematically.
画像表示装置１０４が使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときに、球面状画像ＶＳＳ１は、使用者ＵＳ及び画像表示装置１０４の周囲に配置され、かつ、使用者ＵＳの手が球面状画像ＶＳＳ１に届く範囲に表示されるように設定されている。使用者ＵＳは、コントローラ１０５が装着されている手を、画像表示装置１０４に表示されている球面状画像ＶＳＳ１に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ１に接触しているように感じる。 When the user US sees the spherical image VSS1 displayed on the image display device 104 in a state where the image display device 104 is attached to the head of the user US, the spherical image VSS1 is the user. It is arranged around the US and the image display device 104, and is set so that the hand of the user US is displayed within the reach of the spherical image VSS1. The user US moves the hand on which the controller 105 is attached to a position corresponding to the spherical image VSS1 displayed on the image display device 104, so that the hand of the user US comes into contact with the spherical image VSS1. I feel like I'm doing it.
コントローラ１０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部１１１は、指示情報ＮＮ１に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ１に対応する位置に移動したと判定した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ１に接触する感覚を実感として得ることができる。 The controller 105 may have an actuator arranged at a portion that comes into contact with the hand of the user US. The image processing unit 111 operates the actuator when it is determined that the hand of the user US has moved to the position corresponding to the spherical image VSS1 based on the instruction information NN1. When the actuator applies pressure to the hand of the user US, the user US can actually feel the hand touching the spherical image VSS1.
球面状画像ＶＳＳ１が画像表示装置１０４に表示されている状態において、使用者ＵＳが、コントローラ１０５が装着されている手を任意の方向へ移動させた場合、画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている球面状画像ＶＳＳ１と撮影画像ＩＭ１とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。 When the user US moves the hand on which the controller 105 is attached in an arbitrary direction while the spherical image VSS1 is displayed on the image display device 104, the image processing unit 111 displays the instruction information NN1. Based on this, image processing is performed so that the spherical image VSS1 and the captured image IM1 displayed on the image display device 104 move according to the moving direction, moving speed, and moving destination position of the hand of the user US. To execute.
使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ１を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ１を回転させることができる。画像処理部１１１は、球面状画像ＶＳＳ１の回転に対応させて撮影画像ＩＭ１を移動させる。使用者ＵＳは、球面状画像ＶＳＳ１を回転させることにより、画像表示装置１０４に表示されている撮影画像ＩＭ１を水平にすることができる。 The user US can rotate the spherical image VSS1 in an arbitrary direction and at an arbitrary speed by moving the hand in an arbitrary direction and at an arbitrary speed to an arbitrary position. it can. That is, the user US can rotate the spherical image VSS1 by the movement of his / her hand. The image processing unit 111 moves the captured image IM1 in correspondence with the rotation of the spherical image VSS1. The user US can make the captured image IM1 displayed on the image display device 104 horizontal by rotating the spherical image VSS1.
画像表示装置１０４に右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１が表示されている場合、使用者ＵＳは、球面状画像ＶＳＳ１を例えば上方向または下方向へ回転させることにより、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向（垂直方向）のずれを補正することができる。使用者ＵＳは、球面状画像ＶＳＳ１を例えば右方向または左方向へ回転させることにより、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差を補正することができる。使用者ＵＳは、球面状画像ＶＳＳ１を任意の方向へ回転させることにより、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれを補正することができる。 When the image IMR1 for the right eye and the image IML1 for the left eye are displayed on the image display device 104, the user US rotates the spherical image VSS1 upward or downward, for example, to rotate the image IMR1 for the right eye and the image IML1 for the left eye. It is possible to correct the vertical (vertical) deviation from the image IML1. The user US can correct the parallax between the right-eye image IMR1 and the left-eye image IML1 by rotating the spherical image VSS1, for example, to the right or to the left. The user US can correct the deviation of the inclination between the right-eye image IMR1 and the left-eye image IML1 by rotating the spherical image VSS1 in an arbitrary direction.
画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ１を回転させることによって球面状画像ＶＳＳ１の座標上のどの位置へ移動したかを判定することができる。画像処理部１１１は、球面状画像ＶＳＳ１の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前と回転させた後との球面状画像ＶＳＳ１の変化量を算出する。 The image processing unit 111 indicates to which position on the coordinates of the spherical image VSS1 the zenith ZE before the user US rotates the spherical image VSS1 moves by rotating the spherical image VSS1 by the user US. Can be determined. The image processing unit 111 is a spherical image before and after the user US rotates the spherical image VSS1 based on the moving direction of the zenith ZE and the position of the moving destination on the coordinates of the spherical image VSS1. The amount of change in VSS1 is calculated.
球面状画像ＶＳＳ１の変化量とは、球面状画像ＶＳＳ１において、Ｘ軸を回転軸とした回転量（回転角度）と、Ｙ軸を回転軸とした回転量（回転角度）と、Ｚ軸を回転軸とした回転量（回転角度）とが合成された球面状画像ＶＳＳ１の回転量（回転角度）に相当する。画像処理部１１１は、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として保存する。即ち、補正値ＣＶ１は、球面状画像ＶＳＳ１の回転方向と、天頂ＺＥの移動量または移動角度（球面状画像ＶＳＳ１の回転角度）に基づいて算出されることになる。 The amount of change in the spherical image VSS1 is the amount of rotation (rotation angle) with the X-axis as the rotation axis, the amount of rotation (rotation angle) with the Y-axis as the rotation axis, and the rotation of the Z-axis in the spherical image VSS1. The amount of rotation (rotation angle) as the axis corresponds to the amount of rotation (rotation angle) of the spherical image VSS1 synthesized. The image processing unit 111 stores the amount of change in the spherical image VSS1 as the correction value CV1. That is, the correction value CV1 is calculated based on the rotation direction of the spherical image VSS1 and the movement amount or movement angle of the zenith ZE (rotation angle of the spherical image VSS1).
画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させた後の天頂ＺＥの球面状画像ＶＳＳ１上の座標を補正値ＣＶ１として保存してもよい。画像処理部１１１は、補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存する。画像処理部１１１が補正値ＣＶ１を通信部１１３及びネットワークを介してサーバ１０６へ出力し、サーバ１０６が補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存してもよい。画像処理部１１１は、サーバ１０６に保存されている補正値ＣＶ１をネットワーク及び通信部１１３を介して取得することができる。 The image processing unit 111 may save the coordinates on the spherical image VSS1 of the zenith ZE after the user US rotates the spherical image VSS1 as the correction value CV1. The image processing unit 111 stores the correction value CV1 in the internal memory or an external memory. The image processing unit 111 may output the correction value CV1 to the server 106 via the communication unit 113 and the network, and the server 106 may store the correction value CV1 in the internal memory or an external memory. The image processing unit 111 can acquire the correction value CV1 stored in the server 106 via the network and the communication unit 113.
図３に示すフローチャートを用いて、第１実施形態の画像調整方法の一例を説明する。具体的には、カメラ１０２の進行方向の変更に応じて使用者ＵＳが向いている方向を速やかに変更させるため方法の一例について説明する。画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている。画像表示装置１０４には撮影画像ＩＭ１と球面状画像ＶＳＳ１とが表示されている。 An example of the image adjustment method of the first embodiment will be described with reference to the flowchart shown in FIG. Specifically, an example of a method for promptly changing the direction in which the user US is facing according to the change in the traveling direction of the camera 102 will be described. The image display device 104 is attached to the head of the user US, and the controller 105 is attached to the hand of the user US. The captured image IM1 and the spherical image VSS1 are displayed on the image display device 104.
使用者ＵＳが球面状画像ＶＳＳ１を回転させることにより、コントローラ１０５は、ステップＳ１０１にて、操作内容に対応する指示情報ＮＮ１を生成し、画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１０２にて、指示情報ＮＮ１に基づいて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている撮影画像ＩＭ１を移動させる。画像処理部１１１またはサーバ１０６に補正値ＣＶ１が保存されている場合、画像処理部１１１は、ステップＳ１０２にて、補正値ＣＶ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１を移動させてもよい。 When the user US rotates the spherical image VSS1, the controller 105 generates instruction information NN1 corresponding to the operation content in step S101 and outputs it to the image processing unit 111. In step S102, the image processing unit 111 moves the captured image IM1 displayed on the image display device 104 in correspondence with the rotation of the spherical image VSS1 based on the instruction information NN1. When the correction value CV1 is stored in the image processing unit 111 or the server 106, the image processing unit 111 moves the captured image IM1 displayed on the image display device 104 based on the correction value CV1 in step S102. You may let me.
これにより、画像調整装置１１０は、撮影画像ＩＭ１が水平になるように撮影画像ＩＭ１を調整することができる。撮影画像ＩＭ１が水平になるように、姿勢制御装置１２０がカメラ１０２の姿勢を制御してもよい。 As a result, the image adjusting device 110 can adjust the captured image IM1 so that the captured image IM1 is horizontal. The attitude control device 120 may control the attitude of the camera 102 so that the captured image IM1 is horizontal.
画像表示装置１０４に右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１が表示されている場合、使用者ＵＳが球面状画像ＶＳＳ１を回転させることにより、画像調整装置１１０は、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれ、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差、及び、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれの少なくともいずれかを補正する。姿勢制御装置１２０がカメラ１０２の姿勢を制御することにより、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれを補正してもよい。 When the image IMR1 for the right eye and the image IML1 for the left eye are displayed on the image display device 104, the image adjusting device 110 causes the image IMR1 for the right eye and the image IML1 for the left eye to rotate when the user US rotates the spherical image VSS1. At least one of the vertical deviation between the image IMR1 for the right eye and the image IML1 for the left eye, and the deviation between the image IMR1 for the right eye and the image IML1 for the left eye is corrected. By controlling the posture of the camera 102 by the attitude control device 120, the vertical deviation between the image IMR1 for the right eye and the image IML1 for the left eye may be corrected.
画像処理部１１１またはサーバ１０６に補正値ＣＶ１が保存されている場合、画像処理部１１１は、補正値ＣＶ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１における右目用画像ＩＭＲ１または左目用画像ＩＭＬ１を移動させてもよい。これにより、画像調整装置１１０は、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれ、または視差が補正されるように撮影画像ＩＭ１を調整することができる。 When the correction value CV1 is stored in the image processing unit 111 or the server 106, the image processing unit 111 has the right eye image IMR1 or the left eye in the captured image IM1 displayed on the image display device 104 based on the correction value CV1. The image IML1 for use may be moved. As a result, the image adjusting device 110 can adjust the captured image IM1 so that the deviation between the right-eye image IMR1 and the left-eye image IML1 or the parallax is corrected.
撮影画像ＩＭ１が水平になるように調整されている状態、または、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれ、または視差が補正されている状態において、画像処理部１１１は、ステップＳ１０３にて、撮影画像ＩＭ１を手振れ補正する。 In the state where the captured image IM1 is adjusted to be horizontal, or when the deviation between the right-eye image IMR1 and the left-eye image IML1 or the parallax is corrected, the image processing unit 111 performs the image processing unit 111 in step S103. , The captured image IM1 is corrected for camera shake.
画像調整装置１１０（具体的には画像処理部１１１）は、撮影画像ＩＭ１が変更される方向とその角度を常に監視している。画像調整装置１１０は、カメラ１０２が撮影した撮影画像ＩＭ１から撮影画像ＩＭ１の方向とその角度を検出してもよいし、姿勢制御装置１２０から取得したカメラ姿勢情報ＣＰ１に基づいて、撮影画像ＩＭ１の方向とその角度を検出してもよい。 The image adjusting device 110 (specifically, the image processing unit 111) constantly monitors the direction in which the captured image IM1 is changed and the angle thereof. The image adjusting device 110 may detect the direction and the angle of the captured image IM1 from the captured image IM1 captured by the camera 102, or the captured image IM1 based on the camera attitude information CP1 acquired from the attitude control device 120. The direction and its angle may be detected.
画像処理部１１１は、ステップＳ１０４にて、撮影画像ＩＭ１が変更される角度θａが所定の角度α以上か否かを判定する。言い換えれば、撮影画像ＩＭ１が所定の角度α以上に変更されたか否かを判定する。所定の角度αは例えば６０度である。 In step S104, the image processing unit 111 determines whether or not the angle θa at which the captured image IM1 is changed is equal to or greater than the predetermined angle α. In other words, it is determined whether or not the captured image IM1 has been changed to a predetermined angle α or more. The predetermined angle α is, for example, 60 degrees.
角度θａが所定の角度α以上である（θａ≧α）と判定された場合（ＹＥＳ）、即ち、撮影画像ＩＭ１が所定の角度α以上に変更されたと判定された場合、画像処理部１１１は、ステップＳ１０５にて、カメラ１０２の進行方向が変更されたと判定し、変更された方向を検出する。 When it is determined that the angle θa is equal to or greater than the predetermined angle α (θa ≧ α) (YES), that is, when it is determined that the captured image IM1 has been changed to the predetermined angle α or more, the image processing unit 111 performs the image processing unit 111. In step S105, it is determined that the traveling direction of the camera 102 has been changed, and the changed direction is detected.
角度θａが所定の角度α以上ではない（θａ＜α）と判定された場合（ＮＯ）、即ち、撮影画像ＩＭ１が所定の角度α以上に変更されていないと判定された場合、画像処理部１１１は、カメラ１０２の進行方向が変更されていないと判定し、処理をステップＳ１０４へ戻す。 When it is determined that the angle θa is not equal to or greater than the predetermined angle α (θa <α) (NO), that is, when it is determined that the captured image IM1 has not been changed to the predetermined angle α or more, the image processing unit 111 Determines that the traveling direction of the camera 102 has not been changed, and returns the process to step S104.
画像処理部１１１は、ステップＳ１０６にて、使用者姿勢情報ＰＮ１に基づいて、使用者ＵＳが向いている方向を検出する。画像生成部１１２は矢印画像ＡＲを生成する。矢印画像ＡＲは、カメラ１０２の進行方向が変更された方向を示す画像（ＣＧ）である。画像生成部１１２は例えば右方向を示す右矢印画像ＡＲＲと、左方向を示す左矢印画像ＡＲＬとを生成する。画像処理部１１１は、ステップＳ１０７にて、画像生成部１１２から矢印画像ＡＲを取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１と矢印画像ＡＲとが混合して表示される。 In step S106, the image processing unit 111 detects the direction in which the user US is facing based on the user posture information PN1. The image generation unit 112 generates the arrow image AR. The arrow image AR is an image (CG) showing the direction in which the traveling direction of the camera 102 is changed. The image generation unit 112 generates, for example, a right arrow image ARR indicating the right direction and a left arrow image ARL indicating the left direction. In step S107, the image processing unit 111 acquires the arrow image AR from the image generation unit 112 and displays it on the image display device 104. The captured image IM1 and the arrow image AR are mixed and displayed on the image display device 104.
画像処理部１１１は、使用者ＵＳが向いている方向に対してカメラ１０２の進行方向が右方向へ変更されたと判定した場合、画像生成部１１２から右矢印画像ＡＲＲを取得し、画像表示装置１０４に表示する。画像処理部１１１は、使用者ＵＳが向いている方向に対してカメラ１０２の進行方向が左方向へ変更されたと判定した場合、画像生成部１１２から左矢印画像ＡＲＬを取得し、画像表示装置１０４に表示する。 When the image processing unit 111 determines that the traveling direction of the camera 102 has been changed to the right with respect to the direction in which the user US is facing, the image processing unit 111 acquires the right arrow image ARR from the image generation unit 112 and obtains the right arrow image ARR, and the image display device 104. Display in. When the image processing unit 111 determines that the traveling direction of the camera 102 has been changed to the left with respect to the direction in which the user US is facing, the image processing unit 111 acquires the left arrow image ARL from the image generation unit 112 and obtains the left arrow image ARL, and the image display device 104. Display in.
画像処理部１１１は、ステップＳ１０８にて、使用者ＵＳが向いている方向に対して、画像表示装置１０４に表示されている撮影画像ＩＭ１を、カメラ１０２の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させてもよい。 In step S108, the image processing unit 111 makes the captured image IM1 displayed on the image display device 104 in the direction opposite to the direction in which the traveling direction of the camera 102 is changed with respect to the direction in which the user US is facing. It may be moved by the angle changed in the direction.
第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、撮影画像ＩＭ１が手振れ補正されている状態において、カメラ１０２の進行方向が変更されたか否かを判定し、進行方向が変更されたと判定された場合に、カメラ１０２の進行方向が変更された方向を示す画像（例えば矢印画像ＡＲ）を表示する。これにより、カメラ１０２の進行方向の変更に応じて使用者ＵＳが向いている方向を速やかに変更させることができる。 In the image adjustment system 101, the image adjustment device 110, and the image adjustment method of the first embodiment, it is determined whether or not the traveling direction of the camera 102 has been changed while the captured image IM1 has been image-stabilized, and the traveling direction is determined. When it is determined that the camera 102 has been changed, an image (for example, an arrow image AR) indicating the direction in which the traveling direction of the camera 102 has been changed is displayed. As a result, the direction in which the user US is facing can be quickly changed according to the change in the traveling direction of the camera 102.
第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、撮影画像ＩＭ１が手振れ補正されている状態において、カメラ１０２の進行方向が変更されたと判定された場合に、画像表示装置１０４に表示されている撮影画像ＩＭ１を、カメラ１０２の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させる。これにより、画像表示装置１０４に表示されている画像を、カメラ１０２の進行方向が変更された方向に対応させて速やかに変更させることができる。 In the image adjustment system 101, the image adjustment device 110, and the image adjustment method of the first embodiment, an image is displayed when it is determined that the traveling direction of the camera 102 has been changed while the captured image IM1 has been image-stabilized. The captured image IM1 displayed on the device 104 is moved in the direction opposite to the direction in which the traveling direction of the camera 102 is changed by the changed angle. As a result, the image displayed on the image display device 104 can be quickly changed in correspondence with the direction in which the traveling direction of the camera 102 is changed.
［第２実施形態］
図１を用いて、第２実施形態の画像調整システムの構成例を説明する。画像調整システム２０１は、カメラ２０２と、姿勢制御装置２２０と、通信部２０３と、画像表示装置２０４と、コントローラ２０５と、画像調整装置２１０と、サーバ２０６とを備える。画像調整装置２１０は、画像処理部２１１と、画像生成部２１２と、通信部２１３とを有する。
[Second Embodiment]
A configuration example of the image adjustment system of the second embodiment will be described with reference to FIG. The image adjustment system 201 includes a camera 202, an attitude control device 220, a communication unit 203, an image display device 204, a controller 205, an image adjustment device 210, and a server 206. The image adjusting device 210 includes an image processing unit 211, an image generation unit 212, and a communication unit 213.
カメラ２０２、姿勢制御装置２２０、通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及びサーバ２０６は、それぞれ、第１実施形態の姿勢制御装置１２０、通信部１０３、画像表示装置１０４、コントローラ１０５、画像調整装置１１０、及びサーバ１０６に対応する。画像処理部２１１、画像生成部２１２、及び通信部２１３は、それぞれ、第１実施形態の画像処理部１１１、画像生成部１１２、及び通信部１１３に対応する。 The camera 202, the attitude control device 220, the communication unit 203, the image display device 204, the controller 205, the image adjustment device 210, and the server 206 are the attitude control device 120, the communication unit 103, and the image display device 104 of the first embodiment, respectively. , Controller 105, image adjustment device 110, and server 106. The image processing unit 211, the image generation unit 212, and the communication unit 213 correspond to the image processing unit 111, the image generation unit 112, and the communication unit 113 of the first embodiment, respectively.
画像調整装置２１０は、カメラ２０２が３６０度の範囲を撮影した撮影画像ＩＭ２を、通信部２０３及び２１３とネットワークとを介して取得することができる。カメラ２０２がステレオカメラにより構成された全方位カメラである場合、画像調整装置２１０は、カメラ２０２が３６０度の範囲を撮影した右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２を撮影画像ＩＭ２として、通信部２０３及び２１３とネットワークとを介して取得することができる。 The image adjusting device 210 can acquire the captured image IM2 obtained by the camera 202 in a range of 360 degrees via the communication units 203 and 213 and the network. When the camera 202 is an omnidirectional camera configured by a stereo camera, the image adjusting device 210 uses the right-eye image IMR2 and the left-eye image IML2 captured by the camera 202 in a range of 360 degrees as the captured image IM2, and the communication unit 203. And 213 can be obtained via the network.
画像調整装置２１０が取得した撮影画像ＩＭ２は、画像処理部２１１へ入力される。画像調整装置２１０（具体的には画像処理部２１１）は、手振れ補正機能を有する。画像調整装置２１０は、撮影画像ＩＭ２の歪み及び手振れを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像表示装置２０４へ出力する。 The captured image IM2 acquired by the image adjusting device 210 is input to the image processing unit 211. The image adjusting device 210 (specifically, the image processing unit 211) has a camera shake correction function. The image adjusting device 210 executes image processing such as correcting distortion and camera shake of the captured image IM2, and outputs the image-processed captured image IM2 to the image display device 204.
姿勢制御装置２２０は、カメラ２０２の姿勢を制御する。姿勢制御装置２２０は、カメラ２０２が向いている方向、及びカメラ２０２が向きを変更したときの方向とその角度を示すカメラ姿勢情報ＣＰ２を生成してもよい。画像処理部２１１は、通信部２１３及び２０３とネットワークとを介して、姿勢制御装置２２０からカメラ姿勢情報ＣＰ２を取得することができる。サーバ２０６が姿勢制御装置２２０からカメラ姿勢情報ＣＰ２を取得し、画像処理部２１１がサーバ２０６からカメラ姿勢情報ＣＰ２を取得してもよい。 The attitude control device 220 controls the attitude of the camera 202. The attitude control device 220 may generate camera attitude information CP2 indicating the direction in which the camera 202 is facing, the direction when the camera 202 changes direction, and the angle thereof. The image processing unit 211 can acquire the camera attitude information CP2 from the attitude control device 220 via the communication units 213 and 203 and the network. The server 206 may acquire the camera attitude information CP2 from the attitude control device 220, and the image processing unit 211 may acquire the camera attitude information CP2 from the server 206.
サーバ２０６がカメラ２０２から取得した撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像調整装置２１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置２０４を装着することにより、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ１を見ることができる。 The server 206 corrects the distortion of the captured image IM2 acquired from the camera 202, executes image processing such as adjusting the level of the captured image IM2, and outputs the image-processed captured image IM2 to the image adjusting device 210. May be good. By attaching the image display device 204 to the head of the user US, the user US can see the captured image IM1 image-processed by the image adjustment device 210 or the server 206.
画像表示装置２０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて使用者姿勢情報ＰＮ２を生成する。画像処理部２１１は、画像表示装置２０４から使用者姿勢情報ＰＮ２を取得する。即ち、画像処理部２１１は、画像表示装置２０４の姿勢に基づいて使用者姿勢情報ＰＮ２を取得することになる。画像処理部２１１は、使用者姿勢情報ＰＮ２に基づいて、撮影画像ＩＭ２から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置２０４に表示する。 The image display device 204 generates the user posture information PN2 based on the direction in which the user US is facing, the posture of the user US, and the like when the image display device 204 is attached to the head of the user US. The image processing unit 211 acquires the user posture information PN2 from the image display device 204. That is, the image processing unit 211 acquires the user posture information PN2 based on the posture of the image display device 204. Based on the user posture information PN2, the image processing unit 211 displays an image of a region corresponding to a state such as the direction in which the user US is facing and the posture of the user US from the captured image IM2 on the image display device 204. indicate.
コントローラ２０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ２を生成する。画像処理部２１１は、コントローラ２０５から指示情報ＮＮ２を取得する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を変化させたり調整したりすることができる。 The controller 205 generates instruction information NN2 based on a state such as the movement or posture of the user US's hand while it is attached to the user US's hand. The image processing unit 211 acquires the instruction information NN2 from the controller 205. The image processing unit 211 can change or adjust the captured image IM2 displayed on the image display device 204 based on the instruction information NN2.
画像生成部２１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ２を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。 The image generation unit 212 generates a spherical image VSS2 which is a virtual image composed of a spherical surface which is CG, and stores it in the internal memory or an external memory. The image processing unit 211 acquires the spherical image VSS2 from the image generation unit 212 based on the instruction information NN2 and displays it on the image display device 204.
図２は、画像表示装置２０４が使用者ＵＳの頭部に装着された状態において、使用者ＵＳが画像表示装置２０４に表示されている球面状画像ＶＳＳ２を見たときの使用者ＵＳのイメージを模式的に示している。 FIG. 2 shows an image of the user US when the user US sees the spherical image VSS2 displayed on the image display device 204 in a state where the image display device 204 is attached to the head of the user US. It is shown schematically.
画像表示装置２０４が使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが画像表示装置２０４に表示されている球面状画像ＶＳＳ２を見たときに、球面状画像ＶＳＳ２は、使用者ＵＳ及び画像表示装置２０４の周囲に配置され、かつ、使用者ＵＳの手が球面状画像ＶＳＳ２に届く範囲に表示されるように設定されている。使用者ＵＳは、コントローラ２０５が装着されている手を、画像表示装置２０４に表示されている球面状画像ＶＳＳ２に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ２に接触しているように感じる。 When the user US sees the spherical image VSS2 displayed on the image display device 204 while the image display device 204 is attached to the head of the user US, the spherical image VSS2 is the user. It is arranged around the US and the image display device 204, and is set so that the hand of the user US is displayed within the reach of the spherical image VSS2. The user US moves the hand on which the controller 205 is attached to a position corresponding to the spherical image VSS2 displayed on the image display device 204, so that the hand of the user US comes into contact with the spherical image VSS2. I feel like I'm doing it.
コントローラ２０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部２１１は、指示情報ＮＮ２に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ２に対応する位置に移動したと判定した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ２に接触する感覚を実感として得ることができる。 In the controller 205, the actuator may be arranged at a portion that comes into contact with the hand of the user US. The image processing unit 211 operates the actuator when it is determined that the hand of the user US has moved to the position corresponding to the spherical image VSS2 based on the instruction information NN2. When the actuator applies pressure to the hand of the user US, the user US can actually feel the hand touching the spherical image VSS2.
球面状画像ＶＳＳ２が画像表示装置２０４に表示されている状態において、使用者ＵＳが、コントローラ２０５が装着されている手を任意の方向へ移動させた場合、画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている球面状画像ＶＳＳ２と撮影画像ＩＭ２とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。 When the user US moves the hand on which the controller 205 is mounted in an arbitrary direction while the spherical image VSS2 is displayed on the image display device 204, the image processing unit 211 displays the instruction information NN2. Based on this, image processing is performed so that the spherical image VSS2 and the captured image IM2 displayed on the image display device 204 move according to the moving direction, moving speed, and moving destination position of the hand of the user US. To execute.
使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ２を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ２を回転させることができる。画像処理部２１１は、球面状画像ＶＳＳ２の回転に対応させて撮影画像ＩＭ２を移動させる。使用者ＵＳは、球面状画像ＶＳＳ２を回転させることにより、画像表示装置２０４に表示されている撮影画像ＩＭ２を水平にすることができる。 The user US can rotate the spherical image VSS2 in an arbitrary direction and at an arbitrary speed by moving the hand in an arbitrary direction and at an arbitrary speed to an arbitrary position. it can. That is, the user US can rotate the spherical image VSS2 by the movement of his / her hand. The image processing unit 211 moves the captured image IM2 in correspondence with the rotation of the spherical image VSS2. The user US can make the captured image IM2 displayed on the image display device 204 horizontal by rotating the spherical image VSS2.
画像表示装置２０４に右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２が表示されている場合、使用者ＵＳは、球面状画像ＶＳＳ２を例えば上方向または下方向へ回転させることにより、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向のずれを補正することができる。使用者ＵＳは、球面状画像ＶＳＳ２を例えば右方向または左方向へ回転させることにより、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差を補正することができる。使用者ＵＳは、球面状画像ＶＳＳ２を任意の方向へ回転させることにより、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との傾きのずれを補正することができる。 When the image IMR2 for the right eye and the image IML2 for the left eye are displayed on the image display device 204, the user US may rotate the spherical image VSS2 upward or downward, for example, to rotate the image IMR2 for the right eye and the image IML2 for the left eye. It is possible to correct the vertical deviation from the image IML2. The user US can correct the parallax between the right-eye image IMR2 and the left-eye image IML2 by rotating the spherical image VSS2, for example, to the right or to the left. The user US can correct the deviation of the inclination between the right-eye image IMR2 and the left-eye image IML2 by rotating the spherical image VSS2 in an arbitrary direction.
画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ２を回転させることによって球面状画像ＶＳＳ２の座標上のどの位置へ移動したかを判定することができる。画像処理部２１１は、球面状画像ＶＳＳ２の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前と回転させた後との球面状画像ＶＳＳ２の変化量を算出する。 The image processing unit 211 indicates to which position on the coordinates of the spherical image VSS2 the zenith ZE before the user US rotates the spherical image VSS2 has moved by rotating the spherical image VSS2 by the user US. Can be determined. The image processing unit 211 is a spherical image before and after the user US rotates the spherical image VSS2 based on the moving direction of the zenith ZE and the position of the moving destination on the coordinates of the spherical image VSS2. Calculate the amount of change in VSS2.
球面状画像ＶＳＳ２の変化量は、第１実施形態の球面状画像ＶＳＳ１の変化量に相当する。画像処理部２１１は、球面状画像ＶＳＳ２の変化量を補正値ＣＶ２として保存する。補正値ＣＶ２は第１実施形態の補正値ＣＶ１に相当する。 The amount of change in the spherical image VSS2 corresponds to the amount of change in the spherical image VSS1 of the first embodiment. The image processing unit 211 saves the amount of change in the spherical image VSS2 as the correction value CV2. The correction value CV2 corresponds to the correction value CV1 of the first embodiment.
画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させた後の天頂ＺＥの球面状画像ＶＳＳ２上の座標を補正値ＣＶ２として保存してもよい。画像処理部２１１は、補正値ＣＶ２を内蔵メモリまたは外部のメモリに保存する。画像処理部２１１が補正値ＣＶ２を通信部２１３及びネットワークを介してサーバ２０６へ出力し、サーバ２０６が補正値ＣＶ２を内蔵メモリまたは外部のメモリに保存してもよい。画像処理部２１１は、サーバ２０６に保存されている補正値ＣＶ２をネットワーク及び通信部２１３を介して取得することができる。 The image processing unit 211 may save the coordinates on the spherical image VSS2 of the zenith ZE after the user US rotates the spherical image VSS2 as the correction value CV2. The image processing unit 211 stores the correction value CV2 in the internal memory or an external memory. The image processing unit 211 may output the correction value CV2 to the server 206 via the communication unit 213 and the network, and the server 206 may store the correction value CV2 in the internal memory or an external memory. The image processing unit 211 can acquire the correction value CV2 stored in the server 206 via the network and the communication unit 213.
図４Ａ〜図４Ｃに示すフローチャートを用いて、第２実施形態の画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ２が手振れ補正されている状態が維持できなくなったときの対処方法の一例について説明する。画像表示装置２０４が使用者ＵＳの頭部に装着され、コントローラ２０５が使用者ＵＳの手に装着されている。画像表示装置２０４には撮影画像ＩＭ２と球面状画像ＶＳＳ２とが表示されている。 An example of the image adjustment method of the second embodiment will be described with reference to the flowcharts shown in FIGS. 4A to 4C. Specifically, an example of a coping method when the captured image IM2 cannot maintain the state in which the image stabilization is corrected will be described. The image display device 204 is attached to the head of the user US, and the controller 205 is attached to the hand of the user US. The captured image IM2 and the spherical image VSS2 are displayed on the image display device 204.
図４Ａにおいて、使用者ＵＳが球面状画像ＶＳＳ２を回転させることにより、コントローラ２０５は、ステップＳ２０１にて、操作内容に対応する指示情報ＮＮ２を生成し、画像処理部２１１へ出力する。画像処理部２１１は、ステップＳ２０２にて、指示情報ＮＮ２に基づいて、球面状画像ＶＳＳ２の回転に対応させて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させる。画像処理部２１１またはサーバ２０６に補正値ＣＶ２が保存されている場合、画像処理部２１１は、ステップＳ２０２にて、補正値ＣＶ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させてもよい。 In FIG. 4A, when the user US rotates the spherical image VSS2, the controller 205 generates instruction information NN2 corresponding to the operation content in step S201 and outputs it to the image processing unit 211. In step S202, the image processing unit 211 moves the captured image IM2 displayed on the image display device 204 in correspondence with the rotation of the spherical image VSS2 based on the instruction information NN2. When the correction value CV2 is stored in the image processing unit 211 or the server 206, the image processing unit 211 moves the captured image IM2 displayed on the image display device 204 based on the correction value CV2 in step S202. You may let me.
これにより、画像調整装置２１０は、撮影画像ＩＭ２が水平になるように撮影画像ＩＭ２を調整することができる。撮影画像ＩＭ２が水平になるように、姿勢制御装置２２０がカメラ２０２の姿勢を制御してもよい。 As a result, the image adjusting device 210 can adjust the captured image IM2 so that the captured image IM2 is horizontal. The attitude control device 220 may control the attitude of the camera 202 so that the captured image IM2 is horizontal.
画像表示装置２０４に右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２が表示されている場合、使用者ＵＳが球面状画像ＶＳＳ２を回転させることにより、画像調整装置２１０は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向のずれ、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差、及び、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との傾きのずれの少なくともいずれかを補正する。姿勢制御装置２２０がカメラ２０２の姿勢を制御することにより、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向のずれを補正してもよい。 When the image IMR2 for the right eye and the image IML2 for the left eye are displayed on the image display device 204, the image adjusting device 210 causes the image IMR2 for the right eye and the image IML2 for the left eye to rotate when the user US rotates the spherical image VSS2. At least one of the vertical deviation between the image IMR2 for the right eye and the image IML2 for the left eye, and the deviation between the image IMR2 for the right eye and the image IML2 for the left eye is corrected. By controlling the posture of the camera 202 by the attitude control device 220, the vertical deviation between the right-eye image IMR2 and the left-eye image IML2 may be corrected.
画像処理部２１１またはサーバ２０６に補正値ＣＶ２が保存されている場合、画像処理部２１１は、補正値ＣＶ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２における右目用画像ＩＭＲ２または左目用画像ＩＭＬ２を移動させてもよい。これにより、画像調整装置２１０は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれ、または視差が補正されるように撮影画像ＩＭ２を調整することができる。 When the correction value CV2 is stored in the image processing unit 211 or the server 206, the image processing unit 211 has the right eye image IMR2 or the left eye in the captured image IM2 displayed on the image display device 204 based on the correction value CV2. The image IML2 for use may be moved. As a result, the image adjusting device 210 can adjust the captured image IM2 so that the deviation between the right-eye image IMR2 and the left-eye image IML2 or the parallax is corrected.
撮影画像ＩＭ２が水平になるように調整されている状態、または、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれ、または視差が補正されている状態において、画像処理部２１１は、ステップＳ２０３にて、撮影画像ＩＭ２を手振れ補正する。画像調整装置２１０（具体的には画像処理部２１１）は、撮影画像ＩＭ２が変更される方向とその角度を常に監視している。画像処理部２１１は、ステップＳ１０４〜Ｓ１０８と同様の処理を実行する。 In a state in which the captured image IM2 is adjusted to be horizontal, or in a state in which the deviation between the right-eye image IMR2 and the left-eye image IML2 or the parallax is corrected, the image processing unit 211 sets the image processing unit 211 in step S203. , The captured image IM2 is corrected for camera shake. The image adjusting device 210 (specifically, the image processing unit 211) constantly monitors the direction in which the captured image IM2 is changed and the angle thereof. The image processing unit 211 executes the same processing as in steps S104 to S108.
カメラ２０２が倒れたり、激しく動いたりすると、手振れ補正が追従できなくなる場合がある。画像調整装置２１０（具体的には画像処理部２１１）は、撮影画像ＩＭ２に対して手振れ補正が追従できているか否かを常に監視している。画像処理部２１１は、ステップＳ２０４にて、手振れ補正が追従できているか否か、即ち手振れ補正の設定時の条件が維持されているか否かを判定する。手振れ補正が追従できている（ＹＥＳ）と判定された場合、画像調整装置２１０は処理をステップＳ２０４へ戻す。 If the camera 202 falls or moves violently, the image stabilizer may not be able to follow. The image adjusting device 210 (specifically, the image processing unit 211) constantly monitors whether or not the image stabilization can follow the captured image IM2. In step S204, the image processing unit 211 determines whether or not the image stabilization can be followed, that is, whether or not the conditions at the time of setting the image stabilization are maintained. If it is determined that the image stabilization can be followed (YES), the image adjusting device 210 returns the process to step S204.
手振れ補正が追従できていない（ＮＯ）と判定された場合、画像調整装置２１０は、撮影画像ＩＭ２（右目用画像ＩＭＲ２または左目用画像ＩＭＬ２）を調整するか否か、またはどのように調整するかを使用者ＵＳに確認する。 If it is determined that the image stabilization cannot follow (NO), the image adjusting device 210 adjusts the captured image IM2 (right-eye image IMR2 or left-eye image IML2), or how to adjust it. Confirm with the user US.
具体的には、画像処理部２１１は、ステップＳ２０５にて、画像表示装置２０４に、撮影画像ＩＭ２を手動で調整するか自動で調整するかを設定するための設定画面を表示させる。画像処理部２１１は、手振れ補正の設定時の条件が維持されていないことを画像表示装置２０４に表示させてもよい。 Specifically, in step S205, the image processing unit 211 causes the image display device 204 to display a setting screen for setting whether to manually adjust or automatically adjust the captured image IM2. The image processing unit 211 may display on the image display device 204 that the conditions at the time of setting the image stabilization are not maintained.
画像処理部２１１は、画像表示装置２０４に、撮影画像ＩＭ２を手動で調整するか自動で調整するか、または調整しないかを設定するための設定画面を表示させてもよい。使用者ＵＳが調整しない項目を選択すると、コントローラ２０５は、操作内容に対応する指示情報ＮＮ２を生成して画像処理部２１１へ出力し、画像処理部２１１は、処理をステップＳ２０３へ戻す。 The image processing unit 211 may cause the image display device 204 to display a setting screen for setting whether to manually adjust, automatically adjust, or not adjust the captured image IM2. When the user US selects an item that is not adjusted, the controller 205 generates instruction information NN2 corresponding to the operation content and outputs it to the image processing unit 211, and the image processing unit 211 returns the processing to step S203.
ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を手動で調整する項目を選択すると、図４Ｂにおいて、コントローラ２０５は、ステップＳ２１１にて、操作内容に対応する指示情報ＮＮ２を生成し、画像処理部２１１へ出力する。画像処理部２１１は、ステップＳ２１２にて、指示情報ＮＮ２に基づいて、処理を手動調整モードへ移行させ、画像表示装置２０４に、調整項目を選択するための設定画面を表示させる。 When the user US manually selects an item for manually adjusting the captured image IM2 in step S205, the controller 205 generates instruction information NN2 corresponding to the operation content in step S211 in FIG. 4B, and sends the image processing unit 211 to the image processing unit 211. Output. In step S212, the image processing unit 211 shifts the processing to the manual adjustment mode based on the instruction information NN2, and causes the image display device 204 to display a setting screen for selecting an adjustment item.
使用者ＵＳがコントローラ２０５を操作して、設定画面に表示されている所定の調整項目（例えば水平調整の項目）を選択すると、コントローラ２０５は、ステップＳ２１３にて、操作内容に対応する指示情報ＮＮ２を生成し、画像処理部２１１へ出力する。画像処理部２１１は、指示情報ＮＮ２に基づいて、選択された項目に対応する処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部２１１は、撮影画像ＩＭ２の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。 When the user US operates the controller 205 and selects a predetermined adjustment item (for example, a horizontal adjustment item) displayed on the setting screen, the controller 205 operates the instruction information NN2 corresponding to the operation content in step S213. Is generated and output to the image processing unit 211. The image processing unit 211 shifts the processing to the processing mode corresponding to the selected item based on the instruction information NN2. When the horizontal adjustment item is selected, the image processing unit 211 shifts the processing to the processing mode (horizontal adjustment mode) for adjusting the horizontal of the captured image IM2.
画像処理部２１１は、ステップＳ２１４にて、指示情報ＮＮ２に基づいて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。画像表示装置２０４には、撮影画像ＩＭ２と球面状画像ＶＳＳ２とが混合して表示される。使用者ＵＳは、撮影画像ＩＭ２が水平となるように球面状画像ＶＳＳ２を回転させる。画像処理部２１１は、ステップＳ２１５にて、球面状画像ＶＳＳ２の回転に対応させて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させる。使用者ＵＳは撮影画像ＩＭ２が水平になるまで球面状画像ＶＳＳ２を回転させる動作を複数回行ってもよい。 In step S214, the image processing unit 211 acquires the spherical image VSS2 from the image generation unit 212 based on the instruction information NN2 and displays it on the image display device 204. The captured image IM2 and the spherical image VSS2 are mixed and displayed on the image display device 204. The user US rotates the spherical image VSS2 so that the captured image IM2 is horizontal. In step S215, the image processing unit 211 moves the captured image IM2 displayed on the image display device 204 in correspondence with the rotation of the spherical image VSS2. The user US may perform the operation of rotating the spherical image VSS2 a plurality of times until the captured image IM2 becomes horizontal.
ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を自動で調整する項目を選択すると、図４Ｃにおいて、コントローラ２０５は、ステップＳ２２１にて、操作内容に対応する指示情報ＮＮ２を生成し、画像処理部２１１へ出力する。画像処理部２１１は、ステップＳ２２２にて、指示情報ＮＮ２に基づいて、処理を自動調整モードへ移行させ、画像処理部２１１またはサーバ２０６に保存されている補正値ＣＶ２を取得する。 When the user US selects an item for automatically adjusting the captured image IM2 in step S205, the controller 205 generates instruction information NN2 corresponding to the operation content in step S221 in FIG. 4C, and sends the image processing unit 211 to the image processing unit 211. Output. In step S222, the image processing unit 211 shifts the processing to the automatic adjustment mode based on the instruction information NN2, and acquires the correction value CV2 stored in the image processing unit 211 or the server 206.
画像処理部２１１は、ステップＳ２２３にて、補正値ＣＶ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させる。例えば、画像処理部２１１は、補正値ＣＶ２に基づいて、撮影画像ＩＭ２が水平になるように撮影画像ＩＭ２を移動させる。これにより、画像調整装置２１０は、撮影画像ＩＭ２が水平になるように撮影画像ＩＭ２を調整することができる。 In step S223, the image processing unit 211 moves the captured image IM2 displayed on the image display device 204 based on the correction value CV2. For example, the image processing unit 211 moves the captured image IM2 so that the captured image IM2 is horizontal based on the correction value CV2. As a result, the image adjusting device 210 can adjust the captured image IM2 so that the captured image IM2 is horizontal.
ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を手動で調整する項目を選択し、かつ、画像表示装置２０４に右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２が表示されている場合、画像処理部２１１は、ステップＳ２１２にて、調整項目を選択するための設定画面を表示させる。設定画面には、例えば、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向（垂直方向）のずれを補正するための上下補正の項目、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差を補正するための視差補正の項目、及び、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との傾きのずれを補正するための傾き補正の項目が調整項目として表示される。 When the user US selects the item for manually adjusting the captured image IM2 in step S205 and the right-eye image IMR2 and the left-eye image IML2 are displayed on the image display device 204, the image processing unit 211 sets the step. In S212, the setting screen for selecting the adjustment item is displayed. On the setting screen, for example, a vertical correction item for correcting a vertical (vertical) deviation between the right-eye image IMR2 and the left-eye image IML2, and a misalignment between the right-eye image IMR2 and the left-eye image IML2 are corrected. The item of the disparity correction for correcting the deviation and the item of the inclination correction for correcting the deviation of the inclination between the image IMR2 for the right eye and the image IML2 for the left eye are displayed as adjustment items.
使用者ＵＳが設定画面に表示されている上下補正、視差補正、及び傾き補正の項目のうちのいずれかの項目を選択した場合、コントローラ２０５は、ステップＳ２１３にて、選択された項目を含む指示情報ＮＮ２を画像処理部２１１へ出力する。画像処理部２１１は、指示情報ＮＮ２に基づいて、選択された項目に対応する処理モードへ処理を移行させる。 When the user US selects any of the vertical correction, parallax correction, and tilt correction items displayed on the setting screen, the controller 205 instructs in step S213 to include the selected item. The information NN2 is output to the image processing unit 211. The image processing unit 211 shifts the processing to the processing mode corresponding to the selected item based on the instruction information NN2.
ステップＳ２１２において上下補正の項目が選択された場合、画像処理部２１１は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向のずれを補正するための処理モード（上下補正モード）へ処理を移行させる。ステップＳ２１２において視差補正の項目が選択された場合、画像処理部２１１は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差を補正するための処理モード（視差補正モード）へ処理を移行させる。ステップＳ２１２において傾き補正の項目が選択された場合、画像処理部２１１は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との傾きのずれを補正するための処理モード（傾き補正モード）へ処理を移行させる。 When the vertical correction item is selected in step S212, the image processing unit 211 shifts the processing to the processing mode (vertical correction mode) for correcting the vertical deviation between the right-eye image IMR2 and the left-eye image IML2. Let me. When the parallax correction item is selected in step S212, the image processing unit 211 shifts the processing to a processing mode (parallax correction mode) for correcting the parallax between the right-eye image IMR2 and the left-eye image IML2. When the tilt correction item is selected in step S212, the image processing unit 211 shifts the processing to the processing mode (tilt correction mode) for correcting the tilt deviation between the right-eye image IMR2 and the left-eye image IML2. ..
画像処理部２１１は、補正する画像が右目用画像ＩＭＲ２か左目用画像ＩＭＬ２かを選択するための項目を画像表示装置２０４に表示させる。使用者ＵＳが右目用画像ＩＭＲ２を選択した場合、コントローラ２０５は、右目用画像ＩＭＲ２が選択されたことを示す指示情報ＮＮ２を画像処理部２１１へ出力する。画像処理部２１１は、指示情報ＮＮ２に基づいて、右目用画像ＩＭＲ２を補正するための処理モード（右目用補正モード）へ処理を移行させる。 The image processing unit 211 causes the image display device 204 to display an item for selecting whether the image to be corrected is the right-eye image IMR2 or the left-eye image IML2. When the user US selects the right-eye image IMR2, the controller 205 outputs instruction information NN2 indicating that the right-eye image IMR2 has been selected to the image processing unit 211. The image processing unit 211 shifts the processing to the processing mode for correcting the right-eye image IMR2 (right-eye correction mode) based on the instruction information NN2.
使用者ＵＳが左目用画像ＩＭＬ２を選択した場合、コントローラ２０５は、左目用画像ＩＭＬ２が選択されたことを示す指示情報ＮＮ２を画像処理部２１１へ出力する。画像処理部２１１は、指示情報ＮＮ２に基づいて、左目用画像ＩＭＬ２を補正するための処理モード（左目用補正モード）へ処理を移行させる。 When the user US selects the left-eye image IML2, the controller 205 outputs instruction information NN2 indicating that the left-eye image IML2 has been selected to the image processing unit 211. The image processing unit 211 shifts the processing to the processing mode for correcting the left-eye image IML2 (left-eye correction mode) based on the instruction information NN2.
画像処理部２１１は、ステップＳ２１４にて、指示情報ＮＮ２に基づいて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。画像表示装置２０４には、撮影画像ＩＭ２と球面状画像ＶＳＳ２とが混合して表示される。 In step S214, the image processing unit 211 acquires the spherical image VSS2 from the image generation unit 212 based on the instruction information NN2 and displays it on the image display device 204. The captured image IM2 and the spherical image VSS2 are mixed and displayed on the image display device 204.
使用者ＵＳは、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向または傾きのずれがなくなるように、または、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差が目的の視差となるように、球面状画像ＶＳＳ２を回転させる。画像処理部２１１は、ステップＳ２１５にて、球面状画像ＶＳＳ２の回転に対応させて、画像表示装置２０４に表示されている選択された右目用画像ＩＭＲ２または左目用画像ＩＭＬ２を移動させる。使用者ＵＳは球面状画像ＶＳＳ２を回転させる動作を複数回行ってもよい。 The user US makes sure that there is no vertical or tilt deviation between the right-eye image IMR2 and the left-eye image IML2, or that the parallax between the right-eye image IMR2 and the left-eye image IML2 is the desired parallax. The spherical image VSS2 is rotated. In step S215, the image processing unit 211 moves the selected right-eye image IMR2 or left-eye image IML2 displayed on the image display device 204 in correspondence with the rotation of the spherical image VSS2. The user US may perform the operation of rotating the spherical image VSS2 a plurality of times.
ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を自動で調整する項目を選択し、かつ、画像表示装置２０４に右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２が表示されている場合、画像処理部２１１は、ステップＳ２２２にて、画像処理部２１１またはサーバ２０６に保存されている補正値ＣＶ２を読み出す。 When the user US selects an item for automatically adjusting the captured image IM2 in step S205 and the right-eye image IMR2 and the left-eye image IML2 are displayed on the image display device 204, the image processing unit 211 sets the step. In S222, the correction value CV2 stored in the image processing unit 211 or the server 206 is read out.
画像処理部２１１は、ステップＳ２２３にて、補正値ＣＶ２に基づいて、画像表示装置２０４に表示されている右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２のうち、補正値ＣＶ２に対応する画像ＩＭＲ２またはＩＭＬ２を移動させる。これにより、画像調整装置２１０は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれがなくなるように、または、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差が目的の視差となるように、撮影画像ＩＭ２を調整することができる。 In step S223, the image processing unit 211 selects the image IMR2 or IML2 corresponding to the correction value CV2 among the image IMR2 for the right eye and the image IML2 for the left eye displayed on the image display device 204 based on the correction value CV2. Move. As a result, the image adjusting device 210 takes a picture so that there is no deviation between the right eye image IMR2 and the left eye image IML2, or the parallax between the right eye image IMR2 and the left eye image IML2 becomes the desired parallax. The image IM2 can be adjusted.
撮影画像ＩＭ２が水平になるように調整されると、または、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれ、または視差が補正されると、画像調整装置２１０は、処理をステップＳ２０３へ戻す。 When the captured image IM2 is adjusted to be horizontal, or when the deviation between the right-eye image IMR2 and the left-eye image IML2 or the parallax is corrected, the image adjusting device 210 returns the process to step S203.
ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を手動で調整するか自動で調整するかを選択しなかった場合、即ちステップＳ２１１及びＳ２２１で指示情報ＮＮ２が出力されなかった場合、画像処理部２１１は、処理を自動調整モードのステップＳ２２２へ移行させてもよい。画像処理部２１１またはサーバ２０６に補正値ＣＶ２が保存されていない場合、画像処理部２１１は、処理をステップＳ２０４からステップＳ２１２へ移行させてもよい。 If the user US does not select whether to manually adjust or automatically adjust the captured image IM2 in step S205, that is, if the instruction information NN2 is not output in steps S211 and S221, the image processing unit 211 will perform the image processing unit 211. The process may be shifted to step S222 of the automatic adjustment mode. When the correction value CV2 is not stored in the image processing unit 211 or the server 206, the image processing unit 211 may shift the processing from step S204 to step S212.
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、撮影画像ＩＭ２が手振れ補正されている状態において、カメラ２０２の進行方向が変更されたか否かを判定し、進行方向が変更されたと判定された場合、カメラ２０２の進行方向が変更された方向を示す画像（例えば矢印画像ＡＲ）を表示する。これにより、カメラ２０２の進行方向の変更に応じて使用者ＵＳが向いている方向を速やかに変更させることができる。 In the image adjustment system 201, the image adjustment device 210, and the image adjustment method of the second embodiment, it is determined whether or not the traveling direction of the camera 202 has been changed while the captured image IM2 has been image-stabilized, and the traveling direction is determined. When it is determined that the camera 202 has been changed, an image (for example, an arrow image AR) indicating the direction in which the traveling direction of the camera 202 has been changed is displayed. As a result, the direction in which the user US is facing can be quickly changed according to the change in the traveling direction of the camera 202.
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、撮影画像ＩＭ２が手振れ補正されている状態において、カメラ２０２の進行方向が変更されたと判定された場合に、撮影画像ＩＭ２を、カメラ２０２の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させる。これにより、画像表示装置２０４に表示されている画像を、カメラ２０２の進行方向が変更された方向に対応させて速やかに変更させることができる。 In the image adjustment system 201, the image adjustment device 210, and the image adjustment method of the second embodiment, when it is determined that the traveling direction of the camera 202 has been changed while the captured image IM2 has been image-stabilized, the captured image is captured. The IM2 is moved in the direction opposite to the direction in which the traveling direction of the camera 202 is changed by the changed angle. As a result, the image displayed on the image display device 204 can be quickly changed in correspondence with the direction in which the traveling direction of the camera 202 is changed.
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、カメラ２０２が倒れたり、激しく動いたりして手振れ補正が追従できなくなった場合、即ち、手振れ補正の設定時の条件が維持できなくなった場合、画像調整装置２１０は、撮影画像ＩＭ２（右目用画像ＩＭＲ２または左目用画像ＩＭＬ２）を調整するか否か、またはどのように調整するかを使用者ＵＳに確認する。画像調整装置２１０は、使用者ＵＳの指示に対応させて撮影画像ＩＭ２を調整する。 In the image adjustment system 201, the image adjustment device 210, and the image adjustment method of the second embodiment, when the camera 202 falls down or moves violently and the camera shake correction cannot follow, that is, the condition when the camera shake correction is set. When the image cannot be maintained, the image adjusting device 210 asks the user US whether or not to adjust the captured image IM2 (right-eye image IMR2 or left-eye image IML2) or how to adjust it. The image adjusting device 210 adjusts the captured image IM2 in accordance with the instruction of the user US.
これにより、画像調整システム２０１は、撮影画像ＩＭ２が水平になるように調整され、かつ、手振れ補正されている状態の撮影画像ＩＭ２を画像表示装置２０４に表示することができる。また、画像調整システム２０１は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれ、または視差が補正され、かつ、手振れ補正されている状態の撮影画像ＩＭ２を画像表示装置２０４に表示することができる。 As a result, the image adjustment system 201 can display the captured image IM2 in a state where the captured image IM2 is adjusted to be horizontal and the camera shake is corrected on the image display device 204. Further, the image adjustment system 201 can display the captured image IM2 in a state where the deviation or parallax between the right-eye image IMR2 and the left-eye image IML2 is corrected and the camera shake is corrected on the image display device 204. ..
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
第１及び第２実施形態では、画像調整装置１１０及び２１０が手振れ補正機能を有する構成について説明したが、カメラ１０２及び２０２、姿勢制御装置１２０及び２２０、またはサーバ１０６及び２０６が、手振れ補正機能を有していてもよい。 In the first and second embodiments, the configuration in which the image adjusting devices 110 and 210 have the camera shake correction function has been described, but the cameras 102 and 202, the attitude control devices 120 and 220, or the servers 106 and 206 provide the camera shake correction function. You may have.
サーバ１０６及び２０６が手振れ補正機能を有する場合、サーバ１０６及び２０６は、ステップＳ１０３及びＳ２０３にて、カメラ１０２及び２０２から取得した撮影画像ＩＭ１及びＩＭ２を手振れ補正する。この場合、サーバ１０６がステップＳ１０４及びＳ１０５の処理を実行してもよいし、サーバ２０６がステップＳ２０４の処理を実行し、ステップＳ２０４における判定結果を画像調整装置２１０へ出力してもよい。 When the servers 106 and 206 have the image stabilization function, the servers 106 and 206 perform image stabilization for the captured images IM1 and IM2 acquired from the cameras 102 and 202 in steps S103 and S203. In this case, the server 106 may execute the processes of steps S104 and S105, or the server 206 may execute the processes of step S204 and output the determination result in step S204 to the image adjusting device 210.
例えば、ＣＧにより生成される仮想画像ＶＳＳは、楕円体の表面（楕円面）であってもよく、さらには使用者ＵＳの手の届く範囲であれば、任意の閉じた面（閉曲面）であればよい。即ち、使用者ＵＳが内側からその閉曲面に接触するような感覚を得て、撮影画像ＩＭの水平調整ができればよい。使用者ＵＳが仮想画像ＶＳＳを回転動作させることから、仮想画像ＶＳＳは球面または楕円面等の球面に近い球面状の形状であることが望ましい。 For example, the virtual image VSS generated by CG may be an ellipsoidal surface (elliptical surface), and may be an arbitrary closed surface (closed curved surface) within the reach of the user US. All you need is. That is, it suffices if the photographed image IM can be horizontally adjusted with the feeling that the user US touches the closed curved surface from the inside. Since the user US rotates the virtual image VSS, it is desirable that the virtual image VSS has a spherical shape close to a spherical surface such as a spherical surface or an ellipsoidal surface.
１０１，２０１ 画像調整システム
１０２，２０２ カメラ
１０４，２０４ 画像表示装置
１０５，２０５ コントローラ
１１０，２１０ 画像調整装置
１１１，２１１ 画像処理部
１１２，２１２ 画像生成部
１２０，２２０ 姿勢制御装置
ＩＭ１，ＩＭ２ 撮影画像
ＩＭＬ１，ＩＭＬ２ 左目用画像
ＩＭＲ１，ＩＭＲ２ 右目用画像
ＮＮ１，ＮＮ２ 指示情報
ＶＳＳ１，ＶＳＳ２ 球面状画像（仮想画像）
101,201 Image adjustment system 102,202 Camera 104,204 Image display device 105,205 Controller 110,210 Image adjustment device 111,211 Image processing unit 112,212 Image generator 120,220 Posture control device IM1, IM2 Captured image IML1 , IML2 Left eye image IMR1, IMR2 Right eye image NN1, NN2 Instruction information VSS1, VSS2 Spherical image (virtual image)
Claims (8)
前記カメラが撮影した撮影画像を調整する画像調整装置と、
前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、
前記画像調整装置へ指示情報を出力するコントローラと、
を備え、
前記画像調整装置は、
球面状画像を生成する画像生成部と、
前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部と、
を有する画像調整システム。 With the camera
An image adjustment device that adjusts the captured image taken by the camera, and
An image display device that displays the captured image adjusted by the image adjustment device, and
A controller that outputs instruction information to the image adjustment device,
With
The image adjusting device is
An image generator that generates a spherical image and
The spherical image is acquired from the image generation unit based on the instruction information and displayed on the image display device, and the spherical image is rotated based on the instruction information to correspond to the rotation of the spherical image. The photographed image displayed on the image display device is adjusted, the adjusted photographed image is corrected for camera shake, and it is determined whether or not the photographed image corrected for camera shake is changed to a predetermined angle or more. When it is determined that the captured image has been changed to a predetermined angle or more, the image processing unit that determines that the traveling direction of the camera has been changed, and the image processing unit.
Image adjustment system with.
前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である、
請求項１に記載の画像調整システム。 The camera is an omnidirectional camera that captures a 360-degree range.
The image display device is a head-mounted display mounted on the user's head.
The controller is a glove-type controller that is worn on the user's hand.
When the user sees the spherical image displayed on the image display device while the image display device is attached to the head of the user, the spherical image is used. It is a virtual image that is arranged around a person and the image display device and is set so that the user's hand or finger is displayed within a range that can reach the spherical image.
The image adjustment system according to claim 1.
請求項２に記載の画像調整システム。 When the user moves his / her hand or finger in an arbitrary direction while the controller is attached to the user's hand, the image processing unit uses the instruction information of the user. The spherical image is rotated in response to the movement of the hand or finger, and the captured image displayed on the image display device is adjusted in response to the rotation of the spherical image.
The image adjustment system according to claim 2.
請求項３に記載の画像調整システム。 The image processing unit acquires the amount of change between before and after the spherical image is rotated, and adjusts the captured image based on the amount of change.
The image adjustment system according to claim 3.
請求項１〜４のうちのいずれか１項に記載の画像調整システム。 The image processing unit displays an image indicating the direction in which the traveling direction of the camera is changed on the image display device.
The image adjustment system according to any one of claims 1 to 4.
請求項１〜４のうちのいずれか１項に記載の画像調整システム。 The image processing unit moves the captured image displayed on the image display device in a direction opposite to the direction in which the traveling direction of the camera is changed.
The image adjustment system according to any one of claims 1 to 4.
コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を前記球面状画像の回転に対応させて調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部と、
を備える画像調整装置。 An image generator that generates a spherical image and
The spherical image is acquired from the image generation unit based on the instruction information acquired from the controller and displayed on the image display device, the spherical image is rotated based on the instruction information, and the image is taken by a camera. Whether the captured image displayed on the display device is adjusted in correspondence with the rotation of the spherical image, the adjusted captured image is shake-corrected, and the camera shake-corrected captured image is changed to a predetermined angle or more. An image processing unit that determines whether or not the captured image has been changed to a predetermined angle or more, and determines that the traveling direction of the camera has been changed.
An image adjustment device comprising.
前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、
画像表示装置が前記球面状画像を表示し、
前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、
前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
前記画像処理部が調整された前記撮影画像を手振れ補正し、
前記画像処理部が手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、
前記撮影画像が所定の角度以上に変更されたと判定された場合、前記画像処理部が前記カメラの進行方向が変更されたと判定する、
画像調整方法。 The image processing unit acquires the instruction information from the controller and
The image processing unit acquires a spherical image from the image generation unit based on the instruction information, and obtains a spherical image.
The image display device displays the spherical image,
The image processing unit rotates the spherical image based on the instruction information, and the spherical image is rotated.
The image processing unit adjusts the captured image captured by the camera and displayed on the image display device in accordance with the rotation of the spherical image.
The captured image adjusted by the image processing unit is image-stabilized.
The image processing unit determines whether or not the captured image corrected for camera shake has been changed to a predetermined angle or more.
When it is determined that the captured image has been changed to a predetermined angle or more, the image processing unit determines that the traveling direction of the camera has been changed.
Image adjustment method.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019025464A JP7167760B2 (en) | 2019-02-15 | 2019-02-15 | image adjustment system |
| PCT/JP2020/005239 WO2020166582A1 (en) | 2019-02-15 | 2020-02-12 | Image adjustment system, image adjustment device, and image adjustment method |
| US17/363,614 US11703948B2 (en) | 2019-02-15 | 2021-06-30 | Image adjustment system, image adjustment device, and image adjustment method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019025464A JP7167760B2 (en) | 2019-02-15 | 2019-02-15 | image adjustment system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020134620A true JP2020134620A (en) | 2020-08-31 |
| JP7167760B2 JP7167760B2 (en) | 2022-11-09 |
Family
ID=72278455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019025464A Active JP7167760B2 (en) | 2019-02-15 | 2019-02-15 | image adjustment system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7167760B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005319316A (en) * | 2000-07-05 | 2005-11-17 | Matsushita Electric Ind Co Ltd | Measuring electrode section implanted in olfactory bulb of laboratory animal |
| JP2007116538A (en) * | 2005-10-21 | 2007-05-10 | Canon Inc | Image display program, picture display apparatus and method |
| US20090153477A1 (en) * | 2007-12-12 | 2009-06-18 | Saenz Valentin L | Computer mouse glove |
| JP2013171083A (en) * | 2012-02-17 | 2013-09-02 | Kddi Corp | Information terminal device |
| JP2015194643A (en) * | 2014-03-31 | 2015-11-05 | 株式会社Ｊｖｃケンウッド | Video display device, video display method, and video display program |
| JP2017215875A (en) * | 2016-06-01 | 2017-12-07 | 株式会社ソニー・インタラクティブエンタテインメント | Image generation device, image generation system, and image generation method |
| JP2018036720A (en) * | 2016-08-29 | 2018-03-08 | 株式会社タカラトミー | Virtual space observation system, method and program |
-
2019
- 2019-02-15 JP JP2019025464A patent/JP7167760B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005319316A (en) * | 2000-07-05 | 2005-11-17 | Matsushita Electric Ind Co Ltd | Measuring electrode section implanted in olfactory bulb of laboratory animal |
| JP2007116538A (en) * | 2005-10-21 | 2007-05-10 | Canon Inc | Image display program, picture display apparatus and method |
| US20090153477A1 (en) * | 2007-12-12 | 2009-06-18 | Saenz Valentin L | Computer mouse glove |
| JP2013171083A (en) * | 2012-02-17 | 2013-09-02 | Kddi Corp | Information terminal device |
| JP2015194643A (en) * | 2014-03-31 | 2015-11-05 | 株式会社Ｊｖｃケンウッド | Video display device, video display method, and video display program |
| JP2017215875A (en) * | 2016-06-01 | 2017-12-07 | 株式会社ソニー・インタラクティブエンタテインメント | Image generation device, image generation system, and image generation method |
| JP2018036720A (en) * | 2016-08-29 | 2018-03-08 | 株式会社タカラトミー | Virtual space observation system, method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7167760B2 (en) | 2022-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3379525B1 (en) | Image processing device and image generation method | |
| US11184597B2 (en) | Information processing device, image generation method, and head-mounted display | |
| US11647292B2 (en) | Image adjustment system, image adjustment device, and image adjustment | |
| JP6002286B1 (en) | Head mounted display control method and head mounted display control program | |
| JP6899875B2 (en) | Information processing device, video display system, information processing device control method, and program | |
| JPWO2015122052A1 (en) | Image transmission device, information processing terminal, image transmission method, information processing method, program, and information storage medium | |
| TWI810233B (en) | Apparatus and method for generating view images | |
| WO2020166582A1 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JPH1074269A (en) | Stereoscopic cg moving image generator | |
| KR20160146012A (en) | Stereographic recording device having IOD controller and the method for controlling the depth sterographic image using the device | |
| JP7167760B2 (en) | image adjustment system | |
| WO2020166491A1 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP7247636B2 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| CN104823441B (en) | For showing the client terminal device of the camera review of controllable video camera, method and monitoring system with the client terminal device | |
| JP2018147504A (en) | Display control method and program for causing computer to execute the display control method | |
| JP7088068B2 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020134632A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP7127569B2 (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020136799A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020134617A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020134616A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020136802A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020136798A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP2020134615A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP7419424B2 (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221010 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7167760 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |