JP2015230625A - Image display device - Google Patents

Image display device Download PDF

Info

Publication number
JP2015230625A
JP2015230625A JP2014117119A JP2014117119A JP2015230625A JP 2015230625 A JP2015230625 A JP 2015230625A JP 2014117119 A JP2014117119 A JP 2014117119A JP 2014117119 A JP2014117119 A JP 2014117119A JP 2015230625 A JP2015230625 A JP 2015230625A
Authority
JP
Japan
Prior art keywords
display
image
center
omnidirectional image
guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014117119A
Other languages
Japanese (ja)
Inventor
めい 齋藤
Mei Saito
めい 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014117119A priority Critical patent/JP2015230625A/en
Publication of JP2015230625A publication Critical patent/JP2015230625A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve the problem in which: when there is less or no object of interest to be a reference of spatial recognition in a full 360-degree spherical image, a user has difficulty grasping a spatial image of a full spherical image.SOLUTION: An image display device includes: display means for displaying a full 360-degree spherical image; display control means for controlling display of the full 360-degree spherical image so that the display center of the full 360-degree spherical image is changed according to the input of an operation by a user; and acquisition means for acquiring the position of the display center of the full 360-degree spherical image. The acquisition means acquires the positions of the display center before and after the change of the display center, and the display means displays a guide to show a relative relationship between the positions of the display center before and after the change of the display center.

Description

本発明は、画像表示装置に関し、特に全天球画像を表示する画像表示装置に関するものである。   The present invention relates to an image display device, and more particularly to an image display device that displays an omnidirectional image.

従来から、複数の広角レンズを用いて撮像した広角画像を合成することで全天球画像を取得する技術がある（特許文献１を参照）。   Conventionally, there is a technique for acquiring an omnidirectional image by synthesizing wide-angle images captured using a plurality of wide-angle lenses (see Patent Document 1).

また、全天球画像を表示する際に、全天球画像に含まれる物体の位置関係を分かりやすく表示する技術が特許文献２によって開示されている。   Patent Document 2 discloses a technique for displaying the positional relationship of objects included in the omnidirectional image in an easy-to-understand manner when displaying the omnidirectional image.

特許文献２では、全球面画像に含まれる注目物体を抽出し、注目物体の全球面画像の中心からの距離に基づいて全球面画像と交わる方向に注目物体を立ちあげて配置し、３次元的に表示することで注目物体の位置関係を分かりやすくする。   In Patent Document 2, an object of interest included in an entire spherical image is extracted, and the object of interest is raised and arranged in a direction intersecting the entire spherical image based on the distance from the center of the entire spherical image of the object of interest. By displaying on the screen, it is easy to understand the positional relationship of the target object.

特開２０１３−４５０８９号公報JP2013-45089A 特開２０１１−５９８５４号公報JP 2011-59854 A

しかしながら、特許文献２で開示された従来技術では、全天球画像に空間認識の基準となる注目物体が少ない、または存在しないような場合においては、ユーザーは全球面画像の空間的なイメージを把握しにくいという問題がある。   However, in the conventional technique disclosed in Patent Document 2, when there are few or no objects of interest that serve as a reference for spatial recognition in the omnidirectional image, the user grasps the spatial image of the spherical image. There is a problem that it is difficult to do.

そこで、本発明の目的は、ユーザーが全天球画像の空間的なイメージを容易に把握できるように全天球画像を表示する表示装置を提供することである。   Accordingly, an object of the present invention is to provide a display device that displays an omnidirectional image so that a user can easily grasp a spatial image of the omnidirectional image.

本発明の１実施態様によれば、全天球画像を表示する表示手段と、前記全天球画像の表示中心が使用者の操作入力に応じて変更されるように、前記全天球画像の表示を制御する表示制御手段と、前記全天球画像の表示中心の位置を取得する取得手段と、を備え、前記取得手段は、前記表示中心が変更される前後の表示中心の位置を取得し、前記表示手段は、前記表示中心が変更される前後の表示中心の相対的な位置関係を示すガイドを表示する。   According to one embodiment of the present invention, the omnidirectional image of the omnidirectional image is displayed such that the display means for displaying the omnidirectional image and the display center of the omnidirectional image are changed according to the operation input of the user. Display control means for controlling display, and acquisition means for acquiring the position of the display center of the omnidirectional image, wherein the acquisition means acquires the position of the display center before and after the display center is changed. The display means displays a guide showing the relative positional relationship between the display centers before and after the display center is changed.

本発明によれば、ユーザーが全天球画像の空間的なイメージを容易に把握できるようにすることができる。   According to the present invention, the user can easily grasp the spatial image of the omnidirectional image.

画像表示装置１００の構成を説明するブロック図である。2 is a block diagram illustrating a configuration of an image display device 100. FIG. 第１の実施形態におけるガイド画像を説明する図である。It is a figure explaining the guide image in 1st Embodiment. 第１の実施形態におけるガイド画像を表示するためのフロー図である。It is a flowchart for displaying the guide image in 1st Embodiment. 第２の実施形態におけるガイド画像を説明する図である。It is a figure explaining the guide image in 2nd Embodiment. 第２の実施形態におけるガイド画像を表示するためのフロー図である。It is a flowchart for displaying the guide image in 2nd Embodiment. 第３の実施形態におけるガイド画像を説明する図である。It is a figure explaining the guide image in 3rd Embodiment. 第３の実施形態におけるガイド画像を表示するためのフロー図である。It is a flowchart for displaying the guide image in 3rd Embodiment. 第４の実施形態におけるガイド画像を説明する図である。It is a figure explaining the guide image in 4th Embodiment. 第４の実施形態におけるガイド画像を表示するためのフロー図である。It is a flowchart for displaying the guide image in 4th Embodiment.

以下、図面を参照して、本発明の実施形態を詳細に説明する。本発明の実施形態にかかる画像処理装置は、全天球画像を撮影可能なカメラなどの撮影装置から取得した全天球画像を表示する画像表示装置である。なお、画像表示装置は、撮影装置に内蔵される表示装置であってもよく、撮影装置とは別の独立した表示装置であってもよい。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. An image processing apparatus according to an embodiment of the present invention is an image display apparatus that displays an omnidirectional image acquired from an imaging apparatus such as a camera capable of imaging an omnidirectional image. Note that the image display device may be a display device built in the photographing device or may be an independent display device different from the photographing device.

（第１の実施形態）
本発明の第１の実施形態にかかる画像表示装置を、図１から図３を用いて説明する。 (First embodiment)
An image display apparatus according to a first embodiment of the present invention will be described with reference to FIGS.

図１は、画像表示装置の構成を説明するためのブロック図である。図１を用いて、画像表示装置１００の構成について説明する。   FIG. 1 is a block diagram for explaining the configuration of the image display apparatus. The configuration of the image display device 100 will be described with reference to FIG.

１０１は、全天球画像を撮像する撮像装置である。なお、撮像装置１０１に代えて、全天球画像を記録した記憶装置でもよい。１０２は、ユーザーによる操作入力を受け付ける操作入力部である。１０３は、全天球画像の表示領域の位置情報を取得する座標取得部である。１０４は、全天球画像の表示領域を制御する全天球画像表示制御部である。   Reference numeral 101 denotes an imaging device that captures an omnidirectional image. In addition, it may replace with the imaging device 101 and the memory | storage device which recorded the omnidirectional image may be sufficient. Reference numeral 102 denotes an operation input unit that receives an operation input by a user. Reference numeral 103 denotes a coordinate acquisition unit that acquires position information of the display area of the omnidirectional image. Reference numeral 104 denotes an omnidirectional image display control unit that controls the display area of the omnidirectional image.

１０５は、全天球画像の表示領域を示すガイド画像の表示を制御するガイド画像表示制御部である。なお、全天球画像表示制御部１０４とガイド画像表示制御部１０５を１つの画像表示制御部としても構成してもよい。１０６は、全天球画像とガイド画像を表示する表示部である。なお、表示部１０６は、全天球画像を表示する表示部とガイド画像を表示する表示部とが、別個独立した表示部であってもよい。   Reference numeral 105 denotes a guide image display control unit that controls display of a guide image indicating the display area of the omnidirectional image. The omnidirectional image display control unit 104 and the guide image display control unit 105 may be configured as one image display control unit. A display unit 106 displays an omnidirectional image and a guide image. The display unit 106 may be a display unit in which the display unit that displays the omnidirectional image and the display unit that displays the guide image are independent and independent.

次に、画像表示装置１００における全天球画像の表示処理について説明する。   Next, the omnidirectional image display processing in the image display apparatus 100 will be described.

撮像装置１０１から画像表示装置１０１への全天球画像のデータ送信は、たとえばＷｉ−Ｆｉなどの無線通信で実行される。   Data transmission of the omnidirectional image from the imaging device 101 to the image display device 101 is executed by wireless communication such as Wi-Fi, for example.

操作入力部１０２は、例えばタッチパネル式のパネルインターフェースであり、ユーザーの指による操作入力を受け付ける。表示部１０６がタッチパネル式のディスプレイである場合には、表示部１０６が操作入力部としての機能も兼ねることができる。   The operation input unit 102 is a touch panel type panel interface, for example, and receives an operation input by a user's finger. When the display unit 106 is a touch panel display, the display unit 106 can also function as an operation input unit.

座標取得部１０３は、操作入力部１０２からの操作入力に応じて、全天球画像の表示領域を示す代表的な位置情報を取得する。本実施形態では、表示部１０６に表示される全天球画像の表示中心の位置情報として、表示中心の座標を取得する。また、座標取得部１０３は、ユーザーの操作入力によって全天球画像の表示中心が変更された前後における、それぞれの表示中心の座標を取得する。または、全天球画像の表示中心の座標を所定の時間間隔で逐次的に取得する構成にしてもよい。   The coordinate acquisition unit 103 acquires typical position information indicating the display area of the omnidirectional image in response to an operation input from the operation input unit 102. In the present embodiment, the coordinates of the display center are acquired as the position information of the display center of the omnidirectional image displayed on the display unit 106. In addition, the coordinate acquisition unit 103 acquires the coordinates of each display center before and after the display center of the omnidirectional image is changed by a user operation input. Alternatively, the coordinates of the display center of the omnidirectional image may be sequentially acquired at a predetermined time interval.

全天球画像表示制御部１０４は、操作入力部１０２のユーザーの操作入力に応じて、全天球画像の表示領域の制御を行う。ガイド画像表示制御部１０５は、座標取得部１０３で取得した全天球画像の表示中心の座標に応じて、ガイド画像の表示制御を行う。表示部１０６は、全天球画像表示制御部１０４で制御した全天球画像と、ガイド画像表示制御部１０５で制御したガイド画像を表示する。ガイド画像の表示については、後述する。   The omnidirectional image display control unit 104 controls the display area of the omnidirectional image in accordance with a user operation input of the operation input unit 102. The guide image display control unit 105 performs display control of the guide image according to the coordinates of the display center of the omnidirectional image acquired by the coordinate acquisition unit 103. The display unit 106 displays the omnidirectional image controlled by the omnidirectional image display control unit 104 and the guide image controlled by the guide image display control unit 105. The display of the guide image will be described later.

次に、図２を参照して、本実施形態における全天球画像とガイド画像の表示例を示す。ガイド画像は、全天球画像の表示領域の代表位置である表示中心を、全天球画像の全体を示す球体フレームに表示する。   Next, with reference to FIG. 2, a display example of an omnidirectional image and a guide image in the present embodiment will be shown. The guide image displays the display center, which is the representative position of the display area of the omnidirectional image, on a spherical frame that shows the entire omnidirectional image.

２０１は、全天球画像の表示領域を変更する前のパネルインターフェースであり、ユーザーが全天球画像の表示領域を指で自由に操作することによって変更することができる。２０２は、全天球画像の表示領域を変更する前の全球面画像の表示中心である。   Reference numeral 201 denotes a panel interface before changing the display area of the omnidirectional image, which can be changed by the user freely operating the display area of the omnidirectional image with a finger. Reference numeral 202 denotes the display center of the spherical image before changing the display area of the spherical image.

２０３は、全天球画像の表示領域を変更する前のガイド画面である。２０４は、全天球画像の表示領域の表示中心を示すための球体フレームである。２０５は、球体上において表示中心２０２に対応する位置を示すＳＴＡＲＴ位置である。   Reference numeral 203 denotes a guide screen before the display area of the omnidirectional image is changed. Reference numeral 204 denotes a spherical frame for indicating the display center of the display area of the omnidirectional image. Reference numeral 205 denotes a START position indicating a position corresponding to the display center 202 on the sphere.

２０６は、全天球画像の表示領域を１回目に変更した際のパネルインターフェースである。２０７は、全天球画像の表示領域を１回目に変更した後の全天球画像の表示中心である。   Reference numeral 206 denotes a panel interface when the display area of the omnidirectional image is changed for the first time. Reference numeral 207 denotes the display center of the omnidirectional image after changing the display area of the omnidirectional image for the first time.

２０８は、全天球画像の表示領域を１回目に変更した後のガイド画面である。２０９は、球体上において表示中心２０７に対応する位置を示すＣＵＲＲＥＮＴ位置である。２１０は、ＳＴＡＲＴ位置２０５からＣＵＲＲＥＮＴ位置２０９の軌跡を示す矢印である。   Reference numeral 208 denotes a guide screen after the first celestial sphere image display area is changed. Reference numeral 209 denotes a CURRENT position indicating a position corresponding to the display center 207 on the sphere. Reference numeral 210 denotes an arrow indicating the locus from the START position 205 to the CURRENT position 209.

２１１は、全天球画像の表示領域を２回目に変更した際のパネルインターフェースである。２１２は、全天球画像の表示領域を２回目に変更した後の全天球画像の表示中心である。   Reference numeral 211 denotes a panel interface when the display area of the omnidirectional image is changed for the second time. Reference numeral 212 denotes the display center of the omnidirectional image after changing the display area of the omnidirectional image for the second time.

２１３は、全天球画像の表示領域を２回目に変更した後のガイド画面である。２１４は、球体上において表示中心２１２に対応する位置を示すＣＵＲＲＥＮＴ位置である。２１５は、ＳＴＡＲＴ位置２０５からＣＵＲＲＥＮＴ位置２１４の軌跡を示す矢印である。   Reference numeral 213 denotes a guide screen after the omnidirectional image display area is changed for the second time. Reference numeral 214 denotes a CURRENT position indicating a position corresponding to the display center 212 on the sphere. Reference numeral 215 denotes an arrow indicating the locus from the START position 205 to the CURRENT position 214.

全天球画像の表示領域を変更する前の状態をパネルインターフェース２０１とする。その際、ガイド画面２０３では、表示領域を変更する前の表示中心２０２に対応するＳＴＡＲＴ位置２０５が球体フレーム２０４に表示される。ユーザーの操作入力を受けて、全天球画像の表示領域を、パネルインターフェース２０１からパネルインターフェース２０６のように変更すると、表示領域の変更によって表示中心２０２が移動して変更された結果となる表示中心２０７の座標を座標取得部１０３が取得する。   A state before changing the display area of the omnidirectional image is a panel interface 201. At this time, on the guide screen 203, the START position 205 corresponding to the display center 202 before the display area is changed is displayed on the spherical frame 204. When the display area of the omnidirectional image is changed from the panel interface 201 to the panel interface 206 in response to a user operation input, the display center 202 is moved and changed as a result of the change of the display area. The coordinate acquisition unit 103 acquires the coordinates 207.

それと同時に、ガイド画面２０８では、表示中心２０２が表示中心２０７まで移動したことを、ＳＴＡＲＴ位置２０５とＣＵＲＲＥＮＴ位置２０９によって表現し、ＳＴＡＲＴ位置２０５からＣＵＲＲＥＮＴ位置２０９へ移動の軌跡を示す矢印２１０を表示する。このようにすることで、ユーザーは全天球画像の表示領域の変更が空間的なイメージで相対的に位置関係を把握することが可能となる。   At the same time, the guide screen 208 expresses that the display center 202 has moved to the display center 207 by a START position 205 and a CURRENT position 209, and displays an arrow 210 indicating a locus of movement from the START position 205 to the CURRENT position 209. . In this way, the user can grasp the relative positional relationship of the change of the display area of the omnidirectional image relative to the spatial image.

更に、全天球画像の表示領域をパネルインターフェース２０６からパネルインターフェース２１１のように変更すると、表示中心２０７が動いた結果となる表示中心２１２の座標を座標取得部１０３が取得する。それと同時に、ガイド画面２１３では、表示中心２１２に対応するＣＵＲＲＥＮＴ位置２１４を表示し、全天球画像の表示領域を動かしている間は、ＳＴＡＲＴ位置２０５からＣＵＲＲＥＮＴ位置２１４へ、前回のＣＵＲＲＥＮＴ位置２０９も含めた移動の軌跡を示す矢印２１５を表示する。ＳＴＡＲＴ位置２０５から最新のＣＵＲＲＥＮＴ位置までの軌跡を表示することができる。   Furthermore, when the display area of the omnidirectional image is changed from the panel interface 206 to the panel interface 211, the coordinate acquisition unit 103 acquires the coordinates of the display center 212 that is the result of the movement of the display center 207. At the same time, on the guide screen 213, the CURRENT position 214 corresponding to the display center 212 is displayed, and the CURRENT position 209 is also changed from the START position 205 to the CURRENT position 214 while the display area of the omnidirectional image is moved. An arrow 215 indicating the trajectory of the included movement is displayed. The trajectory from the START position 205 to the latest CURRENT position can be displayed.

次に、図３を用いて、全天球画像の表示領域を変更した際のガイド画面の表示フローについて説明する。   Next, the display flow of the guide screen when the display area of the omnidirectional image is changed will be described with reference to FIG.

Ｓ３０１において、操作入力部１０２から表示開始の指示があるとＳ３０２に遷移し、なければＳ３０１を繰り返す。Ｓ３０２において、座標取得部１０３が全天球画像の表示領域の表示中心２０２の座標を取得する。Ｓ３０３において、表示中心２０２の座標に対応するＳＴＡＲＴ位置２０５を、ガイド画面２０３へ表示する。   In S301, if there is a display start instruction from the operation input unit 102, the process proceeds to S302, and if not, S301 is repeated. In S302, the coordinate acquisition unit 103 acquires the coordinates of the display center 202 of the display area of the omnidirectional image. In step S <b> 303, the START position 205 corresponding to the coordinates of the display center 202 is displayed on the guide screen 203.

Ｓ３０４において、操作入力部１０２から、パネルインターフェース２０１の全天球画像の表示領域を変更する操作入力がある場合はＳ３０５へ遷移し、操作入力がなければＳ３０４を繰り返す。Ｓ３０５において、全天球画像の表示領域を１回目に変更した後の表示領域の中心である表示中心２０７の座標を取得する。   In S304, if there is an operation input for changing the display area of the omnidirectional image of the panel interface 201 from the operation input unit 102, the process proceeds to S305, and if there is no operation input, S304 is repeated. In S305, the coordinates of the display center 207, which is the center of the display area after the first change of the display area of the omnidirectional image, is acquired.

Ｓ３０６において、表示中心２０７の座標に対応するＣＵＲＲＥＮＴ位置２０９を、ガイド画面２０８へ表示する。Ｓ３０７において、ＳＴＡＲＴ位置２０５からＣＵＲＲＥＮＴ位置２０９への軌跡の矢印を、ガイド画面２０８へ表示する。Ｓ３０８において、操作入力部１０２から表示終了の指示がなければＳ３０４へ戻り、表示終了の指示があれば表示を終了する。   In step S <b> 306, the CURRENT position 209 corresponding to the coordinates of the display center 207 is displayed on the guide screen 208. In S307, the arrow of the locus from the START position 205 to the CURRENT position 209 is displayed on the guide screen 208. In S308, if there is no display end instruction from the operation input unit 102, the process returns to S304, and if there is a display end instruction, the display ends.

以上述べたように、全天球画像の表示中心がユーザーの操作入力に応じて変更されるように、全天球画像表示部１０４が全天球画像の表示を制御した場合、表示中心が変更される前後の表示中心の位置を取得して、表示中心が変更される前後の表示中心の相対的な位置関係を示すガイドを表示する。このようにガイド表示することで、ユーザーは、全天球画像を示す空間のイメージを容易に把握できるようにすることができる。   As described above, when the omnidirectional image display unit 104 controls the display of the omnidirectional image so that the display center of the omnidirectional image is changed according to the user's operation input, the display center is changed. The position of the display center before and after being acquired is acquired, and a guide showing the relative positional relationship between the display centers before and after the display center is changed is displayed. By performing the guide display in this way, the user can easily grasp the image of the space showing the omnidirectional image.

なお、上記実施の形態においては、全天球画像の表示中心が２回変更された場合を示したが、２回以上の複数回変更されてもよい。表示中心が複数回変更された場合、変更ごとの表示中心の位置を取得して変更ごとのガイドを表示することで、画像中心の変化を把握しやすくなる。   In the above-described embodiment, the case where the display center of the omnidirectional image is changed twice has been described. However, the display center may be changed two or more times. When the display center is changed a plurality of times, the change of the image center can be easily grasped by acquiring the position of the display center for each change and displaying the guide for each change.

さらになお、ガイド表示は、表示中心の位置を表示中心の変更途中に逐次的に取得することで、ユーザーの操作入力を受けて変更される表示中心の変化を、全天球画像の回転などの表示変更に同期させてリアルタイムで表示することも可能となる。   Furthermore, the guide display sequentially acquires the position of the display center during the change of the display center, so that the change of the display center that is changed in response to the user's operation input can be detected by rotating the omnidirectional image or the like. It is also possible to display in real time in synchronization with the display change.

（第２の実施形態）
以下、図４を参照して、本発明の第２の実施形態による、全天球画像とガイド画像の表示例を示す。画像表示装置１００の構成は第１の実施形態と同様である。ガイド画像は、撮像装置１０１で撮像した全天球画像の表示領域の位置（表示中心）を球体フレームに表示する。図２と同じ構成には、同じ符号を付してあり、説明を省略する。 (Second Embodiment)
Hereinafter, with reference to FIG. 4, a display example of an omnidirectional image and a guide image according to the second embodiment of the present invention will be described. The configuration of the image display apparatus 100 is the same as that of the first embodiment. The guide image displays the position (display center) of the display area of the omnidirectional image captured by the imaging device 101 on the spherical frame. The same components as those in FIG. 2 are denoted by the same reference numerals, and description thereof is omitted.

４０１は、全天球画像の表示領域を２回目に変更した際のパネルインターフェースである。４０２は、パネルインターフェース２１１の１つ前の全天球画像の表示領域の表示中心に対応するＰＲＥ位置であり、ＣＵＲＲＥＮＴ位置２０９の位置に相当する。４０３は、表示中心２１２に対応するＣＵＲＲＥＮＴ位置である。４０４は、ＰＲＥ位置４０２からＣＵＲＲＥＮＴ位置４０３への軌跡を示す矢印である。   Reference numeral 401 denotes a panel interface when the display area of the omnidirectional image is changed for the second time. Reference numeral 402 denotes a PRE position corresponding to the display center of the display area of the omnidirectional image immediately before the panel interface 211, and corresponds to the position of the CURRENT position 209. Reference numeral 403 denotes a CURRENT position corresponding to the display center 212. Reference numeral 404 denotes an arrow indicating a locus from the PRE position 402 to the CURRENT position 403.

全天球画像の表示領域を、パネルインターフェース２０１からパネルインターフェース２０６のように変更した際の全天球画像とガイド画像の表示例は、第１の実施形態と同様である。   The display example of the omnidirectional image and the guide image when the display area of the omnidirectional image is changed from the panel interface 201 to the panel interface 206 is the same as in the first embodiment.

表示中心２０７が動いた結果となる表示中心２１２の座標を座標取得部１０３が取得する。ガイド画面４０１では、表示中心２１２に対応するＣＵＲＲＥＮＴ位置４０３と、ＣＵＲＲＥＮＴ位置２０９の位置にＰＲＥ位置４０２を表示する。同時に、全天球画像の表示領域を動かしている間は、ＰＲＥ位置４０２からＣＵＲＲＥＮＴ位置４０４へ移動の軌跡を示す矢印４０５を表示する。   The coordinate acquisition unit 103 acquires the coordinates of the display center 212 that results from the movement of the display center 207. On the guide screen 401, the PRE position 402 is displayed at the positions of the CURRENT position 403 and the CURRENT position 209 corresponding to the display center 212. At the same time, while moving the display area of the omnidirectional image, an arrow 405 indicating the trajectory of movement from the PRE position 402 to the CURRENT position 404 is displayed.

次に、図５を用いて、全天球画像の表示領域を変更した際のガイド画面の表示フローについて説明する。図３と同じ処理ステップには、同じ番号を付してあり、説明を省略する。   Next, the display flow of the guide screen when the display area of the omnidirectional image is changed will be described with reference to FIG. The same processing steps as those in FIG. 3 are denoted by the same reference numerals, and description thereof is omitted.

Ｓ５０１において、パネルインターフェース２０１の全天球画像の表示領域から１回目に表示領域を変更した場合はＳ３０６に遷移し、そうではない場合はＳ５０２に遷移する。   In S501, if the display area is changed for the first time from the display area of the omnidirectional image on the panel interface 201, the process proceeds to S306, and if not, the process proceeds to S502.

Ｓ５０２において、表示中心２１２の座標に対応するＣＵＲＲＥＮＴ位置４０３、ＰＲＥ位置４０２をガイド画面４０１へ表示する。   In step S <b> 502, the CURRENT position 403 and the PRE position 402 corresponding to the coordinates of the display center 212 are displayed on the guide screen 401.

Ｓ５０３において、ＰＲＥ位置４０２からＣＵＲＲＥＮＴ位置４０３への軌跡の矢印をガイド画面４０１へ表示する。   In step S <b> 503, an arrow of a locus from the PRE position 402 to the CURRENT position 403 is displayed on the guide screen 401.

以上、本実施形態によれば、全天球画像の表示領域が複数回変更された場合であっても、変更ごとに表示中心の位置を取得しているので、変更ごとのガイドを表示することが可能となる。なお、本実施形態においては、表示領域が２回変更された例を示しているが、２回以上の複数回変更されてもよい。その場合には、ガイド画像において、何回目の変更による表示中心の移動かを分かるように符号などを付して表示してもよい。   As described above, according to the present embodiment, even when the display area of the omnidirectional image is changed a plurality of times, the position of the display center is obtained for each change, so that the guide for each change is displayed. Is possible. In the present embodiment, an example in which the display area is changed twice is shown, but the display area may be changed two or more times. In that case, the guide image may be displayed with a symbol or the like so that it can be understood how many times the display center is moved by the change.

（第３の実施形態）
以下、図６を参照して、本発明の第３の実施形態による、全球面画像とガイド画像の表示例を示す。画像表示装置１００の構成は第１の実施形態と同様である。ガイド画像は、撮像装置１０１で撮像した全天球画像の表示領域の位置（表示中心）を球体フレームに表示する。図２と同じ部分には同じ符号を付してあり、説明を省略する。 (Third embodiment)
Hereinafter, with reference to FIG. 6, a display example of an all-spherical image and a guide image according to the third embodiment of the present invention will be described. The configuration of the image display apparatus 100 is the same as that of the first embodiment. The guide image displays the position (display center) of the display area of the omnidirectional image captured by the imaging device 101 on the spherical frame. The same parts as those in FIG. 2 are denoted by the same reference numerals, and description thereof is omitted.

６０１は、全天球画像の表示領域を変更する前のガイド画面である。６０２は、表示中心２０２に対応するＳＴＡＲＴ位置である。   Reference numeral 601 denotes a guide screen before changing the display area of the omnidirectional image. Reference numeral 602 denotes a START position corresponding to the display center 202.

６０３は、全天球画像の表示領域を１回目に変更した際のガイド画面である。６０４は、全天球画像の表示領域を１回目に変更した際の球体フレームである。６０５は、全天球画像の表示領域を１回目に変更した際のＳＴＡＲＴ位置である。６０６は、全天球画像の表示領域を１回目に変更した際のＣＵＲＲＥＮＴ位置である。６０７は、ＳＴＡＲＴ位置６０５からＣＵＲＲＥＮＴ位置６０６の軌跡を示す矢印である。   Reference numeral 603 denotes a guide screen when the display area of the omnidirectional image is changed for the first time. Reference numeral 604 denotes a spherical frame when the display area of the omnidirectional image is changed for the first time. Reference numeral 605 denotes a START position when the display area of the omnidirectional image is changed for the first time. Reference numeral 606 denotes a CURRENT position when the display area of the omnidirectional image is changed for the first time. Reference numeral 607 denotes an arrow indicating a locus from the START position 605 to the CURRENT position 606.

６０８は、全天球画像の表示領域を２回目に変更した際のガイド画面である。６０９は、全天球画像の表示領域を２回目に変更した際のガイド画面における球体フレームである。６１０は、全天球画像の表示領域を２回目に変更した際のガイド画面におけるＳＴＡＲＴ位置である。６１１は、ＳＴＡＲＴ位置６１０からＣＵＲＲＥＮＴ位置６０６の軌跡を示す矢印である。   Reference numeral 608 denotes a guide screen when the display area of the omnidirectional image is changed for the second time. Reference numeral 609 denotes a spherical frame on the guide screen when the display area of the omnidirectional image is changed for the second time. Reference numeral 610 denotes a START position on the guide screen when the display area of the omnidirectional image is changed for the second time. Reference numeral 611 denotes an arrow indicating a locus from the START position 610 to the CURRENT position 606.

全天球画像の表示領域を変更する前の状態をパネルインターフェース２０１とする。その際、ガイド画面６０１には、球体フレーム２０４の緯度０度、経度０度へ中心２０２に対応するＳＴＡＲＴ位置６０２を表示する。全天球画像の表示領域をパネルインターフェース２０１からパネルインターフェース２０６のように変更すると、表示中心２０２から表示中心２０７の緯度および経度の変化量を、座標標取得部１０３が取得する。それと同時に、ガイド画面６０３では、緯度および経度の変化量に基づいて、ＳＴＡＲＴ位置６０５とＣＵＲＲＥＮＴ位置６０６を球体フレーム６０４へ表示する。   A state before changing the display area of the omnidirectional image is a panel interface 201. At this time, a START position 602 corresponding to the center 202 is displayed on the guide screen 601 to the latitude 0 degrees and longitude 0 degrees of the sphere frame 204. When the display area of the omnidirectional image is changed from the panel interface 201 to the panel interface 206, the coordinate mark acquisition unit 103 acquires the amount of change in latitude and longitude from the display center 202 to the display center 207. At the same time, the guide screen 603 displays the START position 605 and the CURRENT position 606 on the spherical frame 604 based on the amount of change in latitude and longitude.

なお、ＣＵＲＲＥＮＴ位置６０６はガイド画面６０１におけるＳＴＡＲＴ位置６０２の座標に固定され、球体フレーム６０４とＳＴＡＲＴ位置６０５が動く。また、ＳＴＡＲＴ位置６０５からＣＵＲＲＥＮＴ位置６０６へ移動の軌跡を示す矢印６０７を表示する。   Note that the CURRENT position 606 is fixed to the coordinates of the START position 602 on the guide screen 601, and the spherical frame 604 and the START position 605 move. In addition, an arrow 607 indicating a movement path from the START position 605 to the CURRENT position 606 is displayed.

更に、全天球画像の表示領域をパネルインターフェース２０６からパネルインターフェース２１１のように変更すると、表示中心２０７から表示中心２１２の緯度および経度の変化量を、座標取得部１０３が取得する。それと同時に、ガイド画面６０８では、緯度および経度の変化量に基づいて、ＳＴＡＲＴ位置６１０とＣＵＲＲＥＮＴ位置６０６を球体フレーム６０９へ表示する。また、全球面表示領域を動かしている間は、ＳＴＡＲＴ位置６１０からＣＵＲＲＥＮＴ位置６０６へ移動の軌跡を示す矢印６１１を表示する。   Furthermore, when the display area of the omnidirectional image is changed from the panel interface 206 to the panel interface 211, the coordinate acquisition unit 103 acquires the amount of change in latitude and longitude from the display center 207 to the display center 212. At the same time, the guide screen 608 displays the START position 610 and the CURRENT position 606 on the spherical frame 609 based on the amount of change in latitude and longitude. In addition, while moving the entire spherical display area, an arrow 611 indicating the locus of movement from the START position 610 to the CURRENT position 606 is displayed.

次に、図７を用いて、全天球画像の表示領域を変更した際のガイド画面の表示フローについて説明する。図３と同じフローには、同じ番号を付してあり、説明を省略する。   Next, the display flow of the guide screen when the display area of the omnidirectional image is changed will be described with reference to FIG. The same flow as that in FIG. 3 is denoted by the same number, and description thereof is omitted.

Ｓ７０１において、球体フレーム２０４の緯度０度、経度０度へＳＴＡＲＴ位置６０２を表示する。Ｓ７０２において、ガイド画面６０３には、緯度０度、経度０度にＣＵＲＲＥＮＴ位置６０６が表示されるように、取得した緯度、経度の変化量だけ球体フレーム６０４とＳＴＡＲＴ位置６０５を動かす。   In step S <b> 701, the START position 602 is displayed at the latitude 0 degree and the longitude 0 degree of the sphere frame 204. In step S <b> 702, the spherical frame 604 and the START position 605 are moved by the amount of change in the acquired latitude and longitude so that the CURRENT position 606 is displayed on the guide screen 603 at 0 degrees latitude and 0 degrees longitude.

以上、本実施形態によれば、ガイド表示の表示方法として、最新の表示中心が球体上の特定の点（緯度０度、経度０度）に位置するように表示する。このようにすることで、ユーザーは現在の表示中心を基準として、表示領域の変更を把握することが可能となる。なお、最新の表示中心が位置する特定の点は、球体上の緯度０度、経度０度の点に限らない。   As described above, according to this embodiment, as a display method of the guide display, the latest display center is displayed at a specific point (latitude 0 degrees, longitude 0 degrees) on the sphere. In this way, the user can grasp the change of the display area with the current display center as a reference. Note that the specific point where the latest display center is located is not limited to the point on the sphere at 0 degrees latitude and 0 degrees longitude.

（第４の実施形態）
以下、図８を参照して、本発明の第４の実施形態による、全天球画像とガイド画像の表示例を示す。画像表示装置１００の構成は第１の実施形態と同様である。図２と同じ部分には同じ符号を付してあり、説明を省略する。 (Fourth embodiment)
Hereinafter, with reference to FIG. 8, a display example of an omnidirectional image and a guide image according to the fourth embodiment of the present invention will be described. The configuration of the image display apparatus 100 is the same as that of the first embodiment. The same parts as those in FIG. 2 are denoted by the same reference numerals, and description thereof is omitted.

８０１は、全天球画像の表示領域を変更する前のガイド画面である。８０２は、全天球画像の表示領域を１回目に変更した際のガイド画面である。８０３は、全天球画像の表示領域を２回目に変更した際のガイド画面である。   Reference numeral 801 denotes a guide screen before changing the display area of the omnidirectional image. Reference numeral 802 denotes a guide screen when the display area of the omnidirectional image is changed for the first time. Reference numeral 803 denotes a guide screen when the display area of the omnidirectional image is changed for the second time.

全天球画像の表示領域を変更する前の状態をパネルインターフェース２０１とする。その際、表示中心２０２の緯度および経度を座標標取得部１０３が取得し、ガイド画面８０１へ表示する。全天球画像の表示領域をパネルインターフェース２０１からパネルインターフェース２０６のように変更すると、表示中心２０２が動いた結果となる表示中心２０７の緯度および経度を座標標取得部１０３が取得し、ガイド画面８０２へ表示する。   A state before changing the display area of the omnidirectional image is a panel interface 201. At that time, the coordinate mark acquisition unit 103 acquires the latitude and longitude of the display center 202 and displays them on the guide screen 801. When the display area of the omnidirectional image is changed from the panel interface 201 to the panel interface 206, the coordinate mark acquisition unit 103 acquires the latitude and longitude of the display center 207 resulting from the movement of the display center 202, and the guide screen 802 To display.

更に、全天球画像の表示領域をパネルインターフェース２０６からパネルインターフェース２１１のように変更すると、表示中心２０７が動いた結果となる表示中心２１２の緯度および経度を座標取得部１０３が取得し、ガイド画面８０３へ表示する。なお、ガイド画面には、全球面画像表示領域が動いた緯度および経度の差分を表示してもよい。   Further, when the display area of the omnidirectional image is changed from the panel interface 206 to the panel interface 211, the coordinate acquisition unit 103 acquires the latitude and longitude of the display center 212 resulting from the movement of the display center 207, and the guide screen Display to 803. Note that the guide screen may display a difference between latitude and longitude at which the entire spherical image display area has moved.

次に、図９を用いて、全天球画像の表示領域を変更した際のガイド画面の表示フローについて説明する。図３と同じフローには、同じ番号を付してあり、説明を省略する。   Next, a display flow of the guide screen when the display area of the omnidirectional image is changed will be described with reference to FIG. The same flow as that in FIG. 3 is denoted by the same number, and description thereof is omitted.

Ｓ９０１において、ガイド画面へ、Ｓ３０２において取得した経度、緯度を表示する。   In S901, the longitude and latitude acquired in S302 are displayed on the guide screen.

Ｓ９０２において、操作入力部１０２からパネルインターフェースの全天球画像の表示領域を変更する操作入力がある場合はＳ３０２へ戻り、操作入力がない場合はＳ３０８へ遷移する。   In S902, when there is an operation input for changing the display area of the omnidirectional image of the panel interface from the operation input unit 102, the process returns to S302, and when there is no operation input, the process proceeds to S308.

以上、本実施形態によれば、表示中心を数値で表示することができるので、球体などを用いてマップでガイド表示する形態と比較して容易に実現することができる。   As described above, according to the present embodiment, since the display center can be displayed numerically, it can be easily realized as compared with a mode in which a guide is displayed on a map using a sphere or the like.

また、上述したいずれの実施形態においても、ガイド画面における開始位置、現在位置、現在位置より１つ前の表示位置、およびガイド画面における開始位置、現在位置、現在位置より１つ前の表示位置のいずれかを結ぶ印の全てまたは一部を、球体フレームの奥側の半球上に表示した場合と手前側の半球に表示した場合で色を変えてもよい。   In any of the above-described embodiments, the start position on the guide screen, the current position, the display position one before the current position, and the start position, the current position, and the display position one before the current position on the guide screen. The color may be changed depending on whether all or a part of the mark connecting any of the marks is displayed on the far hemisphere of the sphere frame and on the near hemisphere.

また、全天球画像を球体フレームの背景に貼り付けるなど、全天球画像とガイド画像を同時に確認できるように表示することによって、全天球画像の表示領域の位置を分かりやすくしてもよい。   In addition, the position of the display area of the omnidirectional image may be made easier by displaying the omnidirectional image and the guide image so that they can be confirmed at the same time, such as pasting the omnidirectional image on the background of the spherical frame. .

以上のように、本発明によれば、全球面画像に注目物体が少ないまたは存在しない場合でも、ガイド画面を表示することでユーザーが全天球画像の空間的なイメージを把握しやすくなることを可能にした全天球画像の画像表示装置を提供することができる。   As described above, according to the present invention, even when there are few or no objects of interest in the entire spherical image, the user can easily grasp the spatial image of the omnidirectional image by displaying the guide screen. An enabled omnidirectional image display device can be provided.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

１０１ 撮像装置
１０２ 操作入力部
１０３ 座標取得部
１０４ 全天球画像表示制御部
１０５ ガイド画像表示制御部
１０６ 表示部 DESCRIPTION OF SYMBOLS 101 Imaging device 102 Operation input part 103 Coordinate acquisition part 104 Omnisphere image display control part 105 Guide image display control part 106 Display part

Claims (6)

全天球画像を表示する表示手段と、
前記全天球画像の表示中心がユーザーの操作入力に応じて変更されるように、前記全天球画像の表示を制御する表示制御手段と、
前記全天球画像の表示中心の位置を取得する取得手段と、を備え、
前記取得手段は、前記表示中心が変更される前後の表示中心の位置を取得し、
前記表示手段は、前記表示中心が変更される前後の表示中心の相対的な位置関係を示すガイドを表示することを特徴とする画像表示装置。 Display means for displaying a spherical image;
Display control means for controlling the display of the omnidirectional image so that the display center of the omnidirectional image is changed according to a user's operation input;
Obtaining means for obtaining the position of the display center of the omnidirectional image,
The acquisition means acquires the position of the display center before and after the display center is changed,
The image display device, wherein the display means displays a guide showing a relative positional relationship between display centers before and after the display center is changed. 表示中心が複数回変更された場合、
前記取得手段は、変更ごとに表示中心の位置を取得し、
前記表示手段は、変更ごとのガイドを表示することを特徴とする請求項１に記載の画像表示装置。 If the display center is changed multiple times,
The acquisition means acquires the position of the display center for each change,
The image display apparatus according to claim 1, wherein the display unit displays a guide for each change. 前記表示手段は、前記全天球画像の全体を示す球体上に、前記ガイドを表示することを特徴とする請求項１または２に記載の画像表示装置。   The image display device according to claim 1, wherein the display unit displays the guide on a sphere showing the whole omnidirectional image. 前記表示手段は、前記球体上に、前記表示中心が変更される前の前記表示中心の位置から表示中心が変更された後の表示中心の位置にむかう印を表示することで、前記ガイドを表示することを特徴とする請求項３に記載の画像表示装置。   The display means displays the guide on the sphere by displaying a mark from the position of the display center before the display center is changed to the position of the display center after the display center is changed. The image display device according to claim 3. 前記表示手段は、前記球体の手前側の半球と奥側の半球とで色を変えて、前記ガイドを表示することを特徴とすることを特徴とする請求項３または４に記載の画像表示装置。   5. The image display device according to claim 3, wherein the display unit displays the guide by changing a color between a front hemisphere and a back hemisphere of the sphere. . 前記取得手段は、前記表示中心の変更途中に前記表示中心の位置を逐次的に取得し、
前記表示手段は、前記全天球画像の表示の変更にあわせて前記ガイドを表示することを特徴とする請求項１から５の何れか１項に記載の画像表示装置。 The acquisition means sequentially acquires the position of the display center during the change of the display center,
The image display device according to claim 1, wherein the display unit displays the guide in accordance with a change in display of the omnidirectional image.
JP2014117119A 2014-06-05 2014-06-05 Image display device Pending JP2015230625A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014117119A JP2015230625A (en) 2014-06-05 2014-06-05 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014117119A JP2015230625A (en) 2014-06-05 2014-06-05 Image display device

Publications (1)

Publication Number Publication Date
JP2015230625A true JP2015230625A (en) 2015-12-21

Family

ID=54887355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014117119A Pending JP2015230625A (en) 2014-06-05 2014-06-05 Image display device

Country Status (1)

Country Link
JP (1) JP2015230625A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043135A1 (en) * 2016-08-31 2018-03-08 ソニー株式会社 Information processing device, information processing method, and program
JP2018107583A (en) * 2016-12-26 2018-07-05 キヤノン株式会社 Information processing device, information processing method and program
WO2018179705A1 (en) * 2017-03-31 2018-10-04 株式会社荏原製作所 Industrial endoscope, observation method, observation device, underwater machine, pump inspection system, underwater robot control system, and underwater robot control method
JP2018205201A (en) * 2017-06-07 2018-12-27 株式会社荏原製作所 Pump inspection system
US10389947B2 (en) 2016-04-12 2019-08-20 Optim Corporation Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10389947B2 (en) 2016-04-12 2019-08-20 Optim Corporation Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program
WO2018043135A1 (en) * 2016-08-31 2018-03-08 ソニー株式会社 Information processing device, information processing method, and program
US20190179511A1 (en) * 2016-08-31 2019-06-13 Sony Corporation Information processing device, information processing method, and program
JPWO2018043135A1 (en) * 2016-08-31 2019-06-24 ソニー株式会社 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
US10845942B2 (en) 2016-08-31 2020-11-24 Sony Corporation Information processing device and information processing method
JP2018107583A (en) * 2016-12-26 2018-07-05 キヤノン株式会社 Information processing device, information processing method and program
WO2018179705A1 (en) * 2017-03-31 2018-10-04 株式会社荏原製作所 Industrial endoscope, observation method, observation device, underwater machine, pump inspection system, underwater robot control system, and underwater robot control method
US11391940B2 (en) 2017-03-31 2022-07-19 Ebara Corporation Industrial endoscope, observation method, observation device, underwater machine, pump inspection system, underwater robot control system, and underwater robot control method
JP2018205201A (en) * 2017-06-07 2018-12-27 株式会社荏原製作所 Pump inspection system

Similar Documents

Publication Publication Date Title
JP4508049B2 (en) 360 ° image capturing device
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
JP2015230625A (en) Image display device
EP3120328B1 (en) Information processing method, information processing device, and program
US11176747B2 (en) Information processing apparatus and information processing method
WO2018051688A1 (en) Information processing device, method and program related to generation of virtual viewpoint image
US20140192164A1 (en) System and method for determining depth information in augmented reality scene
EP3192255B1 (en) Communication apparatus, method of controlling communication apparatus, non-transitory computer-readable storage medium
JP2018107583A5 (en)
JP2019024203A (en) Information processing apparatus, information processing method, and information processing program
US20150074573A1 (en) Information display device, information display method and information display program
JP2018046448A5 (en)
JP6357023B2 (en) Information processing program, information processing apparatus, information processing apparatus control method, and information processing system
CN105991925A (en) Scene composition indicating method and indicating device
JP2015524951A (en) Manipulating computing devices by detecting round objects in images
WO2015170483A1 (en) Information processing device, information processing method, and program
WO2015040732A1 (en) Video monitoring system and video display method
US10750080B2 (en) Information processing device, information processing method, and program
JP5904168B2 (en) Feature point extraction method and feature point extraction device for captured image
JP6405539B2 (en) Label information processing apparatus for multi-viewpoint image and label information processing method
JP2012138759A5 (en)
JP2008082844A (en) Feature point coordinate calculating device
CN113631477A (en) Information processing apparatus, information processing method, and program
CN111242107A (en) Method and electronic device for setting virtual object in space
US11895395B2 (en) Remote assistance system, terminal device, and remote device