JP2020025186A

JP2020025186A - Imaging apparatus, control method of the same, program, and imaging system

Info

Publication number: JP2020025186A
Application number: JP2018148561A
Authority: JP
Inventors: 龍英松田; Tatsuhide Matsuda
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-08-07
Filing date: 2018-08-07
Publication date: 2020-02-13

Abstract

To display a video of an area intended at a time of recording at a time of reproduction.SOLUTION: Designated information is on a partial angle of view cut out from the full angle of view of an omnidirectional video and includes information defining a designated position and the partial of the angle of view on the basis of the designated position. When an imaging apparatus 100 performs a recording process of recording an omnidirectional video while displaying a live view, a display device 200 generates the designated information and transmits it to the imaging apparatus 100 and the imaging apparatus 100 records the designated information received from the display device 200 on a recording medium 121 in association with the omnidirectional video. In addition, the imaging apparatus 100 transmits the omnidirectional video to the display device 200 together with the corresponding designated information at a time of a reproduction process of reproducing the omnidirectional video recorded on the recording medium 121 on the display device 200.SELECTED DRAWING: Figure 5

Description

本発明は、全方位映像（全天球映像）を撮影する撮像装置及びその制御方法、プログラム、撮像システムに関する。 The present invention relates to an imaging device for capturing an omnidirectional image (omnidirectional image), a control method thereof, a program, and an imaging system.

従来、複数の撮像素子、もしくは複数の撮像装置から得られた映像を合成して全方位映像を記録する装置が知られている。全方位映像は、テレビやスマートフォンといった平面のディスプレイにそのまま表示すると歪んでしまうため、全方位映像の一部を切り出し、歪みを補正したうえで再生する必要がある。しかし、視聴者が全方位映像を視聴する際に、切り出し位置を映像の変化に合わせてその都度指定する操作を要すると煩雑である。そのため、全方位映像を記録する際に、視聴者に注目してほしい領域を予め指定する方法が提案されている。 2. Description of the Related Art Conventionally, there has been known an apparatus that synthesizes images obtained from a plurality of imaging elements or a plurality of imaging devices and records an omnidirectional image. An omnidirectional image is distorted when displayed on a flat display such as a television or a smartphone. Therefore, it is necessary to cut out a part of the omnidirectional image, correct the distortion, and reproduce the image. However, when a viewer views an omnidirectional video, it is troublesome to perform an operation of designating a cutout position in accordance with a change in the video each time. Therefore, a method has been proposed in which, when recording an omnidirectional video, a region that the viewer wants to pay attention to is specified in advance.

特許文献１では、２台のカメラで広い画角と狭い画角の動画像を同時に撮影し、広い画角の動画像内から狭い画角の動画像が注視している方向を算出し、算出された方向情報を広い画角の動画像に関連して記録する手法が提案されている。また、特許文献２では、全方位映像を記録する撮像装置の移動方向や撮影者の視点や被写体の方向などを検出し、それらの情報に基づいて全方位映像の切り出し位置を算出し、算出された位置情報を全方位映像に関連して記録する手法が提案されている。 In Patent Literature 1, a moving image having a wide angle of view and a narrow angle of view are simultaneously photographed by two cameras, and a direction in which a moving image having a narrow angle of view is gazing from within the moving image having a wide angle of view is calculated. There has been proposed a method of recording the obtained direction information in relation to a moving image having a wide angle of view. Further, in Patent Document 2, a moving direction of an imaging device that records an omnidirectional image, a viewpoint of a photographer, a direction of a subject, and the like are detected, and a cutout position of the omnidirectional image is calculated based on the information. There has been proposed a method of recording the position information related to an omnidirectional image.

特許文献１、２のいずれにおいても、再生時には映像に関連して記録された情報に基づいて映像の一部が切り出して再生されるため、切り出し位置を視聴者が指定する必要はない。また、視聴者が表示装置を操作することで切り出し位置を変更することも可能である。 In each of Patent Documents 1 and 2, at the time of reproduction, a part of the video is cut out and reproduced based on the information recorded in relation to the video, so that the viewer does not need to specify the cutout position. Further, it is also possible for the viewer to change the cutout position by operating the display device.

特開２０１７−１１４６４号公報JP-A-2017-11464 特開２０１７−６３２７６号公報JP 2017-63276 A

しかしながら、特許文献１、２では、切り出し位置を撮像装置が算出して決定するため、全方位映像に関連して記録される切り出し位置や画角が、視聴者に注目させたいと撮影者が意図するものと一致するとは限らない。従って、記録映像の再生時には、撮影者が意図するのとは異なる領域が視聴者に対して表示される場合があるという問題があった。 However, in Patent Literatures 1 and 2, since the clipping position is calculated and determined by the imaging apparatus, the photographer intends to pay attention to the clipping position and the angle of view recorded in relation to the omnidirectional video. Does not always match what you do. Therefore, there is a problem that an area different from the one intended by the photographer may be displayed to the viewer when reproducing the recorded video.

本発明は、記録時に意図した領域の映像を、再生時に表示させることを目的とする。 An object of the present invention is to display an image of an area intended at the time of recording at the time of reproduction.

上記目的を達成するために本発明は、通信先の装置と通信しながら全方位映像を撮影する撮影手段と、前記撮影された全方位映像の記録時に、前記通信先の装置から、前記全方位映像の全画角から切り出す一部の画角に関する指定情報を受信する受信手段と、前記全方位映像の記録時に、前記受信手段により受信された指定情報を前記全方位映像と対応付けて記録媒体に記録する記録手段と、前記記録媒体に記録された全方位映像を前記通信先の装置で再生させる再生時に、前記記録媒体に記録された全方位映像を、対応する指定情報とともに前記通信先の装置へ送信する送信手段と、を有することを特徴とする。 In order to achieve the above object, the present invention provides a photographing means for photographing an omnidirectional image while communicating with a communication destination device, and, when recording the photographed omnidirectional image, the communication destination device transmits the omnidirectional image. Receiving means for receiving designation information relating to a part of the angle of view cut out from the entire angle of view of the video, and a recording medium which associates the designation information received by the receiving means with the omnidirectional video when recording the omnidirectional video Recording means for recording the omnidirectional video recorded on the recording medium, at the time of reproduction for reproducing the omnidirectional video recorded on the recording medium by the device of the communication destination, the omnidirectional video recorded on the recording medium together with the corresponding designation information of the communication destination Transmitting means for transmitting to the device.

本発明によれば、記録時に意図した領域の映像を、再生時に表示させることができる。 According to the present invention, it is possible to display an image in an area intended at the time of recording at the time of reproduction.

撮像装置のブロック図である。It is a block diagram of an imaging device. 撮影システムの模式図である。It is a schematic diagram of an imaging system. 撮像システムの機能ブロック図である。It is a functional block diagram of an imaging system. 記録処理のフローチャートである。It is a flowchart of a recording process. 再生処理のフローチャートである。It is a flowchart of a reproduction process. 再生処理のフローチャートである。It is a flowchart of a reproduction process. 記録処理のフローチャートである。It is a flowchart of a recording process. 記録処理のフローチャートである。It is a flowchart of a recording process. 表示装置における表示処理のフローチャートである。6 is a flowchart of a display process in the display device.

以下、図面を参照して本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。本撮像装置１００として、２眼のデジタルビデオカメラを例示する。なお、本発明が適用される撮像装置はこれに限定されるものではなく、２眼より多くの撮像機構を備えた多眼のデジタルビデオカメラや、１眼のデジタルビデオカメラを複数台接続したシステムに本発明を適用してもよい。 (First Embodiment)
FIG. 1 is a block diagram of the imaging device according to the first embodiment of the present invention. As the imaging device 100, a two-lens digital video camera is exemplified. Note that the imaging apparatus to which the present invention is applied is not limited to this, and a multi-lens digital video camera having an imaging mechanism with more than two eyes or a system in which a plurality of single-lens digital video cameras are connected The present invention may be applied to

なお、図１に示す各機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアに実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。もしくは、ハードウェアとソフトウェアが組み合わされて実現されてもよい。したがって、以下の説明において異なる機能ブロックが動作の主体として記載されている場合であっても、同じハードウェアが主体として実現される場合がある。 Note that one or more of the functional blocks illustrated in FIG. 1 may be realized by hardware such as an ASIC or a programmable logic array (PLA), or may be realized by a programmable processor such as a CPU or an MPU executing software. May be done. Alternatively, it may be realized by a combination of hardware and software. Therefore, in the following description, even when different functional blocks are described as the subject of operation, the same hardware may be implemented as the subject.

撮影レンズ１０１、１０２は、複数のレンズ群からなる撮影レンズであり、ズームレンズやフォーカスレンズ、シフトレンズを内部に備えている。シャッタ１０３、１０４は、絞り機能を備えるシャッタであり、それぞれ撮像素子１０５、１０６に光を通す時間を調節する。撮像素子１０５、１０６は、光電変換素子を有する画素が複数、二次元上に配列された構成を有する撮像手段である。撮像素子１０５は撮影レンズ１０１により結像された被写体光学像を、撮像素子１０６は撮影レンズ１０２により結像された被写体光学像を、それぞれ各画素の電気信号に光電変換する。 Each of the photographing lenses 101 and 102 is a photographing lens including a plurality of lens groups, and includes a zoom lens, a focus lens, and a shift lens therein. The shutters 103 and 104 are shutters having an aperture function, and adjust the time during which light passes through the image sensors 105 and 106, respectively. The imaging elements 105 and 106 are imaging means having a configuration in which a plurality of pixels each having a photoelectric conversion element are two-dimensionally arranged. The image sensor 105 photoelectrically converts the subject optical image formed by the photographing lens 101, and the image sensor 106 photoelectrically converts the subject optical image formed by the photographing lens 102 into electric signals of respective pixels.

Ａ／Ｄ変換器１０７は、撮像素子１０５、１０６から出力されるアナログ信号をデジタル信号に変換し、画素単位の画像データを出力する。画像処理部１０８は、画像データに対して、所定の画素補完、拡縮といったリサイズ処理や、ＡＷＢといった色変換処理、画像データの符号化処理、２つの画像を１つの画像に合成する合成処理を行う。Ａ／Ｄ変換器１０７から出力された画像データは、画像処理部１０８及び、記録手段としてのメモリ制御部１０９を介してメモリ１１２に書き込まれる。そのため、メモリ１１２は動画像及び音声を格納するのに十分な記憶容量を備えている。 The A / D converter 107 converts analog signals output from the imaging devices 105 and 106 into digital signals, and outputs image data in pixel units. The image processing unit 108 performs a resizing process such as predetermined pixel complementation and enlargement / reduction, a color conversion process such as AWB, a coding process of image data, and a combining process of combining two images into one image. . The image data output from the A / D converter 107 is written to the memory 112 via the image processing unit 108 and the memory control unit 109 as a recording unit. Therefore, the memory 112 has a sufficient storage capacity for storing moving images and sounds.

通信用Ｉ／Ｆ部１１０は、画像処理部１０８で合成されメモリ制御部１０９を介して送られた画像データ及び、メモリ１１２に記録されている画像に関連したデータを、通信部１１１（受信手段、送信手段）から外部に出力できる形式に変換する。また、通信用Ｉ／Ｆ部１１０は、外部から通信部１１１を介して送られてきたデータをシステム制御部１１３で扱える形式に変換して、メモリ制御部１０９に送信する。通信部１１１は、通信用Ｉ／Ｆ部１１０で変換されたデータを外部に送信する。また通信部１１１は、外部から送られたデータを受信し、通信用Ｉ／Ｆ部１１０に出力する。 The communication I / F unit 110 transmits the image data synthesized by the image processing unit 108 and transmitted via the memory control unit 109 and the data related to the image recorded in the memory 112 to the communication unit 111 (receiving means). , Transmitting means). Further, the communication I / F unit 110 converts data sent from the outside via the communication unit 111 into a format that can be handled by the system control unit 113 and transmits the data to the memory control unit 109. The communication unit 111 transmits the data converted by the communication I / F unit 110 to the outside. The communication unit 111 receives data transmitted from the outside and outputs the data to the communication I / F unit 110.

不揮発性メモリ１１４は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭで構成される。不揮発性メモリ１１４には、システム制御部１１３の動作用定数やプログラムが記録される。システム制御部１１３は、撮像装置１００の全体を制御する。システム制御部１１３の機能は主としてＣＰＵ１３１により実現される。ＣＰＵ１３１は、不揮発性メモリ１１４に記録されたプログラムを実行することで、撮像装置１００における各処理を実現する。また、システム制御部１１３は、メモリ１１２、通信用Ｉ／Ｆ部１１０、通信部１１１を制御することによりデータの送受信を行う。操作部１１５は、ユーザ操作を受け付け、システム制御部１１３に各種動作指示を入力する。なお、システム制御部１１３に対する動作指示は通信部１１１を介して外部からも行われる。 The non-volatile memory 114 is an electrically erasable / recordable memory, and is composed of, for example, an EEPROM. In the nonvolatile memory 114, operation constants and programs of the system control unit 113 are recorded. The system control unit 113 controls the entire imaging device 100. The function of the system control unit 113 is mainly realized by the CPU 131. The CPU 131 implements each process in the imaging device 100 by executing a program recorded in the nonvolatile memory 114. The system control unit 113 transmits and receives data by controlling the memory 112, the communication I / F unit 110, and the communication unit 111. The operation unit 115 receives a user operation and inputs various operation instructions to the system control unit 113. The operation instruction to the system control unit 113 is also issued from outside via the communication unit 111.

電源制御部１１６は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などで構成され、電池の装着の有無、電池の種類、電池の残量の検出を行う。また、電源制御部１１６は、それらの検出結果及びシステム制御部１１３の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、各部へ提供する。電源部１１７は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタを備える。 The power control unit 116 includes a battery detection circuit, a DC-DC converter, a switch circuit for switching a block to be energized, and the like, and detects whether or not a battery is mounted, the type of the battery, and the remaining amount of the battery. In addition, the power supply control unit 116 controls the DC-DC converter based on the detection result and the instruction of the system control unit 113, and provides a necessary voltage to each unit for a necessary period. The power supply unit 117 includes a primary battery such as an alkaline battery and a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, and a Li battery, and an AC adapter.

システムタイマ１１８は、各種制御に用いる時間や、内蔵された時計の時間を計測する。システムメモリ１１９は、システム制御部１１３の動作用の定数、変数、不揮発性メモリ１１４から読み出したプログラムを展開するためのメモリであり、ＲＡＭ等で構成される。記録媒体Ｉ／Ｆ部１２０は、記録媒体１２１と撮像装置１００とを接続するインターフェースである。記録媒体１２１は、撮影された映像を記録するためのメモリーカードやハードディスク、ＵＳＢメモリ等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。 The system timer 118 measures the time used for various controls and the time of a built-in clock. The system memory 119 is a memory for expanding constants and variables for operation of the system control unit 113 and programs read from the non-volatile memory 114, and includes a RAM and the like. The recording medium I / F unit 120 is an interface that connects the recording medium 121 and the imaging device 100. The recording medium 121 is a recording medium, such as a memory card, a hard disk, or a USB memory, for recording a captured video, and includes a semiconductor memory, a magnetic disk, and the like.

図２は、撮像装置１００と表示装置２００とが通信可能に接続されて成る撮影システムの模式図である。この撮影システムは、撮像装置１００と、通信先の装置としての表示装置２００とが通信可能に接続されて成る。両者の通信方法は問わないが、例えば、無線ＬＡＮ等が採用される。撮像装置１００は全方位映像（全天球映像）を撮影する機能を有する。図２では、全方位映像の一部を切り出して表示装置２００に表示させる様子を概念的に示している。 FIG. 2 is a schematic diagram of an imaging system in which the imaging device 100 and the display device 200 are communicably connected. In this imaging system, an imaging device 100 and a display device 200 as a communication destination device are communicably connected. There is no limitation on the method of communication between them, but, for example, a wireless LAN or the like is employed. The imaging device 100 has a function of capturing an omnidirectional image (omnidirectional image). FIG. 2 conceptually shows a state in which a part of the omnidirectional video is cut out and displayed on the display device 200.

撮像装置１００は、撮影した全方位映像を表示装置２００に送信する。表示装置２００は、受信した全方位映像をディスプレイ部３１４（図３）に表示できる画角に切り出して表示する。その際、初期設定の切り出し領域（切り出し画角）を撮像装置１００の正面画角２０１と仮定する。表示装置２００は、全方位映像から正面画角２０１を切り出して映像のひずみを補正し、ディスプレイ部３１４に表示させる。ディスプレイ部３１４はタッチパネル機能を備える。 The imaging device 100 transmits the captured omnidirectional video to the display device 200. The display device 200 cuts out the received omnidirectional image into an angle of view that can be displayed on the display unit 314 (FIG. 3) and displays the cutout image. At this time, it is assumed that the initial cutout area (cutout view angle) is the front view angle 201 of the imaging apparatus 100. The display device 200 cuts out the front angle of view 201 from the omnidirectional image, corrects the distortion of the image, and causes the display unit 314 to display the image. The display unit 314 has a touch panel function.

また、表示装置２００において、全方位映像の切り出し領域は変更可能である。例えば、撮像装置１００の正面画角２０１から側面画角２０２を表示するように変更する場合、表示装置２００を操作するユーザは、表示装置２００のタッチパネル部３１５（図３）をスワイプするか、または方向を示すボタンをタッチして表示画角をずらす。そしてユーザは、所望の表示画角にして、例えば側面画角２０２を表示装置２００に表示させることができる。 In the display device 200, the cutout area of the omnidirectional video can be changed. For example, when changing to display the side view angle 202 from the front view angle 201 of the imaging device 100, the user who operates the display device 200 swipes the touch panel unit 315 (FIG. 3) of the display device 200, or Touch the button indicating the direction to shift the display angle of view. Then, the user can display the side view angle 202 on the display device 200, for example, with the desired display view angle.

図３は、撮像システムの機能ブロック図である。図３で、データ通信処理、及び通信で得られたデータの処理を説明する。図３に示す撮像装置１００における各機能部の機能は、ＣＰＵ１３１、不揮発性メモリ１１４及びシステムメモリ１１９等の協働により実現される。 FIG. 3 is a functional block diagram of the imaging system. FIG. 3 illustrates data communication processing and processing of data obtained by communication. The function of each functional unit in the imaging apparatus 100 illustrated in FIG. 3 is realized by cooperation of the CPU 131, the nonvolatile memory 114, the system memory 119, and the like.

撮像装置１００において、映像送信部３０１は、画像処理部１０８（図１）で合成された全方位映像を表示装置２００へ送信する。全方位映像の送信は表示装置２００との通信が確立している状態であれば、記録待機時、記録時及び再生時のいずれにおいても可能である。 In the imaging device 100, the video transmission unit 301 transmits the omnidirectional video combined by the image processing unit 108 (FIG. 1) to the display device 200. The transmission of the omnidirectional video is possible during recording standby, recording, and reproduction as long as communication with the display device 200 is established.

位置通信部３０２は、記録待機時及び記録時に表示装置２００で指定された「指定情報」を受信する。また、位置通信部３０２は、再生時には、全方位映像に関連して記録されている指定情報を表示装置２００に送信する。ここで、指定情報は、全方位映像の全画角から切り出す一部の画角に関する情報である。指定情報は、指定位置と、当該指定位置を基準とした上記一部の画角を規定する情報とを含む。指定情報はさらに、当該指定情報が生成（指定）された時刻の情報を含む。上記切り出す一部の画角は、全方位映像の全画角から切り出される「切り出し領域」のことであり、全画角のうち表示装置２００で表示される表示範囲（いわゆるトリミング領域）に該当する。指定位置は、一例として切り出し領域の中心座標とする。なお、指定位置は、切り出し領域の中心座標でなくてもよく、例えば、矩形領域の所定の頂部の座標であってもよい。 The position communication unit 302 receives “designation information” designated by the display device 200 at the time of recording standby and at the time of recording. Further, at the time of reproduction, the position communication unit 302 transmits the designation information recorded in relation to the omnidirectional video to the display device 200. Here, the designation information is information on a partial angle of view cut out from the entire angle of view of the omnidirectional video. The designation information includes a designated position and information defining the partial angle of view with reference to the designated position. The designation information further includes information on the time at which the designation information was generated (designated). The part of the view angle to be cut out is a “cutout area” cut out from the entire view angle of the omnidirectional image, and corresponds to a display range (so-called trimming area) displayed on the display device 200 in the entire view angle. . The designated position is, for example, the center coordinates of the cutout area. Note that the designated position does not have to be the center coordinates of the cutout area, and may be, for example, the coordinates of a predetermined top of a rectangular area.

操作通信部３０３は、操作部１１５（図１）によって操作された撮像装置１００の情報を表示装置２００に送信する。また、操作通信部３０３は、表示装置２００によって入力された撮像装置１００の操作情報を受信する。操作通信部３０３は、受信した操作情報をメモリ制御部１０９（図１）を介してシステム制御部１１３へ送信する。 The operation communication unit 303 transmits information on the imaging device 100 operated by the operation unit 115 (FIG. 1) to the display device 200. Further, the operation communication unit 303 receives the operation information of the imaging device 100 input by the display device 200. The operation communication unit 303 transmits the received operation information to the system control unit 113 via the memory control unit 109 (FIG. 1).

位置記録部３０６は、位置通信部３０２が受信した指定情報を全方位映像に対応付けて記録媒体１２１に記録する。指定情報を全方位映像に関連付ける（対応付ける）方法としては、例えば全方位映像のフレーム毎のメタデータに指定情報を記録する方法が考えられる。位置再生部３０７は、全方位映像に対応して記録された指定情報を読み出し、位置通信部３０２へ出力する。映像記録部３０８は、画像処理部１０８で合成された全方位映像を記録媒体１２１に記録する。映像再生部３０９は、記録媒体１２１に記録された全方位映像を読み出し、映像送信部３０１へ出力する。なお、指定情報と全方位映像とを対応付けて記録する記録先として記録媒体１２１を例示するが、これらの記録先は外部装置でも内蔵装置でもよい。 The position recording unit 306 records the designated information received by the position communication unit 302 on the recording medium 121 in association with the omnidirectional video. As a method of associating (associating) the designated information with the omnidirectional video, for example, a method of recording the designated information in metadata of each frame of the omnidirectional video can be considered. The position reproducing unit 307 reads out the designated information recorded corresponding to the omnidirectional video, and outputs it to the position communication unit 302. The video recording unit 308 records the omnidirectional video synthesized by the image processing unit 108 on the recording medium 121. The video reproducing unit 309 reads the omnidirectional video recorded on the recording medium 121 and outputs the omnidirectional video to the video transmitting unit 301. The recording medium 121 is exemplified as a recording destination for recording the designated information and the omnidirectional video in association with each other, but these recording destinations may be an external device or a built-in device.

遅延時間算出部３０４は、撮像装置１００と表示装置２００とのデータの送受信から、通信の遅延時間を算出する。遅延時間算出部３０４は、例えば、指定情報を受信した時の撮像装置１００の時刻と、受信した指定情報に含まれる時刻の情報（生成時刻）との差分を２倍した値を、遅延時間として算出する。位置記録部３０６は、受信された指定情報に基づき算出された遅延時間分だけ遡った時刻に生成されたフレームを特定し、特定したフレームに、上記受信された指定情報を対応付ける。これにより、指定情報を適切なフレームに関連付けることができる。変化量算出部３０５は、位置通信部３０２で受信したあるフレームに対応する指定情報とその直前のフレームに対応する指定情報とから、指定情報における指定位置の変化量を算出する。なお、本実施の形態においては、変化量算出部３０５を設けることは必須でない。 The delay time calculation unit 304 calculates a communication delay time based on data transmission and reception between the imaging device 100 and the display device 200. The delay time calculation unit 304 uses, for example, a value obtained by doubling the difference between the time of the imaging device 100 at the time of receiving the designated information and the time information (generation time) included in the received designated information as the delay time. calculate. The position recording unit 306 specifies a frame generated at a time preceding the delay time calculated based on the received specification information, and associates the received specification information with the specified frame. Thereby, the designation information can be associated with an appropriate frame. The change amount calculation unit 305 calculates the change amount of the designated position in the designated information from the designated information corresponding to a certain frame received by the position communication unit 302 and the designated information corresponding to the immediately preceding frame. In the present embodiment, it is not essential to provide the change amount calculation unit 305.

表示装置２００において、システム制御部３１７は、表示装置２００の全体を制御する。システム制御部３１７の機能は主としてＣＰＵ３２０により実現される。システム制御部３１７は、変化量算出部３１８、変更方向算出部３１９を有する。ＣＰＵ３２０は、ＲＯＭ（不図示）に記録されたプログラムを実行することで、表示装置２００における各処理を実現する。図３に示す表示装置２００における各機能部の機能は、ＣＰＵ３２０とＲＯＭ、ＲＡＭ（いずれも不図示）との協働より実現される。 In the display device 200, the system control unit 317 controls the entire display device 200. The function of the system control unit 317 is mainly realized by the CPU 320. The system control unit 317 includes a change amount calculation unit 318 and a change direction calculation unit 319. The CPU 320 realizes each process in the display device 200 by executing a program recorded in a ROM (not shown). The function of each functional unit in the display device 200 shown in FIG. 3 is realized by cooperation between the CPU 320 and a ROM and a RAM (both are not shown).

変化量算出部３１８は、位置通信部３１２もしくは表示部３１６で取得された、指定情報における指定位置の変化量を算出する。変更方向算出部３１９は、取得された指定情報における指定位置の変更方向を算出する。なお、本実施の形態においては、変化量算出部３１８、変更方向算出部３１９を設けることは必須でない。 The change amount calculation unit 318 calculates the change amount of the designated position in the designated information acquired by the position communication unit 312 or the display unit 316. The change direction calculation unit 319 calculates a change direction of the designated position in the acquired designated information. In the present embodiment, it is not essential to provide the change amount calculation unit 318 and the change direction calculation unit 319.

通信部３１０は、データを外部に送信すると共に、外部から送られたデータを受信してディスプレイ部３１４やシステム制御部３１７へ出力する。映像受信部３１１は、撮像装置１００から送信された全方位映像を受信する。位置通信部３１２は、撮像装置１００における記録時及び記録待機時に、タッチパネル部３１５等で指定された指定情報を撮像装置１００へ送信する。また、位置通信部３１２は、撮像装置１００における全方位映像の再生時に撮像装置１００から送信されてくる全方位映像に対応付けられている指定情報を受信する。操作通信部３１３は、タッチパネル部３１５によって入力された撮像装置１００に対する操作情報を撮像装置１００に送信する。また、操作通信部３１３は、操作部１１５（図１）によって入力された撮像装置１００の操作情報を受信する。 The communication unit 310 transmits data to the outside, receives data sent from the outside, and outputs the data to the display unit 314 and the system control unit 317. The video receiving unit 311 receives the omnidirectional video transmitted from the imaging device 100. The position communication unit 312 transmits the specified information specified by the touch panel unit 315 or the like to the imaging device 100 at the time of recording in the imaging device 100 and at the time of recording standby. In addition, the position communication unit 312 receives the designation information associated with the omnidirectional video transmitted from the imaging device 100 when the imaging device 100 reproduces the omnidirectional video. The operation communication unit 313 transmits, to the imaging device 100, operation information for the imaging device 100 input by the touch panel unit 315. Further, the operation communication unit 313 receives the operation information of the imaging device 100 input by the operation unit 115 (FIG. 1).

ディスプレイ部３１４は、ユーザ操作を受け付けるタッチパネル部３１５と、映像を表示する表示部３１６とを有する。タッチパネル部３１５と表示部３１６は一体的に構成されてもよい。タッチパネル部３１５における入力座標と表示部３１６の表示座標を対応付けることで、表示部３１６に表示された画面をユーザがあたかも直接操作可能であるかのようなＧＵＩを実現することができる。表示部３１６には、受信した全方位映像の一部の画角が切り出されて表示する。 The display unit 314 includes a touch panel unit 315 that receives a user operation and a display unit 316 that displays an image. The touch panel unit 315 and the display unit 316 may be integrally configured. By associating the input coordinates on the touch panel unit 315 with the display coordinates on the display unit 316, it is possible to realize a GUI as if the user can directly operate the screen displayed on the display unit 316. The display unit 316 cuts out and displays a part of the angle of view of the received omnidirectional video.

ここで、表示部３１６での映像の表示モードには大別して２つある。そのうち第１のモードは、撮像装置１００における撮影された全方位映像が記録される記録時に、リアルタイムでライブビュー表示するモードである。第２のモードは、撮像装置１００で記録された全方位映像（指定情報が対応付けられたもの）を、指定情報に基づく画角で表示するモードである。 Here, the display mode of the image on the display unit 316 is roughly classified into two. The first mode is a mode in which live view display is performed in real time during recording in which the captured omnidirectional video is recorded in the imaging device 100. The second mode is a mode in which an omnidirectional video (one associated with designated information) recorded by the imaging device 100 is displayed at an angle of view based on the designated information.

第１のモードでは、表示装置２００を操作する操作者は、タッチパネル部３１５のスワイプまたはボタン操作によりライブビューの表示方向（視線方向）を所望に調節する。システム制御部３１７は、ライブビューで表示されているときの表示中心の座標情報と表示範囲とをフレームごとに取得する。そして、フレームごとに、表示中心の座標情報を「指定位置」とし、表示範囲を「一部の画角を規定する情報」として取得する。なお、指定位置は、全天球映像を平面とした場合の座標として取得される。そしてシステム制御部３１７は、これらの情報に、指定位置を生成した時刻の情報を含めた「指定情報」を生成する。このようにしたのは、操作者が所望に切り出してライブビュー表示している画角が、記録後に視聴者に見せたい注目画角であると考えられるからである。なお、表示装置２００は、少なくともライブビュー用の映像を表示しながら指定情報を指定する機能を有すればよく、指定情報の指定の手法は例示に限定されない。 In the first mode, the operator who operates the display device 200 adjusts the display direction (line of sight) of the live view as desired by swiping or operating the button on the touch panel unit 315. The system control unit 317 acquires, for each frame, the coordinate information of the display center and the display range when displayed in the live view. Then, for each frame, the coordinate information of the display center is set as “designated position”, and the display range is obtained as “information defining a part of the angle of view”. The designated position is acquired as coordinates when the spherical image is a plane. Then, the system control unit 317 generates “designated information” including the information of the time at which the designated position is generated in these pieces of information. The reason for this is that the angle of view that is cut out as desired by the operator and displayed in live view is considered to be the target angle of view that the viewer wants to show to the viewer after recording. The display device 200 only needs to have a function of designating the designated information while displaying at least the video for the live view, and the method of designating the designated information is not limited to the example.

第２のモードでは、システム制御部３１７は、映像受信部３１１で受信された全方位映像を、当該全方位映像に対応付けられている指定情報（位置通信部３１２で受信されたもの）に基づいて切り出した映像を、表示部３１６に表示させる。すなわち、システム制御部３１７は、指定情報に含まれる指定位置を中心座標とした切り出し領域を、全方位映像の全画角から切り出して、表示部３１６に表示させる。切り出し領域はフレームごとに変化する。 In the second mode, the system control unit 317 converts the omnidirectional image received by the image receiving unit 311 based on designation information (one received by the position communication unit 312) associated with the omnidirectional image. The display unit 316 displays the clipped video. That is, the system control unit 317 cuts out a cutout region having the designated position included in the designated information as the center coordinates from all angles of view of the omnidirectional video, and causes the display unit 316 to display it. The cutout area changes for each frame.

なお、撮像装置１００と表示装置２００とを独立したものとしているが、必ずしも別々である必要はなく、撮像装置１００の内部に表示装置２００に相当するものが組み込まれていてもよい。その場合、通信部１１１及び通信部３１０は不要となり、システム制御部３１７はシステム制御部１１３に組み込まれる。システム制御部１１３がディスプレイ部３１４を制御する。 Although the imaging device 100 and the display device 200 are independent, they need not always be separate, and a device corresponding to the display device 200 may be incorporated in the imaging device 100. In that case, the communication unit 111 and the communication unit 310 become unnecessary, and the system control unit 317 is incorporated in the system control unit 113. The system control unit 113 controls the display unit 314.

次に、撮像装置１００が、撮影した全方位映像を記録する記録処理と、記録媒体１２１に記録された全方位映像を表示装置２００で再生させる再生処理とを説明する。表示部３１６における表示モードは、記録処理時には第１のモードとなり、再生処理時には第２のモードとなる。 Next, a recording process in which the imaging device 100 records the captured omnidirectional video and a reproduction process in which the display device 200 reproduces the omnidirectional video recorded in the recording medium 121 will be described. The display mode on the display unit 316 is the first mode during the recording process, and is the second mode during the reproduction process.

図４は、撮像装置１００における記録処理のフローチャートである。この処理は、システム制御部１１３のＣＰＵ１３１が、不揮発性メモリ１１４に格納されたプログラムをシステムメモリ１１９に展開して実行することにより実現される。この処理は、操作部１１５へのユーザ操作、あるいは通信部１１１を介した外部からの指示によって開始される。 FIG. 4 is a flowchart of a recording process in the imaging device 100. This processing is realized by the CPU 131 of the system control unit 113 expanding the program stored in the nonvolatile memory 114 into the system memory 119 and executing the program. This process is started by a user operation on the operation unit 115 or an external instruction via the communication unit 111.

ステップＳ４０１において、ＣＰＵ１３１は、全方位映像の撮影及び記録の処理を開始する。すなわち、ＣＰＵ１３１は、映像送信部３０１により、ライブビュー用に全方位映像を送信する処理を開始する。ステップＳ４０２において、ＣＰＵ１３１は、表示装置２００との通信が確立し、接続されているか否かを判別する。そしてＣＰＵ１３１は、表示装置２００と接続されていると判別した場合は、処理をステップＳ４０３に進め、表示装置２００と接続されていないと判別した場合は、処理をステップＳ４０５に進める。ステップＳ４０３において、ＣＰＵ１３１は、表示装置２００から指定情報を位置通信部３０２によって受信する。ステップＳ４０４において、ＣＰＵ１３１は、ステップＳ４０３で取得した指定情報を、撮影した全方位映像にフレームごとに対応付け、これら映像及び指定情報を記録媒体１２１に記録する。 In step S401, the CPU 131 starts a process of capturing and recording an omnidirectional video. That is, the CPU 131 starts the process of transmitting the omnidirectional video for the live view by the video transmitting unit 301. In step S402, the CPU 131 determines whether communication with the display device 200 has been established and is connected. If the CPU 131 determines that it is connected to the display device 200, the process proceeds to step S403, and if it determines that it is not connected to the display device 200, the process proceeds to step S405. In step S403, the CPU 131 receives the designation information from the display device 200 by the position communication unit 302. In step S404, the CPU 131 associates the designated information acquired in step S403 with the captured omnidirectional video for each frame, and records the video and the designated information on the recording medium 121.

ステップＳ４０５において、ＣＰＵ１３１は、記録終了の指示があったか否かを判別する。記録終了の指示は、操作部１１５へのユーザ操作から取得されるか、あるいは通信部１１１を介して外部から取得される。そしてＣＰＵ１３１は、記録終了の指示がないと判別した場合は、処理をステップＳ４０２に戻し、記録終了の指示があったと判別した場合は、図４の一連の処理を終了する。 In step S405, the CPU 131 determines whether an instruction to end recording has been given. The recording end instruction is obtained from a user operation on the operation unit 115 or obtained from the outside via the communication unit 111. If the CPU 131 determines that there is no recording end instruction, the process returns to step S402. If it determines that the recording end instruction has been issued, the series of processes in FIG. 4 ends.

図５は、再生処理のフローチャートである。この処理は、ＣＰＵ１３１が、不揮発性メモリ１１４に格納されたプログラムをシステムメモリ１１９に展開して実行することにより実現される。この処理は、操作部１１５へのユーザ操作、あるいは通信部１１１を介した外部からの指示によって開始される。 FIG. 5 is a flowchart of the reproduction process. This processing is realized by the CPU 131 expanding a program stored in the nonvolatile memory 114 into the system memory 119 and executing the program. This process is started by a user operation on the operation unit 115 or an external instruction via the communication unit 111.

ステップＳ５０１において、ＣＰＵ１３１は、記録媒体１２１に記録されている全方位映像を読み出して再生の処理を開始する。ステップＳ５０２において、ＣＰＵ１３１は、読み出した全方位映像に、関連したデータとして指定情報が対応付けられて記録されているかどうかを判別する。そしてＣＰＵ１３１は、読み出した全方位映像に対応する指定情報が記録されていると判別した場合は、処理をステップＳ５０３に進め、読み出した全方位映像に対応する指定情報が記録されていないと判別した場合は、処理をステップＳ５０４に進める。 In step S501, the CPU 131 reads an omnidirectional video recorded on the recording medium 121 and starts a reproduction process. In step S502, the CPU 131 determines whether or not the read omnidirectional video is recorded in association with the designation information as related data. If the CPU 131 determines that the designated information corresponding to the read omnidirectional video is recorded, the process proceeds to step S503, and determines that the designated information corresponding to the read omnidirectional video is not recorded. In this case, the process proceeds to step S504.

ステップＳ５０３において、ＣＰＵ１３１は、表示装置２００に対し、映像送信部３０１により全方位映像を送信すると共に、位置通信部３０２により全方位映像に対応する指定情報を送信する。ステップＳ５０４において、ＣＰＵ１３１は、映像送信部３０１により全方位映像を表示装置２００に送信する。ステップＳ５０３、５０４の後、ＣＰＵ１３１は、処理をステップＳ５０５に進める。ステップＳ５０５において、ＣＰＵ１３１は、再生終了の指示があったか否かを判別する。再生終了の指示は、操作部１１５へのユーザ操作から取得されるか、あるいは通信部１１１を介した外部から取得される。そしてＣＰＵ１３１は、再生終了の指示がないと判別した場合は処理をステップＳ５０２に戻し、再生終了の指示があったと判別した場合は図５の一連の処理を終了する。 In step S <b> 503, the CPU 131 transmits the omnidirectional video to the display device 200 by the video transmitting unit 301, and transmits the designation information corresponding to the omnidirectional video by the position communication unit 302. In step S504, the CPU 131 transmits the omnidirectional video to the display device 200 by the video transmission unit 301. After steps S503 and S504, the CPU 131 advances the processing to step S505. In step S505, the CPU 131 determines whether or not an instruction to end the reproduction has been given. The instruction to end the reproduction is obtained from a user operation on the operation unit 115 or obtained from the outside via the communication unit 111. If the CPU 131 determines that there is no instruction to end the reproduction, the process returns to step S502, and if it determines that there is an instruction to end the reproduction, the series of processes in FIG. 5 ends.

本実施の形態によれば、撮像装置１００は、ライブビュー表示をさせつつ全方位映像を記録する記録処理時には、表示装置２００から受信した指定情報を当該全方位映像と対応付けて記録する。また、撮像装置１００は、記録された全方位映像を表示装置２００で再生させる再生処理時には、全方位映像を、対応する指定情報とともに表示装置２００へ送信する。すると、表示装置２００は、受信した全方位映像を、対応する指定情報に基づく切り出し領域に切り出して表示する。ライブビュー表示中に表示装置２００で表示された画角は、撮影者が記録後に視聴者に見せたいと所望する画角と考えられる。よって、記録時に意図した領域の映像を、再生時に表示させることができる。 According to the present embodiment, at the time of a recording process of recording an omnidirectional image while displaying a live view, the imaging device 100 records the designated information received from the display device 200 in association with the omnidirectional image. In addition, at the time of a reproduction process for reproducing the recorded omnidirectional video on the display device 200, the imaging device 100 transmits the omnidirectional video to the display device 200 together with the corresponding designation information. Then, the display device 200 cuts out and displays the received omnidirectional video in a cutout area based on the corresponding designation information. The angle of view displayed on the display device 200 during the live view display is considered to be the angle of view that the photographer desires to show to the viewer after recording. Therefore, it is possible to display an image in an area intended at the time of recording at the time of reproduction.

また、指定情報には、当該指定情報が指定された時刻の情報が含まれる。そして、撮像装置１００は、指定情報を受信した時刻と、受信した指定情報に含まれる時刻の情報とに基づき、指定情報を対応付けるフレームを特定するので、再生時における映像と画角の切り出しとの時間的なずれの発生を抑制することができる。 Further, the designation information includes information of a time at which the designation information is designated. Then, the imaging apparatus 100 specifies the frame to which the designated information is associated, based on the time at which the designated information is received and the information on the time included in the received designated information. The occurrence of a time lag can be suppressed.

（第２の実施の形態）
本発明の第２の実施の形態では、第１の実施の形態に対して再生処理が異なり、その他の構成は同様である。従って、図５に代えて図６を用いて本実施の形態を説明する。 (Second embodiment)
The second embodiment of the present invention differs from the first embodiment in the reproduction processing, and the other configuration is the same. Therefore, the present embodiment will be described with reference to FIG. 6 instead of FIG.

図６は、再生処理のフローチャートである。この処理の実行主体や実行条件は図５の再生処理と同様である。本実施の形態では、記録映像の再生中に、表示装置２００の操作者から画角変更操作があった場合に、送信中の指定情報よりも新たに指定された指定情報を優先して、表示装置２００における切り出し領域が定まるようにする。 FIG. 6 is a flowchart of the reproduction process. The execution subject and execution conditions of this processing are the same as those in the reproduction processing of FIG. In the present embodiment, when the operator of the display device 200 performs an angle-of-view changing operation during the playback of the recorded video, the designated information newly designated has priority over the designated information being transmitted and is displayed. The cutout region in the device 200 is determined.

ステップＳ６０１、Ｓ６０２の処理は、図５のステップＳ５０１、Ｓ５０２と同様である。ステップＳ６０２で、ＣＰＵ１３１は、読み出した全方位映像に対応する指定情報が記録されていると判別した場合は、処理をステップＳ６０３に進め、全方位映像に対応する指定情報が記録されていないと判別した場合は処理をステップＳ６０６に進める。 The processes in steps S601 and S602 are the same as steps S501 and S502 in FIG. If the CPU 131 determines in step S602 that the designated information corresponding to the read omnidirectional video is recorded, the process proceeds to step S603, and determines that the designated information corresponding to the omnidirectional video is not recorded. If so, the process proceeds to step S606.

ステップＳ６０３において、ＣＰＵ１３１は、タッチパネル部３１５で入力された操作情報があればそれを操作通信部３０３により受信し、受信した操作情報に基づき、表示装置２００で指定情報が操作されたか否かを判別する。ここで、撮像装置１００は、再生時においても表示装置２００から指定情報を受信可能である。指定情報が操作された場合は、再生のための全方位映像及び対応する指定情報の送信中に、表示装置２００で新たに生成された指定情報が受信されたことになる。ＣＰＵ１３１は、表示装置２００で指定情報が操作された判別した場合は、処理をステップＳ６０６に進め、表示装置２００で指定情報が操作されていないと判別した場合は、処理をステップＳ６０４に進める。 In step S603, the CPU 131 receives the operation information input from the touch panel unit 315, if any, through the operation communication unit 303, and determines whether or not the designated information has been operated on the display device 200 based on the received operation information. I do. Here, the imaging device 100 can receive designation information from the display device 200 even during reproduction. When the designated information is operated, the newly generated designated information is received by the display device 200 during transmission of the omnidirectional video and the corresponding designated information for reproduction. If the CPU 131 determines that the designation information has been operated on the display device 200, the process proceeds to step S606. If the CPU 131 determines that the designation information has not been operated on the display device 200, the process proceeds to step S604.

ステップＳ６０４において、ＣＰＵ１３１は、タッチパネル部３１５で入力された操作情報があればそれを操作通信部３０３により受信する。そしてＣＰＵ１３１は、受信した操作情報に基づき、表示装置２００における新たな指定情報の操作が一定期間以上（所定時間以上）無いか否かを判別する。そしてＣＰＵ１３１は、表示装置２００における新たな指定情報の操作が一定期間以上ないと判別した場合は処理をステップＳ６０５に進める。一方、ＣＰＵ１３１は、表示装置２００における新たな指定情報の操作が一定期間の経過前にあったと判別した場合は、処理をステップＳ６０６に進める。 In step S604, the CPU 131 receives, via the operation communication unit 303, operation information input from the touch panel unit 315, if any. Then, based on the received operation information, the CPU 131 determines whether or not the operation of the new designated information on the display device 200 has been performed for a certain period or more (for a predetermined time or more). If the CPU 131 determines that the operation of the new designated information on the display device 200 has not been performed for a certain period or longer, the process proceeds to step S605. On the other hand, if the CPU 131 determines that the operation of the new designated information on the display device 200 has been performed before the elapse of the certain period, the process proceeds to step S606.

ステップＳ６０５では、ＣＰＵ１３１は、図５のステップＳ５０３と同様に、表示装置２００に対し、映像送信部３０１により全方位映像を送信すると共に、位置通信部３０２により全方位映像に対応する指定情報を送信する。ステップＳ６０６では、ＣＰＵ１３１は、記録された全方位映像を送信する。ステップＳ６０２からステップＳ６０６に移行した場合、指定情報が対応付けられていない全方位映像が送信される。 In step S605, the CPU 131 transmits an omnidirectional image to the display device 200 by the image transmitting unit 301 and transmits designation information corresponding to the omnidirectional image to the display device 200 by the position communication unit 302, similarly to step S503 of FIG. I do. In step S606, the CPU 131 transmits the recorded omnidirectional video. When the process proceeds from step S602 to step S606, an omnidirectional video not associated with the designation information is transmitted.

ステップＳ６０３からステップＳ６０６に移行したとき、全方位映像及び対応する指定情報を送信中であったならば、ステップＳ６０６では、記録された全方位映像の送信が継続されると共に、対応する指定情報の送信が停止される。この場合、表示装置２００は、自身が新たに指定した指定情報に基づいて切り出し領域を切り出して表示する。すなわち、表示装置２００側での指定情報が優先される。ステップＳ６０４からステップＳ６０６に移行した場合、対応する指定情報の送信が停止されたまま、記録された全方位映像の送信が継続される。 If the omnidirectional video and the corresponding designation information are being transmitted when the process proceeds from step S603 to step S606, the transmission of the recorded omnidirectional video is continued in step S606, and the corresponding designation information is transmitted. Transmission is stopped. In this case, the display device 200 cuts out and displays the cutout region based on the newly specified information. That is, the designation information on the display device 200 side has priority. When the process proceeds from step S604 to step S606, the transmission of the recorded omnidirectional video is continued while the transmission of the corresponding designation information is stopped.

一方、ステップＳ６０３→Ｓ６０６と移行した後に、ステップＳ６０５に移行した場合は、対応する指定情報の送信が停止された後、新たな指定情報が一定期間継続して受信されない場合である。すなわち、表示装置２００において新たな指定情報が指定された後、一定期間以上指定されなくなった場合である。従って、この場合のステップＳ６０５では、送信を停止していた対応する指定情報の送信が再開されることになる。 On the other hand, when the process proceeds to step S605 after the process proceeds from step S603 to S606, the transmission of the corresponding designated information is stopped and new designated information is not continuously received for a certain period. In other words, this is a case where, after new designation information is designated on the display device 200, designation is stopped for a certain period or more. Therefore, in step S605 in this case, the transmission of the corresponding designated information whose transmission has been stopped is restarted.

ステップＳ６０５、Ｓ６０６の後、ステップＳ６０７において、ＣＰＵ１３１は、図５のステップＳ５０５と同様の処理を実行する。そしてＣＰＵ１３１は、再生終了の指示がないと判別した場合は処理をステップＳ６０２に戻し、再生終了の指示があったと判別した場合は図６の一連の処理を終了する。 After steps S605 and S606, in step S607, the CPU 131 executes the same processing as step S505 in FIG. If the CPU 131 determines that there is no instruction to end the reproduction, the process returns to step S602, and if it determines that there is an instruction to end the reproduction, the series of processes in FIG. 6 ends.

本実施の形態によれば、記録時に意図した領域の映像を、再生時に表示させることに関し、第１の実施の形態と同様の効果を奏することができる。また、ＣＰＵ１３１は、全方位映像及び対応する指定情報の送信中に指定情報が受信された場合は、記録された全方位映像の送信を継続すると共に対応する指定情報の送信を停止する。これにより、表示装置側では再生中に新たに指定した指定情報を優先して切り出し領域が設定されるので、使い勝手がよい。また、ＣＰＵ１３１は、対応する指定情報の送信を停止した後、指定情報が所定時間継続して受信されない場合は、対応する指定情報の送信を再開する。これにより、表示装置側での新たな指定情報の指定がされなくなると元の指定情報に基づく切り出し領域を表示させることができる。 According to the present embodiment, the same effect as in the first embodiment can be achieved with respect to displaying an image in an area intended at the time of recording at the time of reproduction. Further, when the designated information is received during the transmission of the omnidirectional video and the corresponding designated information, the CPU 131 continues the transmission of the recorded omnidirectional video and stops the transmission of the corresponding designated information. As a result, the cutout area is set on the display device side with priority given to the newly designated information during reproduction, so that the usability is good. In addition, after stopping transmission of the corresponding designation information, the CPU 131 restarts transmission of the corresponding designation information if the designation information is not continuously received for a predetermined time. Thereby, when the new designation information is not designated on the display device side, the cutout area based on the original designation information can be displayed.

（第３の実施の形態）
本発明の第３の実施の形態では、第１の実施の形態に対し記録処理が異なり、その他の構成は同様である。従って、図４に代えて図７を用いて本実施の形態を説明する。 (Third embodiment)
The third embodiment of the present invention differs from the first embodiment in the recording process, and the other configurations are the same. Therefore, the present embodiment will be described with reference to FIG. 7 instead of FIG.

撮影時に記録する指定情報における指定位置の時間当たりの変化量が大き過ぎると、再生処理時に映像が急激に変化し、視聴者が映像酔いを引き起こす恐れがある。そこで本実施の形態では、記録処理時に指定情報における指定位置が過大とならないように制限を設ける。 If the amount of change in the designated position per unit time in the designated information recorded at the time of shooting is too large, the video may change rapidly during the reproduction process, and the viewer may get sick. Therefore, in the present embodiment, restrictions are provided so that the designated position in the designated information does not become excessive during the recording process.

図７は、記録処理のフローチャートである。この処理の実行主体や実行条件は図４の記録処理と同様である。ステップＳ７０１、Ｓ７０２の処理は、図４のステップＳ４０１、Ｓ４０２と同様である。ステップＳ７０３において、ＣＰＵ１３１は、操作通信部３０３により表示装置２００に対して、指定情報における指定位置の変更速度を制限する情報（制限情報と呼称する）を送信する。表示装置２００は、制限情報を操作通信部３１３で受信すると、指定位置の変更速度が閾値を超えないように、操作に対する応答速度や操作に対する変化量を通常時より小さくする。例えば、表示装置２００は、タッチパネル部３１５に対して操作者が表示方向を変化させる操作（スワイプやボタンタッチ）をした場合の表示方向の変化の速度を通常時より遅くする。 FIG. 7 is a flowchart of the recording process. The execution subject and execution conditions of this processing are the same as those of the recording processing of FIG. The processes in steps S701 and S702 are the same as steps S401 and S402 in FIG. In step S703, the CPU 131 transmits information (referred to as restriction information) for restricting the change speed of the designated position in the designated information to the display device 200 through the operation communication unit 303. When the operation communication unit 313 receives the restriction information, the display device 200 sets the response speed to the operation and the change amount to the operation to be smaller than normal so that the change speed of the designated position does not exceed the threshold. For example, the display device 200 sets the speed of change in the display direction when the operator performs an operation (swipe or button touch) to change the display direction on the touch panel unit 315 slower than usual.

ステップＳ７０４、Ｓ７０５、Ｓ７０６の処理は、図４のステップＳ４０３、Ｓ４０４、Ｓ４０５と同様である。ステップＳ７０６において、ＣＰＵ１３１は、記録終了の指示がないと判別した場合は、処理をステップＳ７０２に戻し、記録終了の指示があったと判別した場合は、処理をステップＳ７０７に進める。ステップＳ７０７において、ＣＰＵ１３１は、表示装置２００に対する操作通信部３０３からの上記制限情報の送信を停止した後、図７の一連の処理を終了する。 Steps S704, S705, and S706 are the same as steps S403, S404, and S405 in FIG. In step S706, if the CPU 131 determines that there is no recording end instruction, the process returns to step S702, and if it determines that there is a recording end instruction, the process proceeds to step S707. In step S707, the CPU 131 stops transmitting the restriction information from the operation communication unit 303 to the display device 200, and then ends the series of processes in FIG.

本実施の形態によれば、記録時に意図した領域の映像を、再生時に表示させることに関し、第１の実施の形態と同様の効果を奏することができる。また、ＣＰＵ１３１は、記録処理を開始するに際し、制限情報を表示装置２００へ送信するので、記録する全方位映像に対応付ける指定情報に含まれる指定位置の変化量が過大とならずに済む。これにより、映像酔いとなるような指定情報の記録を回避することができ、記録映像の再生処理時に視聴者が映像酔いするおそれが少なくなる。 According to the present embodiment, the same effect as in the first embodiment can be achieved with respect to displaying an image in an area intended at the time of recording at the time of reproduction. Further, since the CPU 131 transmits the restriction information to the display device 200 when starting the recording process, the change amount of the designated position included in the designated information associated with the omnidirectional video to be recorded does not become excessive. This can prevent the recording of the designated information that causes video sickness, and reduces the possibility that the viewer gets video sick during the playback processing of the recorded video.

なお、本実施の形態は、第２の実施の形態と組み合わせてもよい。 This embodiment may be combined with the second embodiment.

（第４の実施の形態）
本発明の第４の実施の形態では、第１の実施の形態に対し記録処理が異なり、その他の構成は同様である。従って、図４に代えて図８を用いて本実施の形態を説明する。 (Fourth embodiment)
In the fourth embodiment of the present invention, the recording process is different from that of the first embodiment, and the other configuration is the same. Therefore, this embodiment will be described with reference to FIG. 8 instead of FIG.

撮影時に記録する指定情報における指定位置の時間当たりの変化量が小さ過ぎると、再生処理時に映像が細かく揺れているように映り、視聴者が映像酔いを引き起こす恐れがある。そこで本実施の形態では、指定情報が記録される際、指定位置の変化が過小である場合は、記録に反映させない。 If the amount of change per unit time of the designated position in the designated information recorded at the time of shooting is too small, the image may appear to fluctuate slightly during the reproduction process, and the viewer may get sick. Therefore, in the present embodiment, when the designated information is recorded, if the change in the designated position is too small, the change is not reflected in the recording.

図８は、記録処理のフローチャートである。この処理の実行主体や実行条件は図４の記録処理と同様である。ステップＳ８０１、Ｓ８０２、Ｓ８０３の処理は、図４のステップＳ４０１、Ｓ４０２、Ｓ４０３と同様である。 FIG. 8 is a flowchart of the recording process. The execution subject and execution conditions of this processing are the same as those of the recording processing of FIG. The processes in steps S801, S802, and S803 are the same as steps S401, S402, and S403 in FIG.

ステップＳ８０４において、ＣＰＵ１３１は、変化量算出部３０５により、今回記録すべき現在のフレームに対応する指定情報における指定位置と、１つ前に記録したフレームに対応する指定情報における指定位置との差分を求める。フレームと指定情報との対応関係は、上記したように遅延時間算出部３０４で算出された遅延時間に基づき特定できる。ＣＰＵ１３１は、求めた差分からフレーム間の指定位置の変化量を算出する。そしてＣＰＵ１３１は、算出された指定位置の変化量が第１の閾値ＴＨ１以上であるか否かを判別する。そしてＣＰＵ１３１は、指定位置の変化量が第１の閾値ＴＨ１以上であると判別した場合は、処理をステップＳ８０５に進め、指定位置の変化量が第１の閾値ＴＨ１未満（第１の閾値未満）であると判別した場合は、処理をステップＳ８０６に進める。 In step S804, the CPU 131 causes the change amount calculation unit 305 to calculate the difference between the designated position in the designated information corresponding to the current frame to be recorded this time and the designated position in the designated information corresponding to the immediately preceding frame. Ask. The correspondence between the frame and the designation information can be specified based on the delay time calculated by the delay time calculation unit 304 as described above. The CPU 131 calculates the amount of change in the designated position between frames from the obtained difference. Then, the CPU 131 determines whether or not the calculated change amount of the designated position is equal to or more than the first threshold value TH1. If the CPU 131 determines that the amount of change in the designated position is equal to or greater than the first threshold TH1, the process proceeds to step S805, and the amount of change in the designated position is less than the first threshold TH1 (less than the first threshold). Otherwise, the process proceeds to step S806.

ステップＳ８０５において、ＣＰＵ１３１は、今回受信した指定情報を、現在のフレームに対応付ける指定情報として採用し、記録媒体１２１に記録する。一方、ステップＳ８０６において、ＣＰＵ１３１は、１つ前のフレームの指定情報を、現在のフレームに対応付ける指定情報として採用し、記録媒体１２１に記録する。仮に今回受信した指定情報を採用したとすると、再生処理時に映像が細かく揺れて視聴者が映像酔いを引き起こすおそれがあるからである。 In step S805, the CPU 131 adopts the currently received specification information as specification information associated with the current frame, and records it on the recording medium 121. On the other hand, in step S806, the CPU 131 adopts the specification information of the immediately preceding frame as the specification information to be associated with the current frame, and records it on the recording medium 121. This is because, if the designated information received this time is adopted, the video may be finely shaken during the reproduction process, and the viewer may get sick.

ステップＳ８０５、Ｓ８０６の後、ＣＰＵ１３１は、ステップＳ８０７において、図４のステップＳ４０５と同様の処理を実行する。そしてＣＰＵ１３１は、記録終了の指示がないと判別した場合は、処理をステップＳ８０２に戻し、記録終了の指示があったと判別した場合は、図８の一連の処理を終了する。 After steps S805 and S806, the CPU 131 executes the same processing as step S405 in FIG. 4 in step S807. If the CPU 131 determines that there is no recording end instruction, the process returns to step S802, and if it determines that the recording end instruction has been issued, the series of processes in FIG. 8 ends.

本実施の形態によれば、記録時に意図した領域の映像を、再生時に表示させることに関し、第１の実施の形態と同様の効果を奏することができる。また、ＣＰＵ１３１は、受信された指定情報における指定位置の変化が第１の閾値ＴＨ１未満の場合は、変化前の指定情報を全方位映像と対応付けて記録する指定情報として採用する。これにより、映像酔いとなるような指定情報の記録を回避することができ、記録映像の再生処理時に視聴者が映像酔いするおそれが少なくなる。 According to the present embodiment, the same effect as in the first embodiment can be achieved with respect to displaying an image in an area intended at the time of recording at the time of reproduction. Further, when the change in the designated position in the received designated information is less than the first threshold value TH1, the CPU 131 adopts the designated information before the change as the designated information to be recorded in association with the omnidirectional video. This can prevent the recording of the designated information that causes video sickness, and reduces the possibility that the viewer gets video sick during the playback processing of the recorded video.

なお、本実施の形態は、第２の実施の形態と組み合わせてもよいし、第２及び第３の実施の形態と組み合わせてもよい。なお、本実施の形態を第３の実施の形態に適用する場合、ＣＰＵ１３１は、図７のステップＳ７０３、Ｓ７０７を図８に加えた処理を実行すればよい。 This embodiment may be combined with the second embodiment, or may be combined with the second and third embodiments. Note that when this embodiment is applied to the third embodiment, the CPU 131 may execute processing in which steps S703 and S707 in FIG. 7 are added to FIG.

（第５の実施の形態）
本発明の第５の実施の形態では、第１の実施の形態に対し、再生処理時における表示装置２００での処理が異なり、その他の構成は同様である。従って、第１の実施の形態に対して図９を加えて本実施の形態を説明する。 (Fifth embodiment)
The fifth embodiment of the present invention differs from the first embodiment in the processing in the display device 200 during the reproduction processing, and the other configuration is the same. Therefore, this embodiment will be described with reference to FIG. 9 in addition to the first embodiment.

図９は、表示装置２００における表示処理のフローチャートである。この処理は、表示装置２００における、ＣＰＵ３２０がＲＯＭ等に格納されたプログラムをＲＡＭ等（いずれも不図示）に展開して実行することにより実現される。この処理は、タッチパネル部３１５へのユーザ操作、あるいは通信部３１０を介した撮像装置１００からの指示によって開始される。 FIG. 9 is a flowchart of a display process in the display device 200. This processing is realized by the CPU 320 of the display device 200 developing and executing a program stored in a ROM or the like in a RAM or the like (both not shown). This processing is started by a user operation on the touch panel unit 315 or an instruction from the imaging device 100 via the communication unit 310.

ちなみに、第１の実施の形態で説明した表示装置２００における表示処理には、図９の各ステップからステップＳ９０３〜Ｓ９０５を廃止した処理が相当する。 Incidentally, the display processing in the display device 200 described in the first embodiment corresponds to the processing in which steps S903 to S905 are abolished from each step in FIG.

上述のように、撮影時に記録された指定情報における指定位置の時間当たりの変化量が大き過ぎると、表示装置２００での再生処理時に映像が急激に変化し、視聴者が映像酔いを引き起こす恐れがある。そこで本実施の形態では、表示装置２００において受信された指定情報における指定位置の変化が過大である場合は、表示に反映させない。 As described above, if the amount of change per unit time of the designated position in the designated information recorded at the time of shooting is too large, the image may change rapidly during the reproduction process on the display device 200, and the viewer may get sick. is there. Therefore, in the present embodiment, if the change of the designated position in the designated information received by display device 200 is excessive, it is not reflected on the display.

ステップＳ９０１において、ＣＰＵ３２０は、全方位映像の再生（表示）の処理を開始する。ステップＳ９０２において、ＣＰＵ３２０は、撮像装置１００から、映像受信部３１１により全方位映像を受信すると共に位置通信部３１２により指定情報を受信する。 In step S901, the CPU 320 starts a process of reproducing (displaying) an omnidirectional video. In step S902, the CPU 320 receives the omnidirectional video from the imaging device 100 by the video receiving unit 311 and receives the designation information by the position communication unit 312.

ステップＳ９０３において、ＣＰＵ３２０は、変化量算出部３１８により、現在のフレームに対応する指定情報における指定位置と１つ前のフレームに対応する指定情報における指定位置とから、指定位置の変化量を算出する。さらに、ＣＰＵ３２０は、変更方向算出部３１９により、現在のフレームに対応する指定情報における指定位置の、１つ前のフレームに対応する指定情報における指定位置からの変更方向を算出する。 In step S903, the CPU 320 causes the change amount calculation unit 318 to calculate the change amount of the designated position from the designated position in the designated information corresponding to the current frame and the designated position in the designated information corresponding to the immediately preceding frame. . Further, the change direction calculating unit 319 of the CPU 320 calculates a change direction of the designated position in the designated information corresponding to the current frame from the designated position in the designated information corresponding to the immediately preceding frame.

ステップＳ９０４において、ＣＰＵ３２０は、算出された指定情報の変化量が第２の閾値ＴＨ２以上（第２の閾値以上）であるか否かを判別する。そしてＣＰＵ３２０は、指定情報の変化量が第２の閾値ＴＨ２以上であると判別した場合は、処理をステップＳ９０５に進め、指定情報の変化量が第２の閾値ＴＨ２未満であると判別した場合は、処理をステップＳ９０６に進める。 In step S904, the CPU 320 determines whether the calculated change amount of the designated information is equal to or more than the second threshold value TH2 (not less than the second threshold value). If the CPU 320 determines that the change amount of the designated information is equal to or larger than the second threshold value TH2, the process proceeds to step S905. If the CPU 320 determines that the change amount of the designated information is smaller than the second threshold value TH2, The process proceeds to step S906.

ステップＳ９０５において、ＣＰＵ３２０は、指定情報の変化方向をそのままとしつつ、指定情報の変化量が第２の閾値ＴＨ２となる指定位置となるように、現在のフレームの指定情報の指定位置を置き換える。すなわち、ＣＰＵ３２０は、１つ前のフレームから現在のフレームまでの指定位置の変化量が第２の閾値ＴＨ２となるような指定情報を、現在のフレームに対応する指定情報として採用する。これにより、映像の急激な変化が抑制され、視聴者の映像酔いが回避される。ステップＳ９０５の後、ＣＰＵ３２０は、処理をステップＳ９０６に進める。 In step S905, the CPU 320 replaces the specified position of the specified information of the current frame so that the change amount of the specified information becomes the specified position where the change amount of the specified information becomes the second threshold TH2, while keeping the changing direction of the specified information. That is, the CPU 320 adopts, as the specification information corresponding to the current frame, the specification information such that the change amount of the specified position from the previous frame to the current frame becomes the second threshold value TH2. As a result, a sudden change in the video is suppressed, and video sickness of the viewer is avoided. After step S905, CPU 320 causes the process to proceed to step S906.

ステップＳ９０６において、ＣＰＵ３２０は、今回のフレームに対応するものとして採用されている指定情報における指定位置を中心位置として、全方位映像から切り出し領域を切り出して、表示部３１６に表示させる。従って、ステップＳ９０４からステップＳ９０６に移行した場合は、指定位置の置き換えはされないので、表示態様は第１の実施の形態と同様となる。 In step S906, the CPU 320 cuts out a cutout region from the omnidirectional video with the designated position in the designated information adopted as the one corresponding to the current frame as the center position, and displays the cutout region on the display unit 316. Therefore, when the process proceeds from step S904 to step S906, the designated position is not replaced, and the display mode is the same as in the first embodiment.

ステップＳ９０７において、ＣＰＵ３２０は、再生終了の指示があったか否かを判別する。再生終了の指示は、タッチパネル部３１５へのユーザ操作から取得されるか、あるいは通信部３１０を介した撮像装置１００から取得される。そしてＣＰＵ３２０は、再生終了の指示がないと判別した場合は処理をステップＳ９０２に戻し、再生終了の指示があったと判別した場合は図９の一連の処理を終了する。 In step S907, the CPU 320 determines whether or not an instruction to end the reproduction has been given. The instruction to end the reproduction is obtained from a user operation on the touch panel unit 315 or from the imaging device 100 via the communication unit 310. If it is determined that there is no instruction to end the reproduction, the process returns to step S902, and if it is determined that there is an instruction to end the reproduction, the series of processing in FIG. 9 ends.

本実施の形態によれば、記録時に意図した領域の映像を、再生時に表示させることに関し、第１の実施の形態と同様の効果を奏することができる。また、ＣＰＵ３２０は、表示の際に、フレーム間の指定位置の変化量が第２の閾値ＴＨ２以上となる場合は、変化量が第２の閾値ＴＨ２となるように、現在のフレームに対応する指定情報の指定位置を置き換える。従って、撮像装置１００から、映像酔いとなるような指定情報が受信されても、記録映像の再生処理時に視聴者が映像酔いするおそれが少なくなる。 According to the present embodiment, the same effect as in the first embodiment can be achieved with respect to displaying an image in an area intended at the time of recording at the time of reproduction. In addition, when the change amount of the designated position between the frames is equal to or more than the second threshold value TH2 at the time of display, the CPU 320 specifies the designated frame corresponding to the current frame so that the change amount becomes the second threshold value TH2. Replace specified position of information. Therefore, even if the designation information that causes video sickness is received from the imaging device 100, the possibility that the viewer gets sick during the reproduction process of the recorded video is reduced.

なお、本実施の形態は、第１の実施の形態だけでなく、第２〜第４の実施の形態のいずれとも組み合わせ可能である。 This embodiment can be combined with any of the second to fourth embodiments as well as the first embodiment.

なお、上記各実施の形態において、記録された全方位映像を表示装置２００で再生させる再生時に、全方位映像と共に送信する指定情報には、指定位置を基準とした一部の画角（トリミング領域）を規定する情報が含まれるとした。しかし、トリミング領域を規定する情報を含むことは必須でなく、表示装置２００は、受信した指定位置を基準として、表示装置２００の操作者が指定するサイズの画角を切り出し領域として切り出してもよい。 In each of the above embodiments, when the recorded omnidirectional video is played back on the display device 200, the designation information transmitted together with the omnidirectional video includes a part of the angle of view (the trimming area) based on the designated position. ) Is included. However, it is not essential to include information defining the trimming area, and the display device 200 may cut out the angle of view of the size specified by the operator of the display device 200 as the cutout region based on the received specified position. .

なお、上述のように、ＣＰＵ１３１またはＣＰＵ３２０が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。 Note that, as described above, the above-described various controls described as being performed by the CPU 131 or the CPU 320 may be performed by one piece of hardware, or a plurality of pieces of processing may share the processing, thereby controlling the entire apparatus. May go.

また、本発明が適用される撮像装置１００は、カメラと呼称される装置に限定されず、全方位映像を撮影する機能を有する装置であればよい。また、通信先の装置として表示装置２００を例示したが、全方位映像を切り出して表示する機能を有する装置であれば本発明を適用可能である。 The imaging device 100 to which the present invention is applied is not limited to a device called a camera, but may be any device having a function of capturing an omnidirectional image. In addition, the display device 200 is illustrated as an example of a communication destination device, but the present invention is applicable to any device having a function of cutting out and displaying an omnidirectional image.

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。 (Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or an apparatus via a network or various storage media, and a computer (or a CPU or an MPU) of the system or the apparatus reads out the program code and This is the process to be performed. In this case, the program and a storage medium storing the program constitute the present invention.

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 As described above, the present invention has been described in detail based on the preferred embodiments. However, the present invention is not limited to these specific embodiments, and various forms that do not depart from the gist of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.

１００撮像装置
１０５、１０６撮像素子
１０９メモリ制御部
１１１通信部
１２１記録媒体
２００表示装置 REFERENCE SIGNS LIST 100 imaging device 105, 106 imaging element 109 memory control unit 111 communication unit 121 recording medium 200 display device

Claims

Photographing means for photographing an omnidirectional image while communicating with a device of a communication destination;
At the time of recording the captured omnidirectional video, receiving means for receiving, from the communication destination device, designation information regarding a partial angle of view cut out from the full angle of view of the omnidirectional video,
At the time of recording the omnidirectional video, recording means for recording the designation information received by the receiving means on a recording medium in association with the omnidirectional video,
At the time of reproduction for reproducing the omnidirectional video recorded on the recording medium by the communication destination device, transmitting means for transmitting the omnidirectional video recorded on the recording medium to the communication destination device together with corresponding designation information, An imaging device comprising:

The imaging apparatus according to claim 1, wherein the designation information includes a designated position and information defining the angle of view of the part based on the designated position.

The imaging device according to claim 2, wherein the partial angle of view is an angle of view centered on the designated position.

If the change in the designated position in the designated information received by the receiving means at the time of the recording is less than a first threshold, the recording means records the designated information before the change in association with the omnidirectional video. The imaging apparatus according to claim 2, wherein the information is adopted as designation information to be performed.

The receiving means can receive the designation information from the communication destination device even during the reproduction,
The transmitting means, if the designated information is received during the transmission of the recorded omnidirectional video and the corresponding designation information, continues transmitting the recorded omnidirectional video and the corresponding designated information. The image capturing apparatus according to claim 1, wherein the transmission of the image is stopped.

6. The transmission unit according to claim 5, wherein after stopping transmission of the corresponding designation information, if the designation information is not continuously received for a predetermined time, transmission of the corresponding designation information is restarted. An imaging device according to any one of the preceding claims.

The transmitting unit transmits information for limiting a change speed of the designation information in the communication destination device to the communication destination device when the recording unit starts recording the omnidirectional video, The imaging device according to claim 1.

8. The imaging apparatus according to claim 1, wherein the recording unit associates the designation information with each frame of the omnidirectional video at the time of the recording. 9.

The designation information includes information of a time when the designation information is designated,
The recording means, at the time of the recording, based on the time information included in the designation information received by the receiving means and the time at which the received designation information was received by the receiving means, 9. The imaging device according to claim 8, wherein a frame to be associated with the designated information is specified.

The imaging device according to claim 8, wherein the recording unit records the designation information in metadata of each frame of the omnidirectional video.

The communication destination device has a function of receiving the omnidirectional video transmitted by the transmitting unit and the designation information corresponding to the omnidirectional video, and cuts out the received omnidirectional video based on the received designation information. The imaging device according to claim 1, further comprising: a function of displaying a displayed image.

The transmitting unit transmits a video for live view to the communication destination device when the omnidirectional video is recorded,
The imaging device according to claim 1, wherein the communication destination device has a function of designating the designation information while displaying at least the live view video.

The transmitting unit transmits a video for live view to the communication destination device when recording the omnidirectional video,
The communication destination device has a function of specifying the specification information while displaying at least the video for the live view,
The imaging apparatus according to claim 2, wherein the communication destination device specifies a center position of a display angle of view of the live view video as the specified position.

A program for causing a computer to function as each unit of the imaging device according to any one of claims 1 to 13.

A method for controlling an imaging device, comprising:
Shoots omnidirectional video while communicating with the device of the communication destination,
At the time of recording of the captured omnidirectional video, from the communication destination device, receives designation information on a partial angle of view cut out from the full angle of view of the omnidirectional video,
When recording the omnidirectional video, the received designation information is recorded on a recording medium in association with the omnidirectional video,
When playing back the omnidirectional video recorded on the recording medium by the communication destination device, the recorded omnidirectional video is transmitted to the communication destination device together with corresponding designation information. A method for controlling an imaging device.

An imaging system having an imaging device and a display device capable of communicating with the imaging device,
The imaging device,
Photographing means for photographing an omnidirectional image while communicating with the display device;
At the time of recording the captured omnidirectional video, from the display device, receiving means for receiving designation information about a partial angle of view cut out from the full angle of view of the omnidirectional video,
At the time of recording the omnidirectional video, recording means for recording the designation information received by the receiving means on a recording medium in association with the omnidirectional video,
When reproducing the omnidirectional video recorded on the recording medium on the display device, transmitting means for transmitting the omnidirectional video recorded on the recording medium to the display device together with corresponding designation information, ,
The display device,
A function of receiving the omnidirectional video transmitted by the transmitting means and the designation information corresponding to the omnidirectional video, and a function of displaying the video obtained by cutting out the received omnidirectional video based on the received designation information An imaging system comprising:

The designation information includes a designated position and information defining the angle of view of the part based on the designated position,
When the display device cuts out and displays a current frame in the received omnidirectional video, the display device changes the designated position in the received designated information between the immediately preceding frame and the current frame, and The change direction of the position is calculated, and when the calculated change amount is equal to or more than the second threshold value, the change direction of the designated position corresponding to the current frame with respect to the designated position corresponding to the previous frame is: The calculated change direction is adopted, and the change amount of the designated position corresponding to the current frame with respect to the designated position corresponding to the previous frame is the second information as the designated information corresponding to the current frame. 17. The imaging system according to claim 16, wherein the designation information is set so as to be a threshold value.