JP2023121126A - 電子機器、電子機器の制御方法、プログラム - Google Patents
電子機器、電子機器の制御方法、プログラム Download PDFInfo
- Publication number
- JP2023121126A JP2023121126A JP2022195646A JP2022195646A JP2023121126A JP 2023121126 A JP2023121126 A JP 2023121126A JP 2022195646 A JP2022195646 A JP 2022195646A JP 2022195646 A JP2022195646 A JP 2022195646A JP 2023121126 A JP2023121126 A JP 2023121126A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- reference position
- image
- display
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 44
- 230000033458 reproduction Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 11
- 238000012423 maintenance Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 81
- 238000003384 imaging method Methods 0.000 description 30
- 238000005520 cutting process Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
Abstract
【課題】コンテンツにおける一部の領域をユーザが容易に選択可能にする。【解決手段】電子機器は、動画コンテンツの複数のフレーム画像を画面に順に表示するとともに、複数のフレーム画像の再生時間と対応するタイムラインエリアを画面に表示し、基準位置が設定された第1のフレーム画像および第2のフレーム画像との間に存在する第3のフレーム画像に対して、第1のフレーム画像および第2のフレーム画像の基準位置を結ぶ軌跡上の位置を算出し、算出された位置を第3のフレーム画像の基準位置として設定し、ユーザにより指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザにより指定された1つの基準位置を維持するように設定し、指定期間と他の期間とをタイムラインエリアにおいて区別して表示し、複数のフレーム画像それぞれに設定された基準位置に応じた領域を画面に順に表示する。【選択図】図3
Description
本発明は、電子機器、電子機器の制御方法、プログラムに関する。
VRコンテンツ(全方位画像、または全天球パノラマ画像など)の再生や共有ができるプラットフォーム、および機器が存在している。ここで、VRコンテンツを扱いやすい画像に変換するために、VRコンテンツより狭い画角の領域をVRコンテンツから切り出す方法が知られている。また、切り出し画角は、ユーザ操作により1つ1つのフレームに対して指定できる。
特許文献1,2では、VRコンテンツにおける任意の位置をユーザ操作により指定することができ、その位置を中心とした範囲(元のVRコンテンツよりも狭い範囲)の画像を切り出す(選択する)技術が開示されている。
しかしながら、特許文献1,2に開示された技術では、VRコンテンツの全てのフレームについて領域の切り出し(選択)を行おうとすると、全てのフレームについてユーザが位置の指定を行う必要がある。このため、ユーザによる手番が多く時間がかかってしまう。
そこで、本発明は、コンテンツにおける一部の領域をユーザが容易に選択可能にすることを目的とする。
本発明の1つの態様は、
動画コンテンツを再生する電子機器であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御する表示制御手段と、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出する算出手段と、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定し、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定する設定手段と、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示するように制御し、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に
表示することによって、前記動画コンテンツを再生するよう制御する制御手段と、
を有することを特徴とする電子機器である。
動画コンテンツを再生する電子機器であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御する表示制御手段と、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出する算出手段と、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定し、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定する設定手段と、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示するように制御し、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に
表示することによって、前記動画コンテンツを再生するよう制御する制御手段と、
を有することを特徴とする電子機器である。
本発明の1つの態様は、
動画コンテンツを再生する電子機器の制御方法であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御するステップと、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出するステップと、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定するステップと、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定するステップと、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示するように制御するステップと、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に表示することによって、前記動画コンテンツを再生するよう制御ステップと、
を含むことを特徴とする電子機器の制御方法である。
動画コンテンツを再生する電子機器の制御方法であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御するステップと、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出するステップと、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定するステップと、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定するステップと、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示するように制御するステップと、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に表示することによって、前記動画コンテンツを再生するよう制御ステップと、
を含むことを特徴とする電子機器の制御方法である。
本発明によれば、コンテンツにおける一部の領域をユーザが容易に選択できる。
システム的に自動で切り出し(抽出)の基準となる位置(切出基準位置)を設定するような技術が考えられる。例えば、第1の時刻の切出基準位置から第2の時刻の切出基準位置に変化していくように、第1の時刻と第2の時刻の間の各時刻の切出基準位置が設定される。しかし、この技術で、第1の時刻および第2の時刻の間の各時刻において切出基準位置を同一の位置に設定したい場合には、ユーザ自身が、第1の時刻および第2の時刻の両方に同一の切出基準位置を設定する必要がある。そこで、以下の実施形態では、さらに容易に、2つの間の時刻において切出基準位置を同一の位置に設定することが可能な技術を説明する。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一な構成については、同じ符号を付して説明する。
<実施形態1>
以下、図面を参照して本発明の好適な実施形態1を説明する。図1Aに電子機器であるデジタルカメラ100(撮像装置)の前面斜視図(外観図)を示す。図1Bにデジタルカメラ100の背面斜視図(外観図)を示す。デジタルカメラ100は、全方位カメラ(全天球カメラ)である。
以下、図面を参照して本発明の好適な実施形態1を説明する。図1Aに電子機器であるデジタルカメラ100(撮像装置)の前面斜視図(外観図)を示す。図1Bにデジタルカメラ100の背面斜視図(外観図)を示す。デジタルカメラ100は、全方位カメラ(全天球カメラ)である。
バリア102aは、デジタルカメラ100の前方を撮影範囲とした「カメラ部A」のための撮影レンズ103aの保護窓である。バリア102aは、撮影レンズ103a自体の外側の面であってもよい。「カメラ部A」は、デジタルカメラ100の前側の上下左右180度以上の広範囲を撮影範囲とする広角カメラである。バリア102bは、デジタルカメラの後方を撮影範囲とした「カメラ部B」のための撮影レンズ103bの保護窓である。バリア102bは、撮影レンズ103b自体の外側の面であってもよい。「カメラ部B」は、デジタルカメラ100の後ろ側の上下左右180度以上の広範囲を撮影範囲とする広角カメラである。
表示部28は、各種情報を表示する表示部である。シャッターボタン61は、撮影指示を行うための操作部である。モード切替スイッチ60は、各種モードを切り替えるための操作部である。接続I/F25は、外部機器(スマートフォン、パーソナルコンピュータ、テレビなど)と接続するための接続ケーブルとデジタルカメラ100とのコネクタである。操作部70は、ユーザからの各種操作を受け付ける操作部材(各種スイッチ、ボタン、ダイヤル、タッチセンサなど)により成る操作部である。電源スイッチ72は、電源オン、電源オフを切り替えるための押しボタンである。
発光部21は、発光ダイオード(LED)などの発光部材である。発光部21は、デジタルカメラ100の各種状態を発光パターンや発光色によってユーザに通知する。固定部40は、例えば三脚ネジ穴であり、三脚などの固定器具に固定して設置するための部材である。
図1Cは、デジタルカメラ100の構成例を示すブロック図である。バリア102aは、デジタルカメラ100の、撮影レンズ103aを含む「カメラ部A」の撮像系を覆うことにより、撮像系(撮影レンズ103a、シャッター101a、撮像部22aを含む)の汚れや破損を防止する。撮影レンズ103aは、レンズ群であり、ズームレンズおよびフォーカスレンズを含む。撮影レンズ103aは、例えば、広角レンズである。シャッター101aは、撮像部22aへの被写体光の入射量を調整する絞り機能を備えるシャッターである。撮像部22aは、光学像を電気信号に変換するCCDやCMOS素子などで構成される撮像素子である。A/D変換器23aは、撮像部22aから出力されるアナログ信号をデジタル信号に変換する。
バリア102bは、デジタルカメラ100の、撮影レンズ103bを含む「カメラ部B」の撮像系を覆うことにより、撮像系(撮影レンズ103b、シャッター101b、撮像部22bを含む)の汚れや破損を防止する。撮影レンズ103bは、レンズ群であり、ズームレンズおよびフォーカスレンズを含む。撮影レンズ103bは、例えば、広角レンズである。シャッター101bは、撮像部22bへの被写体光の入射量を調整する絞り機能を備えるシャッターである。撮像部22bは、光学像を電気信号に変換するCCDやCMOS素子などで構成される撮像素子である。A/D変換器23bは、撮像部22bから出力されるアナログ信号をデジタル信号に変換する。
撮像部22aおよび撮像部22bにより、VR画像が撮像される。VR画像とは、VR表示をすることのできる画像であるものとする。VR画像には、全方位カメラ(全天球カメラ)で撮像した全方位画像(全天球画像)や、表示部に一度に表示できる表示範囲より
広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれるものとする。VR画像には、静止画だけでなく、動画やライブビュー画像(カメラからほぼリアルタイムで取得した画像)も含まれる。VR画像は、最大で上下方向(垂直角度、天頂からの角度、仰角、俯角、高度角)360度、左右方向(水平角度、方位角度)360度の視野分の映像範囲(有効映像範囲)を持つ。また、VR画像は、上下360度未満、左右360度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角(視野範囲)、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つ画像も含むものとする。例えば、左右方向(水平角度、方位角度)360度、天頂(zenith)を中心とした垂直角度210度の視野分(画角分)の被写体を撮影可能な全天球カメラで撮影された画像はVR画像の一種である。
広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれるものとする。VR画像には、静止画だけでなく、動画やライブビュー画像(カメラからほぼリアルタイムで取得した画像)も含まれる。VR画像は、最大で上下方向(垂直角度、天頂からの角度、仰角、俯角、高度角)360度、左右方向(水平角度、方位角度)360度の視野分の映像範囲(有効映像範囲)を持つ。また、VR画像は、上下360度未満、左右360度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角(視野範囲)、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つ画像も含むものとする。例えば、左右方向(水平角度、方位角度)360度、天頂(zenith)を中心とした垂直角度210度の視野分(画角分)の被写体を撮影可能な全天球カメラで撮影された画像はVR画像の一種である。
また、例えば、左右方向(水平角度、方位角度)180度、水平方向を中心とした垂直角度180度の視野分(画角分)の被写体を撮影可能なカメラで撮影された画像はVR画像の一種である。すなわち、上下方向と左右方向にそれぞれ160度(±80度)以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はVR画像の一種である。このVR画像をVR表示(表示モード:「VRビュー」で表示)すると、左右回転方向に表示装置の姿勢を変化させることで、左右方向(水平回転方向)には継ぎ目のない全方位の映像を視聴することができる。上下方向(垂直回転方向)には、真上(天頂)から見て±105度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から105度を超える範囲は映像が存在しないブランク領域となる。VR画像は、「映像範囲が仮想空間(VR空間)の少なくとも一部である画像」とも言える。
VR表示(VRビュー)とは、VR画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法(表示モード)である。表示装置であるヘッドマウントディスプレイ(HMD)を装着して視聴する場合には、ユーザの顔の向きに応じた視野範囲の映像を表示することになる。例えば、VR画像のうち、ある時点で左右方向に0度(特定の方位、例えば北)、上下方向に90度(天頂から90度、すなわち水平)を中心とした視野角(画角)の映像を表示しているものとする。この状態から、表示部の姿勢を表裏反転させると(例えば、表示面を南向きから北向きに変更すると)、同じVR画像のうち、左右方向に180度(逆の方位、例えば南)、上下方向に90度(水平)を中心とした視野角の映像に、表示範囲が変更される。ユーザがHMDを視聴している場合で言えば、ユーザが顔を北から南に向ければ(すなわち後ろを向けば)、HMDに表示される映像も北の映像から南の映像に変わるということである。このようなVR表示によって、ユーザに、視覚的にあたかもVR画像内(VR空間内)のその場にいるような感覚を提供することができる。VRゴーグル(ヘッドマウントアダプター)に装着されたスマートフォンは、HMDの一種と言える。
なお、VR画像の表示方法は上記に限るものではなく、姿勢の変化ではなく、タッチパネルや方向ボタンなどに対するユーザ操作に応じて、表示範囲を移動(スクロール)させてもよい。VR表示(VRビューモード)での表示時にも、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ操作やマウスなどの操作部材に対するドラッグ操作に応じても表示範囲を変更できるようにしてもよい。
画像処理部24は、A/D変換器23a、A/D変換器23bからのデータ、または、メモリ制御部15からのデータに対しリサイズ処理(所定の画素補間、縮小といった処理)や色変換処理を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行う。画像処理部24により得られた演算結果に基づいて、システム制御部50が露光制御、および測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処
理が行われる。画像処理部24は、さらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
理が行われる。画像処理部24は、さらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
また、画像処理部24は、A/D変換器23a、A/D変換器23bから得られた2つの画像(魚眼画像)に基本の画像処理を施した後、合成(繋ぎ画像処理)して単一のVR画像を生成する。2つの画像の繋ぎ画像処理では、画像処理部24は、2つの画像それぞれにおいて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、繋ぎ位置を検出する。そして、検出した繋ぎ位置と各光学系レンズ特性を考慮して、画像処理部24は、2つの画像をそれぞれ幾何学変換により歪み補正し、全天球イメージ形式に変換する。この2つの全天球イメージ形式の画像をブレンドすることで、画像処理部24は、最終的に1つの全天球画像(VR画像)を生成する。生成された全天球画像(VR画像)は、例えば正距円筒図法を用いた画像となり、各画素の位置が球体の表面の座標と対応づけることが可能となる。また、ライブビューでのVR表示時、あるいは再生時には、VR画像をVR表示するための画像切り出し処理、拡大処理、歪み補正などを行いメモリ32のVRAMへ描画するレンダリングも行う。
A/D変換器23からの出力データは、画像処理部24およびメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、接続I/F25から外部のディスプレイに出力するための画像を格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は、画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に格納されている画像表示用のデータは、接続I/F25から外部のディスプレイに出力されることが可能である。VR画像(撮像部22a,22bで撮像され、画像処理部24で生成されたVR画像であって、メモリ32に蓄積されたVR画像)がディスプレイに逐次転送されて、そのVR画像が表示される。このことで、VR画像のライブビュー表示(LV表示)が可能になる。以下、ライブビューで表示される画像をLV画像と称する。また、メモリ32に蓄積されたVR画像を、通信部54を介して無線接続された外部機器(スマートフォンなど)に転送し、外部機器側で表示することでもライブビュー表示(リモートLV表示)を行える。
不揮発性メモリ56は、電気的に消去・記録可能な記録媒体としてのメモリである。不揮発性メモリ56には、例えばEEPROMなどが用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラムなどが記憶される。ここでいう、プログラムとは、後述する各種フローチャートの処理を実行するためのコンピュータプログラムのことである。
システム制御部50は、少なくとも1つのプロセッサまたは回路を有する制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、不揮発性メモリ56に記録されたプログラムを実行することで、各実施形態の各処理を実現する。システムメモリ52には、例えばRAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラムなどが展開される。また、システム制御部50は、メモリ32、画像処理部24、およびメモリ制御部15を制御することにより表示制御も行う。
システムタイマー53は、時間(各種制御に用いる時間や、内蔵された時計の時間)を計測する計時部である。
モード切替スイッチ60、シャッターボタン61、操作部70は、システム制御部50に各種の動作指示を入力するための操作部材である。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モードなどのいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモードがある。また、静止画記録モードに含まれるモードには、撮影シーン別の撮影設定となる各種シーンモード、カスタムモードなどがある。モード切替スイッチ60により、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示部28に表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり、第1シャッタースイッチ信号SW1を発生させる。システム制御部50は、第1シャッタースイッチ信号SW1の発生により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理などの撮影準備動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生させる。システム制御部50は、第2シャッタースイッチ信号SW2の発生により、撮像部22からの信号読み出しから記録媒体90に画像データを書き込むまでの一連の撮影処理の動作を開始する。
なお、シャッターボタン61は、全押しと半押しの2段階の操作ができるものに限るものではなく、1段階の押下だけができる操作部材であってもよい。その場合、1段階の押下によって撮影準備動作と撮影処理が連続して行われる。これは、半押しと全押しが可能なシャッターボタンをいわゆる全押しした場合と同じ動作(SW1とSW2がほぼ同時に発生した場合の動作)である。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられる各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどがある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面を見ながら操作部70を操作することで、直感的に各種設定を行うことができる。
電源制御部80は、電池検出回路、DC-DCコンバータ、スイッチ回路(通電するブロックを切り替える回路)などにより構成される。電源制御部80は、電池の装着の有無、電池の種類、電池残量を検出する。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、各部(記録媒体90を含む)へ供給する。電源部30は、一次電池(アルカリ電池やリチウム電池など)や二次電池(NiCd電池やNiMH電池、Li電池など)、ACアダプターなどからなる。
記録媒体I/F18は、記録媒体90(メモリーカードやハードディスクなど)とのイ
ンターフェースである。記録媒体90は、撮影された画像を記録するためのメモリーカードなどの記録媒体である。記録媒体90は、半導体メモリや光ディスク、磁気ディスクなどから構成される。記録媒体90は、デジタルカメラ100に着脱可能な交換記録媒体でもよいし、デジタルカメラ100に内蔵の記録媒体であってもよい。
ンターフェースである。記録媒体90は、撮影された画像を記録するためのメモリーカードなどの記録媒体である。記録媒体90は、半導体メモリや光ディスク、磁気ディスクなどから構成される。記録媒体90は、デジタルカメラ100に着脱可能な交換記録媒体でもよいし、デジタルカメラ100に内蔵の記録媒体であってもよい。
通信部54は、無線または有線ケーブルによって外部機器に接続し、映像信号や音声信号などの送受信を行う。通信部54は、無線LANやインターネットとも接続可能である。通信部54は、撮像部22aまたは撮像部22bで撮像した画像(LV画像を含む)や、記録媒体90に記録された画像を送信可能である。また、通信部54は、画像やその他の各種情報を外部機器から受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。撮像部22で撮影された画像が、また、ヨー、ピッチ、ローの3軸方向にどの程度傾けた姿勢で撮影された画像であるか判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22a、22bで撮像されたVR画像の画像ファイルに付加することができる。また、システム制御部50は、検出された姿勢に応じて画像を回転(傾き補正するように画像の向きを調整)して、記録することも可能である。姿勢検知部55には、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどを1つ以上組み合わせて用いることができる。姿勢検知部55(加速度センサー、ジャイロセンサー、方位角センサー)を用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否かなど)を検知することも可能である。
マイク20は、VR画像の動画の音声として記録されるデジタルカメラ100の周囲の音声を集音するマイクロフォンである。接続I/F25は、外部機器と接続して映像の送受信を行うための、HDMI(登録商標)ケーブルやUSBケーブルなどとの接続プラグである。
図2Aに、電子機器の一種である表示制御装置200の外観図の例を示す。ディスプレイ205は、画像や各種情報を表示する表示部である。ディスプレイ205は、後述するようにタッチパネル206aと一体的に構成されている。このため、表示制御装置200は、ディスプレイ205の表示面へのタッチ操作を検出できる。表示制御装置200は、VR形式の画像(VRコンテンツ)をディスプレイ205においてVR形式で表示し、再生することが可能である。
操作部206には、タッチパネル206a、操作部206b,206c,206d,206eが含まれる。操作部206bは、表示制御装置200の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部206cと操作部206dは、音声出力部212から出力する音声のボリュームを増減するボリュームボタンである。操作部206eは、ディスプレイ205にホーム画面を表示させるためのホームボタンである。音声出力端子212aは、イヤホンジャックであり、イヤホンや外部スピーカーなどに音声を出力する端子である。スピーカー212bは、音声を発音する本体内蔵スピーカーである。
図2Bに、表示制御装置200の構成の一例を示す。表示制御装置200は、スマートフォンなどの表示装置を用いて構成可能なものである。内部バス250に対して、CPU201、メモリ202、不揮発性メモリ203、画像処理部204、ディスプレイ205、操作部206、記憶媒体I/F207、外部I/F209、および、通信I/F210
が接続されている。また、内部バス250に対して、音声出力部212と姿勢検出部213も接続されている。内部バス250に接続される各部は、内部バス250を介して互いにデータのやりとりを行うことができる。
が接続されている。また、内部バス250に対して、音声出力部212と姿勢検出部213も接続されている。内部バス250に接続される各部は、内部バス250を介して互いにデータのやりとりを行うことができる。
CPU201は、表示制御装置200の全体を制御する制御部であり、少なくとも1つのプロセッサまたは回路からなる。メモリ202は、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU201は、例えば不揮発性メモリ203に格納されるプログラムに従い、メモリ202をワークメモリとして用いて、表示制御装置200の各部を制御する。不揮発性メモリ203には、画像データや音声データ、その他のデータ、CPU201が動作するための各種プログラムなどが格納される。不揮発性メモリ203は、例えばフラッシュメモリやROMなどで構成される。
画像処理部204は、CPU201の制御に基づいて、画像(不揮発性メモリ203や記憶媒体208に格納された画像や、外部I/F209を介して取得した映像信号、通信I/F210を介して取得した画像など)に対して各種画像処理を施す。画像処理部204が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。また、画像処理部204は、広範囲のデータを有する広範囲画像(全方位画像あるいは全方位に限られない)であるVR画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部204は、特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部204を用いずに、CPU201がプログラムに従って画像処理を施すことも可能である。
ディスプレイ205は、CPU201の制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU201は、プログラムに従い表示制御信号を生成し、表示制御装置200の各部を制御する(ディスプレイ205に表示するための映像信号を生成してディスプレイ205に出力するように制御する)。ディスプレイ205は、映像信号に基づいて映像を表示する。なお、表示制御装置200自体が備える構成としてはディスプレイ205に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ205は外付けのモニタ(テレビなど)で構成してもよい。
操作部206は、ユーザ操作を受け付けるための入力デバイスである。操作部206は、文字情報入力デバイス(キーボードなど)、ポインティングデバイス(マウス、タッチパネルなど)、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む。なお、タッチパネルは、ディスプレイ205に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力される入力デバイスである。
記憶媒体I/F207は、記憶媒体208(メモリーカードやCD、DVD)が装着可能である。記憶媒体I/F207は、CPU201の制御に基づき、装着された記憶媒体208からのデータの読み出しや、当該記憶媒体208に対するデータの書き込みを行う。外部I/F209は、有線ケーブルや無線によって外部機器と接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信I/F210は、外部機器やネットワーク211などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
音声出力部212は、動画や音楽データの音声、操作音、着信音、各種通知音などを出力する。音声出力部212には、音声出力端子212a(イヤホンなどを接続する端子)、スピーカー212bが含まれる。音声出力部212は、無線通信などで音声出力を行ってもよい。
姿勢検出部213は、重力方向に対する表示制御装置200の姿勢や、ヨー、ロール、ピッチの各軸に対する姿勢の傾きを検知する。姿勢検出部213で検知された姿勢に基づいて、表示制御装置200が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部213には、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうち少なくとも1つを用いることができ、複数を組み合わせて用いることも可能である。
なお、操作部206には、タッチパネル206aが含まれる。CPU201は、タッチパネル206aへの以下の操作、あるいは状態を検出できる。
・タッチパネル206aにタッチしていなかった指やペンが新たにタッチパネル206aにタッチしたこと、すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する。)
・タッチパネル206aを指やペンがタッチしている状態であること(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル206aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル206aへタッチしていた指やペンがタッチパネル206aから離れたこと、すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル206aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
・タッチパネル206aにタッチしていなかった指やペンが新たにタッチパネル206aにタッチしたこと、すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する。)
・タッチパネル206aを指やペンがタッチしている状態であること(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル206aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル206aへタッチしていた指やペンがタッチパネル206aから離れたこと、すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル206aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。
これらの操作・状態や、タッチパネル206a上に指やペンがタッチしている位置座標は内部バスを通じてCPU201に通知され、CPU201は通知された情報に基づいてタッチパネル206a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル206a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル206a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル206a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと称する。フリックは、言い換えればタッチパネル206a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。
さらに、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル206aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式など、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
記憶媒体208は、ディスプレイ205で表示するための画像などのデータを記憶する。CPU201は、記憶媒体I/F207を介して、記憶媒体208に対する記録/読み出しを行う。
外部I/F209は、USBケーブルなどが表示制御装置200に差し込まれることで、外部機器とのデータ通信を行うためのインターフェースである。通信I/F210は、無線通信を介して外部のネットワーク211とのデータ通信を行うためのインターフェースある。
音声出力部212は、表示制御装置200で再生するコンテンツの音声などを出力する。姿勢検出部213は、表示制御装置200の姿勢を検知し、CPU201へ姿勢情報を通知する。
次に、図3A~図3Cと図4を用いて、デジタルカメラ100が撮影により取得したVRコンテンツの一部の画角の画像を切り出す(選択する)ための切出基準位置(視点位置)を設定する表示制御処理を説明する。ここで、VRコンテンツは、全方位画像または全天球パノラマ画像であり得る。VRコンテンツは、左右方向(水平角度、方位角度)180度以下、水平方向を中心とした垂直角度180度以下の視野分(画角分)の被写体を撮影可能なカメラで撮影された画像であってもよい。また、VRコンテンツは、再生時刻(フレーム)ごとに画像(フレーム画像)が対応付けられていれば、静止画であってもよいし、動画であってもよい。なお、以下では、VRコンテンツは、複数のフレーム画像を含む動画コンテンツであるとして説明する。そして、各フレーム画像は、VRコンテンツの再生期間における再生時刻に対応する。VRコンテンツは、複数のフレーム画像を、再生時刻にしたがって順(時系列順)に画面に表示して再生される。
また、VRコンテンツの各フレーム(各再生時刻)に紐づく切出基準位置のデータは、位置設定データに格納されている。位置設定データは、例えば、図3Cに示すようにテーブル形式のデータである。また、位置設定データは、メモリ202に格納されている。なお、ユーザが切出基準位置を指定しない場合であっても、位置設定データには、各フレームに対して切出基準位置として所定の初期値(例えば、VRコンテンツの中心位置)が紐づけられる。
(表示制御画面について)
図3Aは、表示制御処理を行うために、表示制御装置200のディスプレイ205に表示される表示制御画面300である。
図3Aは、表示制御処理を行うために、表示制御装置200のディスプレイ205に表示される表示制御画面300である。
表示制御画面300は、再生表示エリア301とタイムラインエリア302を含む。再生表示エリア301は、再生中のVRコンテンツのフレーム画像(現在の再生時刻の1フレームの画像)から、切出基準位置を中心とした範囲(フレーム画像の一部)を切り出した(選択した)画角領域を表示する。タイムラインエリア302は、VRコンテンツの再生時間と対応し、再生期間の少なくとも一部におけるVRコンテンツの時間的な変化(再生時刻の経過に応じた変化)を表す。
再生表示エリア301には、VRコンテンツの再生時刻と対応するフレーム画像が表示され、さらに、当該フレーム画像(フレーム)にユーザが指定した切出基準位置(以降、ユーザが指定した切出基準位置を「指定位置」と称する)が設定されている場合には、その指定位置にポインタ303が表示される。なお、ユーザは、1つのフレーム(フレーム画像)に1つの指定位置を設定するだけではなく、複数の連続するフレーム画像からなる1つの期間(区間)に対して、共通した1つの指定位置を設定することができる。1つの
指定位置が設定された期間(「指定期間」と呼ぶ)では、当該指定期間が含む全てのフレームに紐づく切出基準位置が、指定位置に固定される。
指定位置が設定された期間(「指定期間」と呼ぶ)では、当該指定期間が含む全てのフレームに紐づく切出基準位置が、指定位置に固定される。
ここで、ポインタ303は、実施形態1では、切り出された画像(画角領域)の中央位置に表示されるが、画角領域の対角の2隅の座標のように複数の座標に表示されてもよい。ポインタ303は、再生表示エリア301に再生中のフレームが指定期間に含まれることを示すことができれば、任意の表示アイテムであってよい。
タイムラインエリア302には、例えば、所定数のフレーム(所定の期間)につき1つのフレーム(再生時刻)がVRコンテンツから選択されて、選択された複数のフレームの画像(フレーム画像)がフレーム順(再生時刻順)に並べて表示される。このように複数のフレームの画像が並べられることにより、再生期間の少なくとも一部の期間におけるVRコンテンツの時間変化が表現される。なお、タイムラインエリア302では、選択されたフレームの画像について、当該フレームに紐づく切出基準位置を中心とした画角領域のみが表示される。タイムラインエリア302では、右に行くほど、後のフレームの画像が表示される。つまり、タイムラインエリア302では、右に行くほど、遅い再生時刻の期間が表現されている。
また、タイムラインエリア302において、切出基準位置の維持が設定されている期間(指定期間)が存在する場合には、切出基準位置の維持が設定されていない期間(「非指定期間」と呼ぶ)と区別するように指定期間が表示される。ここで、実施形態1では、表示制御装置200は、図3Aのように、指定期間304に相当するフレーム画像が透過して見えるように、指定期間304を塗りつぶしているが、他の方式により指定期間304を強調して表示してもよい。また、表示制御装置200は、指定期間304ではなく、非指定期間を強調して表示してもよい。
さらに、表示制御装置200は、表示制御画面300には、再生表示エリア301で表示再生しているフレーム(再生フレーム)に指定位置を設定するための追加ボタン305を表示してもよい。表示制御装置200は、表示制御画面300に、再生表示エリア301で再生フレームに指定位置が設定されている場合には、その指定位置を他のフレームに反映するためのコピーボタン306を表示してもよい。例えば、ユーザの操作にしたがって、タイムラインエリア302上で指定期間を設定し、コピーボタン306へのタッチに応じて、指定期間304に含まれる複数のフレーム(フレーム画像)に対して指定位置をコピーして設定する。
なお、ユーザ操作にしたがって、再生表示エリア301で表示再生しているフレーム(再生フレーム)に指定位置を設定し、さらに、異なる再生フレームに対して異なる指定位置を設定した場合を想定する。この場合には、これらの2つのフレームの間に存在する複数のフレーム(フレーム画像)については、これら2つのフレーム(フレーム画像)の指定位置を結ぶ軌跡上の位置がフレーム毎に算出され、自動的に設定される。
さらに、表示制御装置200は、表示制御画面300に、VRコンテンツから各フレームの画角領域を切り出した(抽出した)動画を生成するための生成ボタン307を表示してもよい。ユーザは、ディスプレイ205に表示された各種ボタン(追加ボタン305、コピーボタン306、生成ボタン307)を、タッチすることにより、各種ボタンに対応する指示を表示制御装置200に行うことができる。さらに、複数の指定期間が選択された後に、特定のボタンが押下されることにより、表示制御装置200(CPU201)は、選択された複数の指定期間の長さを同じ長さにするように制御してもよい。また、複数の指定期間が選択された後に、特定のボタンが押下されることにより、CPU201は、選択された複数の指定期間に紐づく指定位置を同じ位置にするように制御してもよい。
また、例えば、タイムラインエリア302に表示された指定期間304に対するピンチ操作(ピンチアウトまたはピンチイン)に応じて、指定期間304の範囲が変更可能であってもよい。さらには、ポインタ303に対するタッチムーブに応じて、再生表示エリア301に表示中のフレーム画像のフレームに紐づく指定位置が変更可能であってもよい。このとき、CPU201は、当該フレームに紐づく指定位置が変更されると、当該フレームが属する指定期間の全ての各フレームの指定位置も同様に変更する。
(表示制御処理について)
図4は、表示制御処理を示すフローチャートである。本フローチャートの処理は、操作部206に対して所定の操作が行われたと判定した場合に、開始する。ここで、所定の操作は、新しい指定位置を設定するために、追加ボタン305を押下する操作であり得る。さらに、或る期間(フレーム)に設定された指定位置の情報を他の期間(フレーム)に設定するために、コピーボタン306を押下する操作であり得る。そして、所定の操作は、タイムラインエリア302に表示された指定期間304に対するピンチ操作、またはポインタ303に対するタッチムーブであり得る。
図4は、表示制御処理を示すフローチャートである。本フローチャートの処理は、操作部206に対して所定の操作が行われたと判定した場合に、開始する。ここで、所定の操作は、新しい指定位置を設定するために、追加ボタン305を押下する操作であり得る。さらに、或る期間(フレーム)に設定された指定位置の情報を他の期間(フレーム)に設定するために、コピーボタン306を押下する操作であり得る。そして、所定の操作は、タイムラインエリア302に表示された指定期間304に対するピンチ操作、またはポインタ303に対するタッチムーブであり得る。
また、本フローチャートの処理は、不揮発性メモリ203に格納されたプログラムをCPU201が実行することにより実現される。
なお、以下では、VRコンテンツは、フレームf1~f100までの再生時間の100フレームの動画であるとする。つまり、VRコンテンツの開始フレームがフレームf1であり、VRコンテンツの終了フレームがフレームf100である。
ステップS401では、CPU201は、ユーザの操作に応じたデータ(操作データ)を取得する。ここで、操作データは、指定期間(切出基準位置を維持する期間)のデータ、および当該指定期間に紐づく指定位置のデータを含む。なお、指定期間における最初(先頭)のフレームを「始点フレーム」と呼び、指定期間における最後(末尾)のフレームを「終点フレーム」と称する。指定期間のデータは、指定期間の範囲が把握できればよいため、始点フレームと終点フレームとの2つのフレームにより構成されるデータであり得る。
例えば、ユーザ操作において、ポインタ303に対するタッチムーブが行われて、再生フレーム(再生表示エリア301に表示中のフレーム画像)における指定位置が変更されると、CPU201は、変更された当該指定位置のデータを取得する。そして、ユーザ操作にしたがって、タイムラインエリア上のコピーボタン306に対するタッチが行われて、当該フレーム画像と対応する始点フレームから終点フレームまでの期間を示す指定期間のデータを取得する。
また、ステップS401にて複数の操作データが取得されてもよい。例えば、CPU201は、VRコンテンツに紐づけている指定位置や指定期間を一括で変更する操作(複数の指定期間に紐づけられた指定位置を同一の位置に設定する操作など)が行われた場合には、複数の操作データを取得する。
以下、ステップS402~S415では、CPU201は、ステップS401にて取得した操作データの1つずつ個別に処理を実行することを繰り返す。ここで、処理の対象となる操作データを以降、「ターゲットデータ」と称する。また、ターゲットデータは、始点フレームft~終点フレームft’の指定期間を有する操作データであるとする。
ステップS402では、CPU201は、ターゲットデータを、指定データグループに
格納する。ここで、指定データグループは、図3Bに示すように、1または複数の指定データ(例えば、図3Bの例では、指定データ311~313)を含むことができる。1または複数の指定データそれぞれは、指定位置のデータと、切出基準位置を指定位置に維持することが設定された指定期間のデータを含む。指定位置と指定期間が互いに紐づけられて指定データとして指定データグループに格納されることにより、当該指定期間に対して、切出基準位置を当該指定期間に維持(固定)することが設定される。なお、指定データグループは、図3Bに示すようにデータテーブル形式のデータ(指定データテーブル)であってもよいし、配列形式のデータ(指定データ配列)であってもよい。
格納する。ここで、指定データグループは、図3Bに示すように、1または複数の指定データ(例えば、図3Bの例では、指定データ311~313)を含むことができる。1または複数の指定データそれぞれは、指定位置のデータと、切出基準位置を指定位置に維持することが設定された指定期間のデータを含む。指定位置と指定期間が互いに紐づけられて指定データとして指定データグループに格納されることにより、当該指定期間に対して、切出基準位置を当該指定期間に維持(固定)することが設定される。なお、指定データグループは、図3Bに示すようにデータテーブル形式のデータ(指定データテーブル)であってもよいし、配列形式のデータ(指定データ配列)であってもよい。
ステップS403では、CPU201は、指定データグループが先行データを含むか否かを判定する。ここで、「先行データ」とは、ターゲットデータの始点フレームftよりも前のフレームを始点フレームとして有する指定データである。例えば、ターゲットデータの始点フレームftがフレームf14であれば、図3Bに示すような指定データグループは、指定データ311(始点フレームftより前の始点フレームf10を含む指定データ)を先行データとして含む。指定データグループが先行データを含むと判定された場合には、ステップS404に進む。指定データグループが先行データを含まないと判定された場合には、ステップS408に進む。
ステップS404では、CPU201は、指定データグループに含まれる先行データのいずれかの指定期間と、ターゲットデータの指定期間とが重複するか否かを判定する。ここで、2つの指定期間が重複するとは、2つの指定期間が少なくとも1つの同一のフレームを有することをいう。このため、例えば、フレームf5~f10の指定期間とフレームf10~f15の指定期間とは、同一のフレームf10を有するため、重複する。また、例えば、ターゲットデータの指定期間がフレームf14~f18であり、先行データが指定データ311(指定期間をf10~f15とする指定データ)であれば、2つの指定期間が互いに重複する。いずれかの先行データの指定期間がターゲットデータの指定期間と重複すると判定された場合には、ステップS405に進む。いずれの先行データの指定期間もターゲットデータの指定期間と重複しないと判定された場合には、ステップS406に進む。
なお、いずれかの先行データの指定期間がターゲットデータの指定期間と重複する場合だけでなく、いずれかの先行データの指定期間とターゲットデータの指定期間とが連続する場合にも、ステップS405に進んでもよい。例えば、フレームf5~f9の指定期間とフレームf10~f15の指定期間とは、2つの指定期間の間に他のフレームが存在しておらず、連続している。
ステップS405では、CPU201は、ターゲットデータの指定期間が先行データの指定期間と重複する(または連続する)ことを解消するために、ターゲットデータの始点フレームftを所定フレーム分だけ後ろにずらす。例えば、ターゲットデータの指定期間であるフレームf14~f20と、先行データ(指定データ311)の指定期間であるフレームf10~f15が重複していれば、CPU201は、ターゲットデータの始点フレームftを3フレーム分だけ後にずらす。つまり、CPU201は、ターゲットデータの始点フレームftをフレームf17に変更する。なお、CPU201は、始点フレーム(指定期間)を変更したターゲットデータに応じて、指定データグループに格納されている指定データ(ターゲットデータに対応する指定データ)を更新する。
または、CPU201は、ターゲットデータの指定期間と重複する(または連続する)先行データ(「重複先行データ」と呼ぶ)の指定期間の終点フレームを所定フレーム分だけ前にずらしてもよい。なお、重複先行データは指定データグループに格納されているため、指定データグループにおける重複先行データの指定期間(終点フレーム)が更新され
る。
る。
ここで、変更する対象(ターゲットデータの始点フレームftと重複先行データの終点フレームのいずれを変更するか)や、所定フレームの数は、予め決められていてもよいし、操作によって設定可能であってもよい。なお、CPU201は、ターゲットデータの指定期間が先行データの指定期間と重複する(または連続する)ことが解消するまで、ターゲットデータの始点フレームftまたは重複先行データの終点フレームをずらすようにしてもよい。また、実施形態1では、CPU201は、2つの指定期間のいずれかを変更するが、2つの指定期間の両方を変更してもよいし、いずれの指定期間も変更しなくてもよい。また、CPU201は、指定データグループにおけるいずれかの指定データと重複する(または連続する)ような操作データ(ターゲットデータ)をユーザが設定できないように、制御していてもよい。
ステップS406では、CPU201は、重複先行データの終点フレームと、ターゲットデータの始点フレームftとの間のフレーム(「中間フレーム」と呼ぶ)の切出基準位置を算出(決定)する。ここで、CPU201は、例えば、重複先行データの終点フレームから始点フレームftにかけて(再生時刻の経過に応じて)、重複先行データの指定位置からターゲットデータの指定位置を結ぶ軌跡上を等速度で移動するように、中間フレームの切出基準位置を算出する。また、CPU201は、中間フレームの始点フレームから中間フレームの終点フレームにかけて(再生時刻の経過に応じて)、重複先行データの指定位置からターゲットデータの指定位置を結ぶ軌跡を等速度で移動するように、中間フレームの切出基準位置を算出してもよい。また、この切出基準位置の移動速度は、等速度に限らず、ユーザにより任意に設定できてもよい。
ステップS407では、CPU201は、ステップS406にて算出した中間フレームそれぞれの切出基準位置を、位置設定データに格納する。つまり、CPU201は、位置設定データにおける中間フレームそれぞれの切出基準位置を、ステップS406にて算出した切出基準位置に更新する。
ステップS408では、CPU201は、VRコンテンツの開始フレームf1からフレームft-1(ターゲットデータの始点フレームftの1つ前のフレーム)までの各フレームの切出基準位置を算出(決定)する。このとき、各フレームの切出基準位置は、ターゲットデータの指定位置または、位置設定データに予め格納されているフレームf1の切出基準位置にされてもよい。CPU201は、フレームf1からフレームftにかけて、位置設定データに格納されているフレームf1の切出基準位置からターゲットデータの指定位置に等速度で移動するように、フレームf1からフレームft-1それぞれの切出基準位置を算出してもよい。そして、CPU201は、位置設定データにおけるフレームf1からフレームft-1のそれぞれの切出基準位置を、算出した切出基準位置に更新する。
ステップS409では、CPU201は、指定データグループが後行データを含むか否か判定する。ここで、「後行データ」とは、ターゲットデータの終点フレームよりも後のフレームを終点フレームとして有する指定データである。例えば、ターゲットデータの終点フレームft’がフレームf30であれば、図3Bに示すような指定データグループは、指定データ313(終点フレームft’より前の終点フレームf33を含む指定データ)を後行データとして含む。指定データグループが後行データを含むと判定された場合には、ステップS410に進む。指定データグループが後行データを含まないと判定された場合には、ステップS414に進む。
ステップS410では、CPU201は、指定データグループに含まれる後行データの
いずれかの指定期間と、ターゲットデータの指定期間とが重複するか否かを判定する。いずれかの後行データの指定期間がターゲットデータの指定期間と重複すると判定された場合には、ステップS411に進む。いずれの後行データの指定期間もターゲットデータの指定期間と重複しないと判定された場合には、ステップS412に進む。
いずれかの指定期間と、ターゲットデータの指定期間とが重複するか否かを判定する。いずれかの後行データの指定期間がターゲットデータの指定期間と重複すると判定された場合には、ステップS411に進む。いずれの後行データの指定期間もターゲットデータの指定期間と重複しないと判定された場合には、ステップS412に進む。
なお、いずれかの後行データの指定期間がターゲットデータの指定期間と重複する場合だけでなく、いずれかの後行データの指定期間とターゲットデータの指定期間とが連続する場合にも、ステップS411に進んでもよい。
ステップS411では、CPU201は、ターゲットデータの指定期間が後行データの指定期間と重複(連続)することを解消するために、ターゲットデータの終点フレームft’を所定フレーム分だけ前にずらす。なお、CPU201は、終点フレームft’(指定期間)を変更したターゲットデータに応じて、指定データグループに格納されている指定データ(ターゲットデータに対応する指定データ)を更新する。
または、CPU201は、ターゲットデータの指定期間と重複する後行データ(「重複後行データ」と呼ぶ)の指定期間の始点フレームを所定フレーム分だけ後にずらしてもよい。なお、重複後行データは指定データグループに格納されているため、指定データグループにおける重複後行データの指定期間(始点フレーム)が更新される。
ここで、変更する対象(ターゲットデータの終点フレームft’と重複後行データの始点フレームのいずれを変更するか)や、上記の所定フレームの数は、予め決められていてもよいし、操作によって設定可能であってもよい。また、実施形態1では、CPU201は、2つの指定期間のいずれかを変更するが、2つの指定期間の両方を変更してもよいし、いずれの指定期間も変更しなくてもよい。また、CPU201は、指定データグループにおけるいずれかの指定データと重複する(または、連続する)ような操作データ(ターゲットデータ)をユーザが設定できないように、制御していてもよい。
ステップS412では、CPU201は、重複後行データの始点フレームと、ターゲットデータの終点フレームft’との間のフレーム(中間フレーム)の切出基準位置を算出する。ここで、CPU201は、例えば、終点フレームft’から重複後行データの始点フレームにかけて、ターゲットデータの指定位置から重複後行データの指定位置を結ぶ軌跡上を等速度で移動するように、中間フレームの切出基準位置を算出する。また、CPU201は、中間フレームの始点フレームから中間フレームの終点フレームにかけて(再生時刻の経過に応じて)、ターゲットデータの指定位置から重複後行データの指定位置を結ぶ軌跡上を等速度で移動するように、中間フレームの切出基準位置を算出してもよい。または、この切出基準位置の移動速度は、ユーザにより任意に設定できてもよい。
ステップS413では、CPU201は、ステップS412にて算出した中間フレームそれぞれの切出基準位置を、位置設定データに格納する。つまり、CPU201は、位置設定データにおける中間フレームそれぞれの切出基準位置を、ステップS412にて算出した切出基準位置に更新する。
ステップS414では、CPU201は、フレームft’+1(ターゲットデータの終点フレームft’の1つ後のフレーム)からVRコンテンツの終了フレームf100までの各フレームの切出基準位置を算出する。このとき、各フレームの切出基準位置は、ターゲットデータの指定位置または、位置設定データに予め格納されているフレームf100の切出基準位置にされてもよい。CPU201は、終点フレームft’からフレームf100にかけて、ターゲットデータの指定位置から予め格納されているフレームf100の切出基準位置を結ぶ軌跡上を等速度で移動するように、フレームft’+1~f100の
それぞれの切出基準位置を算出してもよい。そして、CPU201は、位置設定データにおけるフレームft’+1~f100のそれぞれの切出基準位置を、算出した切出基準位置に更新する。
それぞれの切出基準位置を算出してもよい。そして、CPU201は、位置設定データにおけるフレームft’+1~f100のそれぞれの切出基準位置を、算出した切出基準位置に更新する。
ステップS415では、CPU201は、位置設定データにおける始点フレームftから終点フレームft’までの各フレームの切出基準位置を、ターゲットデータの指定位置に更新する。例えば、ターゲットデータの指定期間がフレームf14~f18であり、ターゲットデータの指定位置が座標(200,200)であると仮定する。この場合には、CPU201は、位置設定データにおけるフレームf14~f18に紐づく切出基準位置を座標(200,200)に更新する。
ここで、ターゲットデータについてステップS415の処理が終了すると、CPU201は、ステップS402~S415の処理を実行していない操作データが残っていた場合には、残った操作データのいずれかを新たなターゲットデータとする。そして、CPU201は、新たなターゲットデータについてステップS402~S415の処理を実行する。これにより、CPU201は、取得した全ての操作データについて、ステップS402~S415の処理を実行することができる。
ステップS416では、CPU201は、指定データグループと位置設定データとに基づき、ディスプレイ205に表示した表示制御画面300の再生表示エリア301とポインタ303の表示を更新する。例えば、CPU201は、再生フレームの切出基準位置を位置設定データから取得して、VRコンテンツのうち切出基準位置に応じた画角領域を再生表示エリア301に表示する。また、CPU201は、指定期間に含まれる再生フレームのフレーム画像に対しては、天頂補正を施してから表示するようにしてもよい。これにより、VRコンテンツの撮影中、特に指定期間と対応する撮影の間に、撮像装置の姿勢が変化していたとしても、天球上で同じ位置の画角領域を表示再生することができる。なお、VRコンテンツに指定期間が存在する場合は、VRコンテンツに含まれるすべての再生フレームのフレーム画像について天頂補正を施し、指定期間が存在しない場合は天頂補正を施さないようにしてもよい。いずれにしても、指定期間に含まれる再生フレームのフレーム画像は、天頂補正が施されることが望ましい。
また、CPU201は、指定データグループのいずれかの指定データの指定期間に再生フレームが含まれている場合には、ポインタ303を表示する。なお、CPU201は、指定データグループのいずれの指定データの指定期間にも再生フレームが含まれていない場合には、ポインタ303を表示しないようにする。さらに、CPU201は、指定データグループに基づき、タイムラインエリア302における指定期間の表示を更新する。
(動画生成処理について)
次に、図5を用いて、図4に示すフローチャートに基づき指定期間が設定されたVRコンテンツから一部の画角で切り出した(選択した)動画を生成する動画生成処理を説明する。図5は、動画生成処理のフローチャートである。
次に、図5を用いて、図4に示すフローチャートに基づき指定期間が設定されたVRコンテンツから一部の画角で切り出した(選択した)動画を生成する動画生成処理を説明する。図5は、動画生成処理のフローチャートである。
図5のフローチャートの処理は、生成ボタン307の押下された(VRコンテンツから一部の画角領域で切り出した動画の生成が要求された)と判定された場合に、開始する。また、本フローチャートの処理は、不揮発性メモリ203に格納されたプログラムをCPU201が実行することにより実現される。
ここで、CPU201は、VRコンテンツのフレーム数の分、開始フレームf1から1フレームずつステップS501とステップS502の処理を実行することを繰り返す。つまり、CPU201は、開始フレームf1~終了フレームf100のそれぞれについて個
別に、ステップS501,S502の処理を実行する。以下では、ステップS501,S502の処理の対象のフレームを、「ターゲットフレーム」を称する。
別に、ステップS501,S502の処理を実行する。以下では、ステップS501,S502の処理の対象のフレームを、「ターゲットフレーム」を称する。
ステップS501では、CPU201は、位置設定データから、ターゲットフレームの切出基準位置のデータを取得する。
ステップS502では、CPU201は、ステップS502で取得した切出基準位置のデータに基づき、VRコンテンツのターゲットフレーム(ターゲットフレームのフレーム画像)から一部の画角領域を切り出す(選択する)。CPU201は、切り出した画角領域を切出画像としてメモリ202に格納する。
ステップS501およびS502の処理が終了すると、CPU201は、ターゲットフレームが最終フレームでなければ、ターゲットフレームの次のフレームを新たなターゲットフレームとしてステップS501およびS502の処理を行う。一方で、CPU201は、ターゲットフレームが最終フレームであれば、ステップS503の処理を行う。
ステップS503では、CPU201は、VRコンテンツの各フレームの切出画像をメモリ202から取得する。そして、CPU201は、取得した全ての切出画像をフレーム順(再生時刻順)に繋げて、動画像を生成する。
(速度制御処理について)
上記では、図4に示す表示制御処理のステップS406とステップS412において、CPU201は、指定位置が設定されていない期間(非指定期間;未設定の期間)に対しては、非指定期間の前後の指定期間の指定位置に基づき切出基準位置を算出することを説明した。そして、非指定期間では、再生時刻の経過に応じて、或る位置(座標)から他の位置まで移動するように切出基準位置が算出されてもよいことを説明した。そこで、以下では、所定のグラフに基づき、非指定期間において切出基準位置が移動する速度を制御する速度制御処理を図6A~図6Dと図7を用いて説明する。
上記では、図4に示す表示制御処理のステップS406とステップS412において、CPU201は、指定位置が設定されていない期間(非指定期間;未設定の期間)に対しては、非指定期間の前後の指定期間の指定位置に基づき切出基準位置を算出することを説明した。そして、非指定期間では、再生時刻の経過に応じて、或る位置(座標)から他の位置まで移動するように切出基準位置が算出されてもよいことを説明した。そこで、以下では、所定のグラフに基づき、非指定期間において切出基準位置が移動する速度を制御する速度制御処理を図6A~図6Dと図7を用いて説明する。
図6Aは、速度制御処理を行うために、ディスプレイ205に表示する表示制御画面600を示す。図6Aに示す表示制御画面600は、基本的には、図3Aに示す表示制御画面300と同様の表示構成を有する。このため、速度制御処理において特筆すべき表示構成についてのみ、以下にて説明する。
表示制御画面600には、VRコンテンツの時間的変化(再生時刻の経過に応じた変化)を表示するタイムラインエリア602が表示される。タイムラインエリア602では、指定位置(指定位置の維持)が設定されている指定期間604が強調表示されている。ここで、指定期間604ではなく、非指定期間が強調表示されてもよい。
さらに、タイムラインエリア602には、非指定期間に重畳して、移動速度グラフ608(非指定期間における切出基準位置の移動速度を表すグラフ)が表示されている。非指定期間における切出基準位置の移動速度が等速度の場合には、移動速度グラフ608は、例えば、図6Aに示すように非指定期間において斜めの直線によって表される。さらに、移動速度グラフ608は、非指定期間における切出基準位置の移動速度が等速度でない場合には、図6B~図6Dに示すような曲線により表される移動速度グラフである。また、移動速度グラフではなく、非指定期間における切出基準位置の移動速度を表す他の表示が行われてもよい。なお、移動速度グラフ608は、タイムラインエリア602に表示されたすべての非指定期間に表示されてもよいし、ユーザにより指定された特定の非指定期間のみに表示されてもよい。
図7は、移動速度グラフに基づき、切出基準位置の移動速度を制御する速度制御処理のフローチャートである。1つの移動速度グラフを選択する操作が行われたと判定された場合に、速度制御処理は開始する。なお、1つの移動速度グラフを選択する操作とは、移動速度グラフに対するタッチや、特定のボタンに押下によって移動速度グラフを選択する操作であり得る。また、本フローチャートの処理は、不揮発性メモリ203に格納されたプログラムをCPU201が実行することにより実現される。
ステップS701では、CPU201は、選択された移動速度グラフのデータと、その移動速度グラフが重畳された非指定期間のデータを取得する。
ステップS702では、CPU201は、移動速度グラフの形状と非指定期間に基づき、非指定期間の各フレームにおける切出基準位置を計算する。例えば、CPU201は、図6Aに示すような形状の移動速度グラフを取得した場合には、非指定期間における切出基準位置の移動速度が等速度となるように各フレームの切出基準位置を決定する。
さらに、CPU201は、図6B~図6Dに示すような形状の移動速度グラフを取得した場合には、非指定期間における切出基準位置の移動速度を、移動速度グラフの傾きが大きい期間では傾きに合わせた速い速度にする。そして、CPU201は、切出基準位置の移動速度を、移動速度グラフの傾きが小さい期間では傾きに合わせた遅い速度にする。そして、CPU201は、非指定期間のフレーム数に収まるように切出基準位置の移動速度を調整することによって、各フレームの切出基準位置を決定する。
例えば、図6Bに示す移動速度グラフは、非指定期間の最初のフレームが最も切出基準位置の移動速度が速く、フレームが後になるにつれて移動速度が遅くなることを示している。図6Cに示す移動速度グラフは、図6Bとは逆に、非指定期間の最初のフレームが最も切出基準位置の移動速度が遅く、フレームが後になるにつれて移動速度が速くなることを示している。図6Dに示す移動速度グラフは、移動速度グラフの形状に合わせて、移動速度も速くなったり遅くなったりすることを示している。なお、移動速度グラフの形状は、移動速度グラフに対するタッチムーブによって、ユーザが任意に変更することができる。
ステップS703では、CPU201は、位置設定データにおける非指定期間の各フレームの切出基準位置を、S702にて算出した各フレームの切出基準位置に更新する。
ステップS704では、CPU201は、ステップS416と同様に、指定データグループと位置設定データとに基づき、ディスプレイ205に表示した表示制御画面600の再生表示エリアの表示を更新する。また、CPU201は、指定データグループに基づき、タイムラインエリア602の表示を更新する。
ここまで、表示制御処理、動画生成処理、および速度制御処理について、実施形態1では表示制御装置200が実行する例を説明した。しかし、デジタルカメラ100が、表示制御装置200で説明した構成の少なくとも一部を備えて、これらの処理を実行してもよい。
また、CPU201は、VRコンテンツに対して、例えば、透視投影変換(人間の視覚と同じように、近くの物は大きく、遠くの物は小さく映るような座標にする変換)を行って、平面にマッピングした状態にした後に、画角領域を切り出してもよい。CPU201は、VRコンテンツに、このような画像処理を行わずに画角領域を切り出してもよい。なお、VRコンテンツの代わりに、広い領域(画角)を有する画像なども本実施形態に対して適用可能である。
以上、本実施形態によれば、切出基準位置を維持する期間である指定期間をユーザが容易に設定することができる。また、タイムラインエリアにおいて、指定期間と非指定期間とが区別されて表示されているため、ユーザは指定期間を容易に把握しやすく、適切に指定期間を設定および変更することができる。このため、ユーザは切出基準位置を容易に所望する位置に設定することが可能になる。その結果、ユーザは、コンテンツにおける一部の領域(切り出す領域)を容易に選択できる。
なお、VRコンテンツのうち、仮想空間における切出基準となる方向に存在する範囲の領域が画角領域として切り出される(選択される)のであれば、「切出基準位置」の代わりに「切出基準方向」を用いてもよい。この場合には、ユーザは、指定期間に対して維持を設定する方向を指定方向として指定する。このように、VRコンテンツのうちから画角領域を確定できる基準であれば、任意の基準を「切出基準位置」の代わりに用いることができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上記において、「AがB以上の場合にはステップS1に進み、AがBよりも小さい(低い)場合にはステップS2に進む」は、「AがBよりも大きい(高い)場合にはステップS1に進み、AがB以下の場合にはステップS2に進む」と読み替えてもよい。逆に、「AがBよりも大きい(高い)場合にはステップS1に進み、AがB以下の場合にはステップS2に進む」は、「AがB以上の場合にはステップS1に進み、AがBよりも小さい(低い)場合にはステップS2に進む」と読み替えてもよい。このため、矛盾が生じない限り、「A以上」は、「Aよりも大きい(高い;長い;多い)」と読み替えてよく、「A以下」は、「Aよりも小さい(低い;短い;少ない)」と読み替えてもよい。そして、「Aよりも大きい(高い;長い;多い)」は、「A以上」と読み替えてもよく、「Aよりも小さい(低い;短い;少ない)」は「A以下」と読み替えてもよい。
なお、上記の各実施形態(各変形例)の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASIC、FPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上記の実施形態の開示は、以下の構成、方法、およびプログラムを含む。
(構成1)
動画コンテンツを再生する電子機器であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前
記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御する表示制御手段と、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出する算出手段と、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定し、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定する設定手段と、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示するように制御し、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に表示することによって、前記動画コンテンツを再生するよう制御する制御手段と、
を有することを特徴とする電子機器。
(構成2)
前記動画コンテンツには複数の指定期間が存在し、前記第1のフレーム画像は、第1の指定期間の末尾のフレーム画像であり、前記第2のフレーム画像は前記第1の指定期間の後の第2の指定期間の先頭のフレーム画像であり、
前記第1のフレーム画像の前記第4の基準位置である前記第1の基準位置は、前記第2のフレーム画像の前記第4の基準位置である前記第2の基準位置とは異なる、
ことを特徴とする構成1に記載の電子機器。
(構成3)
前記設定手段は、ユーザによる操作に応じて、前記画面に表示された前記複数のフレーム画像のうち1つのフレーム画像内で基準位置を設定し、
前記第1のフレーム画像および前記第2のフレーム画像は、前記画面に表示され、前記ユーザによる操作に応じて、前記基準位置が設定される、
ことを特徴とする構成1または2に記載の電子機器。
(構成4)
前記第1のフレーム画像が、前記第2のフレーム画像よりも前に存在する場合、
前記第3の基準位置は、前記動画コンテンツの再生時刻の経過に応じて前記第1の基準位置から前記第2の基準位置に変化する、
ことを特徴とする構成1から3のいずれかに記載の電子機器。
(構成5)
前記タイムラインエリアにおいて、前記他の期間には、前記他の期間における前記基準位置の変化の速度を示すグラフが表示されており、
前記設定手段は、前記グラフの形状に基づき、前記他の期間における各再生時刻と対応するフレーム画像の前記基準位置を決定する、
ことを特徴とする構成1から4のいずれかに記載の電子機器。
(構成6)
前記グラフの形状は、ユーザによる操作に応じて変更可能である、
ことを特徴とする構成5に記載の電子機器。
(構成7)
前記設定手段は、複数の指定期間に対して前記基準位置の維持が設定されている状態において、ユーザにより第1の操作が行われると、前記複数の指定期間のうちユーザが選択した少なくとも2つの期間の長さを同じ長さに変更する、
ことを特徴とする構成1から6のいずれかに記載の電子機器。
(構成8)
前記制御手段は、1)前記動画コンテンツの再生期間のうち所定の期間ごとに1つの再
生時刻を選択することにより、複数の再生時刻を選択し、2)前記動画コンテンツにおける選択した前記複数の再生時刻それぞれに対応する領域を、再生時刻順に前記タイムラインエリアに並べて表示するように制御する、
ことを特徴とする構成1から7のいずれかに記載の電子機器。
(構成9)
前記複数の再生時刻それぞれに対応する領域は、前記複数の再生時刻と対応する複数のフレーム画像それぞれに紐づく前記基準位置に応じた領域である、
ことを特徴とする構成8に記載の電子機器。
(構成10)
前記制御手段は、1)前記動画コンテンツの一部の領域であって、現在の再生時刻の基準位置に応じた領域を所定のエリアに表示するように制御し、2)前記指定期間に前記現在の再生時刻が含まれる場合には、当該領域に所定の表示アイテムを表示するように制御する、
ことを特徴とする構成1から9のいずれかに記載の電子機器。
(構成11)
前記動画コンテンツは、全方位画像の動画、またはパノラマ画像の動画である
ことを特徴とする構成1から10のいずれかに記載の電子機器。
(構成12)
前記動画コンテンツを構成する前記複数のフレーム画像は全方位画像であり、
前記フレーム画像ごとに天頂補正を行う補正手段をさらに有する、
ことを特徴とする構成1から10のいずれかに記載の電子機器。
(構成13)
前記動画コンテンツを構成する前記複数のフレーム画像のうち、前記第4のフレーム画像に対して前記天頂補正が行われる、
ことを特徴とする構成12に記載の電子機器。
(構成14)
前記動画コンテンツを構成する前記複数のフレーム画像から、それぞれに設定された基準位置に応じた領域を抽出し、
前記抽出された領域の画像を時系列に含む動画コンテンツを新たに生成する生成手段をさらに有する、
ことを特徴とする構成1から13のいずれかに記載の電子機器。
(方法)
動画コンテンツを再生する電子機器の制御方法であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御するステップと、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出するステップと、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定するステップと、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定するステップと、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示するように制御するステップと、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に表示することによって、前記動画コンテンツを再生するよう制御ステップと、
を含むことを特徴とする電子機器の制御方法。
(プログラム)
コンピュータを、構成1から14のいずれかに記載された電子機器の各手段として機能させるためのプログラム。
(構成1)
動画コンテンツを再生する電子機器であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前
記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御する表示制御手段と、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出する算出手段と、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定し、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定する設定手段と、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示するように制御し、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に表示することによって、前記動画コンテンツを再生するよう制御する制御手段と、
を有することを特徴とする電子機器。
(構成2)
前記動画コンテンツには複数の指定期間が存在し、前記第1のフレーム画像は、第1の指定期間の末尾のフレーム画像であり、前記第2のフレーム画像は前記第1の指定期間の後の第2の指定期間の先頭のフレーム画像であり、
前記第1のフレーム画像の前記第4の基準位置である前記第1の基準位置は、前記第2のフレーム画像の前記第4の基準位置である前記第2の基準位置とは異なる、
ことを特徴とする構成1に記載の電子機器。
(構成3)
前記設定手段は、ユーザによる操作に応じて、前記画面に表示された前記複数のフレーム画像のうち1つのフレーム画像内で基準位置を設定し、
前記第1のフレーム画像および前記第2のフレーム画像は、前記画面に表示され、前記ユーザによる操作に応じて、前記基準位置が設定される、
ことを特徴とする構成1または2に記載の電子機器。
(構成4)
前記第1のフレーム画像が、前記第2のフレーム画像よりも前に存在する場合、
前記第3の基準位置は、前記動画コンテンツの再生時刻の経過に応じて前記第1の基準位置から前記第2の基準位置に変化する、
ことを特徴とする構成1から3のいずれかに記載の電子機器。
(構成5)
前記タイムラインエリアにおいて、前記他の期間には、前記他の期間における前記基準位置の変化の速度を示すグラフが表示されており、
前記設定手段は、前記グラフの形状に基づき、前記他の期間における各再生時刻と対応するフレーム画像の前記基準位置を決定する、
ことを特徴とする構成1から4のいずれかに記載の電子機器。
(構成6)
前記グラフの形状は、ユーザによる操作に応じて変更可能である、
ことを特徴とする構成5に記載の電子機器。
(構成7)
前記設定手段は、複数の指定期間に対して前記基準位置の維持が設定されている状態において、ユーザにより第1の操作が行われると、前記複数の指定期間のうちユーザが選択した少なくとも2つの期間の長さを同じ長さに変更する、
ことを特徴とする構成1から6のいずれかに記載の電子機器。
(構成8)
前記制御手段は、1)前記動画コンテンツの再生期間のうち所定の期間ごとに1つの再
生時刻を選択することにより、複数の再生時刻を選択し、2)前記動画コンテンツにおける選択した前記複数の再生時刻それぞれに対応する領域を、再生時刻順に前記タイムラインエリアに並べて表示するように制御する、
ことを特徴とする構成1から7のいずれかに記載の電子機器。
(構成9)
前記複数の再生時刻それぞれに対応する領域は、前記複数の再生時刻と対応する複数のフレーム画像それぞれに紐づく前記基準位置に応じた領域である、
ことを特徴とする構成8に記載の電子機器。
(構成10)
前記制御手段は、1)前記動画コンテンツの一部の領域であって、現在の再生時刻の基準位置に応じた領域を所定のエリアに表示するように制御し、2)前記指定期間に前記現在の再生時刻が含まれる場合には、当該領域に所定の表示アイテムを表示するように制御する、
ことを特徴とする構成1から9のいずれかに記載の電子機器。
(構成11)
前記動画コンテンツは、全方位画像の動画、またはパノラマ画像の動画である
ことを特徴とする構成1から10のいずれかに記載の電子機器。
(構成12)
前記動画コンテンツを構成する前記複数のフレーム画像は全方位画像であり、
前記フレーム画像ごとに天頂補正を行う補正手段をさらに有する、
ことを特徴とする構成1から10のいずれかに記載の電子機器。
(構成13)
前記動画コンテンツを構成する前記複数のフレーム画像のうち、前記第4のフレーム画像に対して前記天頂補正が行われる、
ことを特徴とする構成12に記載の電子機器。
(構成14)
前記動画コンテンツを構成する前記複数のフレーム画像から、それぞれに設定された基準位置に応じた領域を抽出し、
前記抽出された領域の画像を時系列に含む動画コンテンツを新たに生成する生成手段をさらに有する、
ことを特徴とする構成1から13のいずれかに記載の電子機器。
(方法)
動画コンテンツを再生する電子機器の制御方法であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御するステップと、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出するステップと、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定するステップと、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定するステップと、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示するように制御するステップと、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に表示することによって、前記動画コンテンツを再生するよう制御ステップと、
を含むことを特徴とする電子機器の制御方法。
(プログラム)
コンピュータを、構成1から14のいずれかに記載された電子機器の各手段として機能させるためのプログラム。
200:表示制御装置、201:CPU
Claims (16)
- 動画コンテンツを再生する電子機器であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御する表示制御手段と、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出する算出手段と、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定し、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定する設定手段と、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示するように制御し、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に表示することによって、前記動画コンテンツを再生するよう制御する制御手段と、
を有することを特徴とする電子機器。 - 前記動画コンテンツには複数の指定期間が存在し、前記第1のフレーム画像は、第1の指定期間の末尾のフレーム画像であり、前記第2のフレーム画像は前記第1の指定期間の後の第2の指定期間の先頭のフレーム画像であり、
前記第1のフレーム画像の前記第4の基準位置である前記第1の基準位置は、前記第2のフレーム画像の前記第4の基準位置である前記第2の基準位置とは異なる、
ことを特徴とする請求項1に記載の電子機器。 - 前記設定手段は、ユーザによる操作に応じて、前記画面に表示された前記複数のフレーム画像のうち1つのフレーム画像内で基準位置を設定し、
前記第1のフレーム画像および前記第2のフレーム画像は、前記画面に表示され、前記ユーザによる操作に応じて、前記基準位置が設定される、
ことを特徴とする請求項1に記載の電子機器。 - 前記第1のフレーム画像が、前記第2のフレーム画像よりも前に存在する場合、
前記第3の基準位置は、前記動画コンテンツの再生時刻の経過に応じて前記第1の基準位置から前記第2の基準位置に変化する、
ことを特徴とする請求項1に記載の電子機器。 - 前記タイムラインエリアにおいて、前記他の期間には、前記他の期間における前記基準位置の変化の速度を示すグラフが表示されており、
前記設定手段は、前記グラフの形状に基づき、前記他の期間における各再生時刻と対応するフレーム画像の前記基準位置を決定する、
ことを特徴とする請求項1に記載の電子機器。 - 前記グラフの形状は、ユーザによる操作に応じて変更可能である、
ことを特徴とする請求項5に記載の電子機器。 - 前記設定手段は、複数の指定期間に対して前記基準位置の維持が設定されている状態において、ユーザにより第1の操作が行われると、前記複数の指定期間のうちユーザが選択
した少なくとも2つの期間の長さを同じ長さに変更する、
ことを特徴とする請求項1に記載の電子機器。 - 前記制御手段は、1)前記動画コンテンツの再生期間のうち所定の期間ごとに1つの再生時刻を選択することにより、複数の再生時刻を選択し、2)前記動画コンテンツにおける選択した前記複数の再生時刻それぞれに対応する領域を、再生時刻順に前記タイムラインエリアに並べて表示するように制御する、
ことを特徴とする請求項1に記載の電子機器。 - 前記複数の再生時刻それぞれに対応する領域は、前記複数の再生時刻と対応する複数のフレーム画像それぞれに紐づく前記基準位置に応じた領域である、
ことを特徴とする請求項8に記載の電子機器。 - 前記制御手段は、1)前記動画コンテンツの一部の領域であって、現在の再生時刻の基準位置に応じた領域を所定のエリアに表示するように制御し、2)前記指定期間に前記現在の再生時刻が含まれる場合には、当該領域に所定の表示アイテムを表示するように制御する、
ことを特徴とする請求項1に記載の電子機器。 - 前記動画コンテンツは、全方位画像の動画、またはパノラマ画像の動画である
ことを特徴とする請求項1に記載の電子機器。 - 前記動画コンテンツを構成する前記複数のフレーム画像は全方位画像であり、
前記フレーム画像ごとに天頂補正を行う補正手段をさらに有する、
ことを特徴とする請求項1に記載の電子機器。 - 前記動画コンテンツを構成する前記複数のフレーム画像のうち、前記第4のフレーム画像に対して前記天頂補正が行われる、
ことを特徴とする請求項12に記載の電子機器。 - 前記動画コンテンツを構成する前記複数のフレーム画像から、それぞれに設定された基準位置に応じた領域を抽出し、
前記抽出された領域の画像を時系列に含む動画コンテンツを新たに生成する生成手段をさらに有する、
ことを特徴とする請求項1に記載の電子機器。 - 動画コンテンツを再生する電子機器の制御方法であって、
前記動画コンテンツを構成する複数のフレーム画像を画面に順に表示するとともに、前記複数のフレーム画像の再生時間と対応するタイムラインエリアを前記画面に表示するよう制御するステップと、
基準位置が設定された2つのフレーム画像である第1のフレーム画像および第2のフレーム画像との間に存在する、前記基準位置が未設定の第3のフレーム画像に対して、前記第1のフレーム画像の第1の基準位置および前記第2のフレーム画像の第2の基準位置を結ぶ軌跡上の位置を算出するステップと、
前記算出された位置を前記第3のフレーム画像の第3の基準位置として自動的に設定するステップと、
ユーザによる操作に応じて前記タイムラインエリア上で指定された指定期間に存在する複数の第4のフレーム画像に対して、ユーザによる操作に応じて指定された1つの第4の基準位置を維持するように自動的に設定するステップと、
前記指定期間と他の期間とを前記タイムラインエリアにおいて区別して前記画面に表示
するように制御するステップと、
前記複数のフレーム画像それぞれに設定された基準位置に応じた領域を前記画面に順に表示することによって、前記動画コンテンツを再生するよう制御ステップと、
を含むことを特徴とする電子機器の制御方法。 - コンピュータを、請求項1から14のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/167,970 US20230269360A1 (en) | 2022-02-18 | 2023-02-13 | Electronic device and method for controlling electronic device |
GB2302015.9A GB2617673A (en) | 2022-02-18 | 2023-02-13 | Electronic device, method for controlling electronic device, and program |
DE102023103963.6A DE102023103963A1 (de) | 2022-02-18 | 2023-02-17 | Elektronische Einrichtung, Verfahren zum Steuern der elektronischen Einrichtung und Programm |
CN202310130508.2A CN116634121A (zh) | 2022-02-18 | 2023-02-17 | 电子装置、电子装置的控制方法和存储介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022023654 | 2022-02-18 | ||
JP2022023654 | 2022-02-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023121126A true JP2023121126A (ja) | 2023-08-30 |
Family
ID=87797588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022195646A Pending JP2023121126A (ja) | 2022-02-18 | 2022-12-07 | 電子機器、電子機器の制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023121126A (ja) |
-
2022
- 2022-12-07 JP JP2022195646A patent/JP2023121126A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7258482B2 (ja) | 電子機器 | |
JP7183033B2 (ja) | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 | |
US11295530B2 (en) | Electronic apparatus for playing back a virtual reality video image and control method therefor | |
JP7094815B2 (ja) | 表示制御装置、表示制御装置の制御方法、プログラム、記憶媒体 | |
JP7214523B2 (ja) | 電子機器、電子機器の制御方法、プログラム | |
JP2020042064A (ja) | 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体 | |
JP7267764B2 (ja) | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 | |
JP2021174317A (ja) | 電子機器及びその制御方法 | |
JP2019205161A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP7204511B2 (ja) | 電子機器、電子機器の制御方法、プログラム | |
US11380075B2 (en) | Electronic apparatus for playing back a virtual reality video image and control method therefor | |
JP2023121126A (ja) | 電子機器、電子機器の制御方法、プログラム | |
JP7336200B2 (ja) | 電子機器及びその制御方法 | |
JP2021069045A (ja) | 表示制御装置、表示制御方法、プログラムおよび記憶媒体 | |
US20230269360A1 (en) | Electronic device and method for controlling electronic device | |
JP7443100B2 (ja) | 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 | |
US20240176411A1 (en) | Electronic device and method for controlling electronic device | |
JP7086762B2 (ja) | 表示制御装置 | |
US20230283844A1 (en) | Information processing apparatus, control method of information processing apparatus, non-transitory computer readable medium, and system | |
CN116634121A (zh) | 电子装置、电子装置的控制方法和存储介质 | |
JP2024075939A (ja) | 電子機器および電子機器の制御方法 | |
JP2023120679A (ja) | 電子機器、電子機器の制御方法、プログラム | |
JP2020205554A (ja) | 表示制御装置、その制御方法、プログラムおよび記憶媒体 | |
JP2020043387A (ja) | 画像処理装置、画像処理方法、プログラム、及び、記憶媒体 |