JP2021002803A - 画像処理装置、その制御方法、プログラム - Google Patents

Abstract

【課題】 視聴時のユーザにとっての正面方向と、カメラの移動の進行方向がずれていると、ユーザは不快感を生じやすくなる。【解決手段】 画像処理装置は、広視野角の動画を取得する動画取得手段と、前記動画取得手段により取得された動画を再生する際の基準方向となる正面方向を特定する正面方向特定手段と、前記動画取得手段により取得された動画の動き情報を取得する動き情報取得手段と、前記正面方向特定手段により特定された正面方向と、前記動き情報取得手段により取得された動き情報とに基づき、所定のユーザ操作を促すための通知情報を出力する出力手段と、を有する。【選択図】 図４

Description

本発明は、画像処理装置に関し、特に広視野角にわたる画像を処理する技術に関するものである。

近年、全方位画像に代表される、従来のカメラで撮影される画角よりも広い画角で撮影された撮影された画像をＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）で視認することが行われている。全方位画像とは、全方位カメラや魚眼レンズを用いたカメラなどを用いたカメラによって撮影された、水平・垂直方向に３６０度の全範囲を画角内に収めた画像である。

例えば、特許文献１では、全方位カメラで撮影した全方位パノラマ画像を、仮想的な３次元球体の内壁に張り付けることで仮想的な空間を生成し、生成した仮想空間の所望の場所をＨＭＤで視認する技術が開示されている。

また、特許文献１では、ＨＭＤでユーザが視認する際に、撮影画像のどの方位の画像を初期方向（正面方向）として出すのかを設定することについても開示されており、カメラの正面方向を、ＨＭＤ視認時の正面方向として設定することが一般的であるとされている。

特開２０１７−２０８８０９号公報

しかしながら、例えばカメラを移動しながら撮影した動画をＨＭＤなどで視聴する場合、視聴時のユーザにとっての正面方向と、カメラの移動の進行方向がずれていると、ユーザは不快感を生じやすくなる。

本発明に係る画像処理装置の１つは、広視野角の動画を取得する動画取得手段と、前記動画取得手段により取得された動画を再生する際の基準方向となる正面方向を特定する正面方向特定手段と、前記動画取得手段により取得された動画の動き情報を取得する動き情報取得手段と、前記正面方向特定手段により特定された正面方向と、前記動き情報取得手段により取得された動き情報とに基づき、所定のユーザ操作を促すための通知情報を出力する出力手段と、を有する。

本発明により、広視野角の画像を視聴するユーザの不快感を低減させることができる。

本発明におけるデジタルカメラの構成を示すブロック図である。 本発明における画像処理部の構成を示すブロック図である。 本発明における動き情報を示すブロック図である。 本発明における撮影時の警告制御フローを示す図である。 本発明における不快度算出のための特性を示す図である。 本発明における撮影時の警告例を示す図である。 本発明における再生時の画像選択制御フローを示す図である。 本発明における再生時の画像選択例を示す図である。 本発明における正面方向編集時の制御フローを示す図である。 本発明における正面方向編集時の出力画像例を示す図である。 本発明における正面方向編集時の制御特性を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本実施形態では、画像処理装置の一例として、撮像装置の一種であるデジタルカメラを用いる例について説明する。もちろん、デジタルカメラに限定されるものではなく、いわゆるスマートフォンやタブレットデバイスなどの携帯端末、監視カメラ、医療機器、あるいは各種計測機器などに用いることができる。また、後述する画像の撮影・再生・編集時の動作は必ずしも同じ装置で行う必要はなく、画像を取り扱う手段を有する種々の装置を用いることができる。すなわち、撮影時の動作を第１の装置で行い、撮影画像を取り込んだ第２の装置で再生時の動作を行い、第２の装置、または撮影画像を取り込んだ第２の装置とは異なる第３の装置で編集時の動作を行うようにしてもよい。

＜第１の実施形態＞
以下、図１〜図１１を参照して、本発明の実施形態における、デジタルカメラについて説明する。

図１は、本発明の実施形態によるデジタルカメラの構成例を示すブロック図である。

図１において、１００はデジタルカメラ全体、１０１、１０３はズームレンズ、フォーカスレンズを含む光学系である。１０２、１０４は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等の撮像素子およびアナログ信号をデジタル信号に変換するＡ／Ｄ変換器で構成される撮像部である。１０５は撮像部１０２、１０４から出力される画像データに対し、ホワイトバランス処理や、γ処理、輪郭強調、色補正処理などの各種画像処理を行う画像処理部である。１０６は画像メモリ、１０７はＬＣＤ等の表示部、１０８は画像データを圧縮符号化・復号化するコーデック部である。

１０９は記録媒体１１０とのインタフェースＩ／Ｆ、１１０はメモリカードやハードディスク等の記録媒体、５０はデジタルカメラ１００のシステム全体を制御するシステム制御部である。

また、１２１は、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性メモリである。１２２はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２４から読みだしたプログラム等を展開するシステムメモリである。１２３はユーザからの入力操作を受け付ける操作部である。

図６（Ａ）に本デジタルカメラの外観を示す。１０１，１０３の２つの光学系は図６（Ａ）に示すように１８０度逆向きに配置されており、２つの光学系および撮像部で３６０度全周囲の画像を撮影できるものとする。

次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本動作について説明する。撮像部１０２、１０４は、光学系１０１、１０３を介して入射した光を光電変換し、入力画像信号として画像処理部１０５に出力する。

画像処理部１０５は、撮像部１０２、１０４から出力された画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理などを行う。また、画像処理部１０５では、撮像した画像データを用いて所定の評価値算出処理（図示しない）を行い、得られた評価値結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

画像処理部１０５から出力された画像データは、画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部から出力された画像データや、表示部１０７に表示するための画像データを格納する。

表示部１０７は、ＬＣＤ等の表示器上に画像や、ユーザに対する操作指示情報（後述する）などの表示を行う。

コーデック部１０６は、画像メモリ１０６に記録された画像データをＪＰＥＧ，ＭＰＥＧなどの規格に基づきそれぞれ圧縮符号化する。システム制御部５０は符号化した画像データを関連付けて、記録インタフェース１０９を介して記録媒体１１０に格納する。

以上、被写体撮影時の基本動作について説明した。

上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２４に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等をシステムメモリ１２２に展開する。

次に、画像処理部１０５の詳細について図２を用いて説明する。図２は画像処理部１０５の構成を示すブロック図である。

図２において、２００（ａ）（ｂ）は同時化処理部、２０１（ａ）（ｂ）はＷＢ増幅部、２０２（ａ）（ｂ）は輝度・色信号生成部である。（ａ）と（ｂ）は同じブロックを２系統備えていることを指している。２０３は合成処理部、２０４は動き検出部である。

次に、画像処理部１０５における処理について説明する。図１の撮像部１０２から出力された画像信号は同時化処理部２００（ａ）に入力され、撮像部１０４から出力された画像信号は同時化処理部２００（ｂ）にそれぞれ入力される。

同時化処理部２００は入力されたベイヤーＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。ＷＢ増幅部２０１は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。ＷＢ増幅部２０１が出力したＲＧＢ信号は輝度・色信号生成部２０２に入力される。輝度・色信号生成部２０２は、ＲＧＢ信号から輝度信号Ｙを生成し、輝度信号Ｙに対して、輪郭強調処理および輝度ガンマ補正などの各種処理を施し出力する。また、色信号ＲＧＢに対してマトリクス演算などを施し、所望のカラーバランスへ変換し、ガンマ補正を行った上で色差信号ＵＶを生成する。

合成処理部２０３は、輝度・色信号生成部（ａ）（ｂ）からそれぞれ出力された画像をパノラマ合成し１枚の全周囲画像を生成する。撮像部１０２、１０４で撮影される画像は水平・垂直１８０度の範囲をカバーしており、合成することで３６０度の全周囲画像を生成することが可能である。合成した３６０度の全周囲画像をメルカトル図法で展開した画像の例を図３（Ａ）に示す。

合成処理部２０３で合成された３６０度全周囲画像は画像メモリ１０６に出力されるとともに、動き検出部２０４に出力される。動き検出部は、図３（Ｂ）に示すようなブロック単位で動きベクトルの代表値（中央値もしくは平均値）を算出する。算出した動きベクトルの例を図３（Ｃ）に示す。ブロック単位の動きベクトルの代表値を出すことで、局所的な動体の動きは検出せずに、画像全体の動きの方向を検出することができる。動き検出部２０４は、動き情報取得手段の一例である。

画像処理部１０５は、合成した全周囲ＹＵＶ画像および動きベクトル情報を出力する。

画像処理部１０５から画像メモリ１０６に出力されたＹＵＶ画像信号は、コーデック部１１０によって圧縮符号化し、記録媒体２００に記録される。算出した動きベクトル情報は後述する各種制御で利用される。

以上説明したように、撮像部１０２、１０４で撮像された画像を画像処理部１０５は動画取得手段として機能し処理することで、３６０度の全周囲画像を取得することができる。この場合、撮像部１０２、１０４および画像処理部１０５は協働して動画取得手段として機能する一例である。

（撮影時の警告制御）
次に、システム制御部５０が、画像撮影時に撮影情報に基づき警告表示を行う処理フローについて図４を用いて説明する。システム制御部５０は、撮影の一定期間毎（静止画の場合は撮影時）に図４のフローチャートに従ってユーザに対して警告を出すか否かの判定を行い、警告を出すと判定した場合は表示部１０７に警告表示を出すように制御する。つまりシステム制御部５０は、動画の撮像中に図４のフローチャートに従う処理を実行可能である。

なお、図４のフローチャートの処理の前に先立って、デジタルカメラ１００はユーザによるメニュー操作（図示しない）を受け付け、ＨＭＤに表示する正面方向（基準方向）を設定する。ＨＭＤに表示する正面方向としては、例えばカメラの正面方向や、カメラの右４５度方向、カメラの左４５度方向などから選択することが可能である。このようにカメラの正面方向を決定する場合、システム制御部５０は正面方向特定手段として機能する。本実施形態では、ＨＭＤに表示する正面方向として、カメラの正面方向が設定された場合について説明を行う。

図４は撮影時の警告制御を行うフローチャートである。

まずステップＳ４０１において、システム制御部５０は、現在の撮影モードが動画撮影モードであるか静止画撮影モードであるかを判定する。静止画撮影モードと判定した場合は、動きの方向による不快感を与えることはないため、ステップＳ４０９に進み、「警告なし」という警告情報をメタデータとして記録する。一方、動画撮影モードと判定した場合はステップＳ４０２に進む。

ステップＳ４０２において、システム制御部５０は、動き検出部２０４で検出した動きベクトル情報を取得する。検出した動きベクトルの例は図３（Ｃ）に示す。

ステップＳ４０３において、システム制御部５０は、取得した動きベクトル情報に基づき、撮影中にカメラ本体が移動している進行方向を推定する。進行方向の推定には、図３（Ｃ）に示す動きベクトルを利用する。具体的には、上下に隣接するブロックで上側のブロックが上向きのベクトル、下側のブロックが下向きのベクトルであるブロックを検出する。図３（Ｃ）の例の場合、３０１、３０２の隣接ブロックが該当する。該当する隣接ブロックが見つかると、この隣接ブロックの位置を進行方向と判定する。図３（Ｃ）のように複数の隣接ブロックが該当した場合は、検出した複数ブロック水平位置の平均値を進行方向とする。図３（Ｃ）の例では、ブロック３０１、３０２の位置の平均をとって３０３の方向を進行方向として決定する。本ステップにおいて、システム制御部５０は進行方向特定手段として機能する。

ステップＳ４０４において、システム制御部５０は、カメラの移動速度を算出する。カメラの移動速度の推定には、ステップＳ４０３で検出した進行方向付近のブロック（図３（Ｃ）の場合は３０１、３０２）の動きベクトルを参照し、各動きベクトルの長さの平均値を移動速度とする。

ステップＳ４０５において、システム制御部５０は、ステップＳ４０３、Ｓ４０４で算出した進行方向および移動速度の情報に基づき、不快度を算出する。以下、不快度の算出に関して図５を用いて説明する。

まずシステム制御部５０は、不快度の算出のために、カメラの進行方向と、ＨＭＤに表示する正面方向との差を算出する。本実施形態では、前述のとおり、ＨＭＤに表示する正面方向がカメラの正面方向と同じになるように予め設定している。この場合の、ＨＭＤに表示される正面方向（＝カメラの正面方向）とカメラの進行方向の関係を図５（Ａ）に示す。図５（Ａ）は、カメラを真上から見下ろした図になっており、１００はカメラ本体、５０１は、ＨＭＤに表示する正面方向（＝カメラの正面方向）、５０２がカメラの進行方向を示している。ここで、５０３に示すようなＨＭＤに表示する正面方向（＝カメラの正面方向）とカメラの進行方向の角度差を算出する。

次に、ＨＭＤに表示する正面方向（＝カメラの正面方向）とカメラの進行方向の角度差に基づく角度不快度を算出する。角度不快度は図５（Ｂ）に示すグラフ特性から算出することができる。角度不快度は図５（Ｂ）に示す通り、ＨＭＤに表示する正面方向（＝カメラの正面方向）とカメラの進行方向の角度差が大きくなるほど不快度が高くなるようになっている。

さらにシステム制御部５０は、移動速度に基づく速度不快度を算出する。速度不快度は図５（Ｃ）に示すグラフ特性から算出することができる。速度不快度は、カメラの移動速度が速くなるほど不快度が高くなるようになっている。

上記のとおり角度不快度と速度不快度を算出すると、システム制御部５０は、これらを荷重加算し総合不快度を算出する。総合不快度は、下記で算出できる。
総合不快度＝α×角度不快度＋β×速度不快度
ここで、α、βは０以上、１以下の重み係数である。

図４に戻り、ステップＳ４０６においてシステム制御部５０は、総合不快度がある閾値以上の状態が所定の時間以上継続しているか判定する。ステップＳ４０５の総合不快度の算出は、撮影中の一定時間間隔で行っており、総合不快度が所定の閾値を超えた状態が所定の閾値以上の時間継続していると判定した場合にはステップＳ４０７に進む。

ステップＳ４０７において、システム制御部５０は、不快度を低減するためにユーザに操作を促す警告情報を生成する。具体的には、不快度を上げている主要因を決定し、不快度を低減するための警告情報を生成する。本実施形態の場合、重み付け後の角度不快度と速度不快度の大きさを比較し、より大きい方が不快度を上げている主要因と判断する。そして不快度の主要因を低減するような操作をユーザに促す警告情報を生成する。具体的には、角度不快度が主要因と判定した場合には、「カメラ正面をどちらに向ければよいかを指示する情報」を生成し、速度不快度が主要因の場合には、「移動速度を下げるように指示する情報」を生成する。

ステップＳ４０８において、システム制御部５０は、生成した警告情報を表示部１０７に表示する。図６に警告情報表示の例を示す。図６において（Ａ）はカメラ本体を示しており、１０７が表示部である。図６（Ｂ）は角度不快度が主要因と判定した場合の表示例を示しており、ユーザに撮像方向の変更を促すガイダンスの一例である。図６（Ｂ）では、文字情報６０１と矢印６０２を用いて、カメラの正面をどちらに向けるかを指示する。図６（Ｃ）は速度不快度が主要因の場合の表示例を示しており、ユーザに動画の動きの抑制を促すガイダンスの一例である。図６（Ｃ）では、文字情報でユーザに移動速度を下げるような警告を出している。なお、本実施形態では不快度の主要因を低減するような操作をユーザに促す警告情報を生成したが、必ずしもこの形態に限定されず、ユーザに対する種々の通知情報を出力し得る。例えば、「不快度の高い画像になる可能性が高いです」と警告するのみでもよいし、「進行方向と撮影方向が大きく異なります」、「移動速度が速すぎます」といった警告としてもよい。また、文字情報に限らず、所定のアイコンなどを表示するようにして、ユーザに対して通知を出力するようにしてもよい。

ステップＳ４０９において、システム制御部５０は、警告情報をメタデータとして画像データに記録する（警告情報メタデータ）。記録する情報としては警告の有無の情報、進行方向情報、移動速度情報、各種不快度情報、設定されたＨＭＤの正面方向などの情報を記録する。

以上説明したように、本実施形態におけるデジタルカメラ１００は、撮影中に撮影状態に応じた警告表示を出力可能である。上記のように警告表示を行うことで、ＨＭＤの正面方向と移動方向がずれているなどの、視聴時に不快感を生じる条件での撮影をユーザが意図せずに行ってしまう事態を低減させることができる。

なお、本実施形態では、画像中の動きベクトルに基づきカメラの進行方向を推定したが、カメラの進行方向が推定できる構成であれば別の構成をとることも可能である。例えば、ＧＰＳの時系列情報や方位センサなどを用いて進行方向を推定する構成としても構わない。

また、本実施形態では、ＨＭＤに表示する正面方向は、カメラの正面方向と同じになるように設定した場合について説明したが、ＨＭＤに表示する正面方向をこれに限定するものではなく、ユーザの設定により自由に設定可能であるものとする。

また、本実施形態では、警告情報を表示部１０７に出力する場合について説明したが、警告が撮影者に伝わる方法であればどのような手段を用いても構わない。例えばカメラにＬＥＤを備え、ＬＥＤの位置や色、点灯パターンなどで警告を出すことや、スマーフォフォンなどの他のデバイスに警告情報を送信するなどの構成をとることも可能である。

また、本実施形態では、３６０度の全周囲画像を扱う場合について説明したが、必ずしも３６０度全周囲の画像でなくても、他の広視野角画像に対して適用可能である。例えば、１８０度の広角画像に対しても適用してもよい。

（再生時の制御）
次に、システム制御部５０が、警告情報に基づき再生制御を行う処理フローについて図７を用いて説明する。システム制御部５０は図７に示すフローに従って、記録媒体１１０に記録された画像の中から再生する画像を選択し、選択した画像を表示部１０７に出力する。

図７は、システム制御部５０による警告情報に基づく再生制御のフローである。

まずステップＳ７０１において、システム制御部５０は、再生モードが「酔い低減モード」であるか判定する。本実施形態では画像再生時のモードとして、「通常再生モード」と「酔い低減再生モード」を備えているものとする。システム制御部５０は、メニュー画面（図示しない）に対するユーザ操作に応じて、上記２つの再生モードを切り替えることが可能である。「酔い低減モード」は不快度が高く酔いやすい画像を再生対象から除外して再生するモードである。「酔い低減モード」が選択されている場合はステップＳ７０２に進み、「通常再生モード」が選択されている場合はステップＳ７０４に進む。

ステップＳ７０２において、システム制御部５０は、記録媒体１１０に記録された画像データから撮影時に記録した警告情報メタデータを抽出する。

ステップＳ７０３において、システム制御部５０は、抽出した警告情報に従って、警告のない画像のみを抽出し、再生可能画像リストを生成する。

一方、ステップＳ７０４において、システム制御部５０は、「通常再生モード」のため記録媒体１１０に記録されたすべての画像を再生可能画像リストとして生成する。

ステップＳ７０５において、システム制御部５０は、記録媒体１１０に記録された画像をサムネイル表示する。このとき、前述の再生可能画像リストに含まれない画像はグレーアウトするか非表示にし、再生できないようにする。図８（Ａ）にサムネイル表示の例を示す。図８（Ａ）では記録媒体１１０に記録された各画像のサムネイル表示を行うが、再生可能画像リストに含まれない画像は８０１に示すようにグレーアウトで表示し、選択できないようにする。

ステップＳ７０６において、システム制御部５０は、ユーザ操作による画像選択を受け付け、選択された画像を表示部１０７に表示するよう制御する。

以上、システム制御部５０が、警告情報に基づき再生制御を行う処理フローについて説明した。上記のように、「酔い低減モード」になっている場合は、撮影時に不快度の警告判定を行った画像は再生させない構成とした。これにより、不快感を生じやすい画像を再生してしまうことを低減することが可能となる。

なお、上記の実施形態では、警告判定をした画像を画像ファイル単位で再生させない構成としたが、動画像中の一部にだけ警告が出ている場合、警告が出ている範囲だけを除外して再生する構成を取ることも可能である。例えば、プレイリストを選択してプレイリストに含まれる画像を順次再生する際に、「酔い低減モード」の場合は、警告が出ている範囲だけを除外して再生することも可能である。この例を図８（Ｂ）に示す。図８（Ｂ）において、動画１〜６からなる動画像のタイムラインを示している。警告情報は、動画像の各フレームにメタデータとして記録しておくものとする。動画４は８０２領域に警告判定を含んでおり、動画５は全体（８０３）に警告判定を含んでいるものとする。この場合、「酔い低減モード」の場合は警告が出ている範囲を除外して再生する。

また、上記実施形態では、警告の有無で再生する・しないの制御を行っていたが、再生する・しない以外の制御を行うことも可能である。例えば、不快感を生じる画像が含まれる場合には、「酔い低減モード」の場合には、再生の方法を通常再生とは異なる再生方法にすることで不快感を低減することが可能である。具体的な例としては、角度不快度情報、速度不快度情報をそれぞれメタデータとして記録しておく。そして、角度不快度が高い場合は、角度不快度が低減するようにＨＭＤの正面方向を変化させて再生する。また、速度不快度が高い場合は、再生速度を低下させて不快度を低減させるように制御する。このように再生方法を制御することで不快感を低減することが可能となる。

また、上記実施形態では、撮影時に生成した警告情報のメタデータに基づき再生制御を行う場合について説明したが、警告情報や不快度を再生時に算出する構成をとることも可能である。

（編集時の警告制御）
次に、システム制御部５０が、ＨＭＤに表示する正面方向を編集する際の警告処理フローについて図９を用いて説明する。システム制御部５０はユーザからの操作を受け付けて、記録媒体１１０に記録された画像に設定されたＨＭＤに表示する正面方向を後から編集することが可能である。

図９はＨＭＤに表示する正面方向を後から編集する際の警告処理フローを示している。

まずステップＳ９０１において、システム制御部５０は、ＨＭＤに表示する正面方向を編集したい画像ファイルをユーザ操作により選択する。図１０は表示部１０７に表示する正面方向の編集画面を示した図である。選択された画像は図１０の１００１に示すようにメルカトル図法で展開されて表示される。図１０において、１００４は、現在設定されているＨＭＤの正面方向を示している。ユーザは、ＨＭＤの正面方向１００４を図１０の編集画面上で自由に変更可能である。

ステップＳ９０２において、システム制御部５０は、画像ファイルのメタデータから、進行方向情報および移動速度情報を取得する。

ステップＳ９０３において、システム制御部５０は、メタデータから取得したカメラの進行方向情報と、移動速度情報に基づきＨＭＤ表示の正面方向として許容できる角度範囲を算出する。正面方向として許容できる角度範囲の算出は、図１１に示すグラフの特性に基づき決定する。具体的には、撮影時のカメラの移動速度が速くなるほど、正面方向の許容範囲が狭くなる。カメラの進行方向を中心として許容角度範囲を示したものを図１０に示す。図１０において、１００２がカメラの進行方向を示しており、カメラの進行方向を中心として、算出した許容範囲１００３を設定する。

ステップＳ９０４において、システム制御部５０は、カメラ進行方向と、現在設定されているＨＭＤの正面方向、ステップＳ９０３で算出した正面の許容範囲に基づき警告を出すか否かの判定を行う。具体的には、現在設定されているＨＭＤの正面方向が、正面の許容範囲内に含まれるかを判定する。図１０の例では、ＨＭＤの正面方向が１００４であり、許容範囲１００３に含まれないため警告を出すと判定する。

ステップＳ９０５において、システム制御部５０は、ステップＳ９０４で警告を出すと判定した場合に警告表示を行う。図１０の例では、１００５が警告の例である。また、図１０において、１００６は、現在編集中の動画データのタイムラインを示しており、１００７の部分に警告が発生している領域があることを示している。

以上、システム制御部５０が、システム制御部５０が、ＨＭＤに表示する正面方向を編集する際の処理フローについて説明した。このように、ＨＭＤに表示する正面方向の編集時に警告情報をユーザが視認しながらＨＭＤに表示する正面方向を制御できるようになり、不快感を生じる画像を生成しにくくすることが可能となる。

＜他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (18)

1. 広視野角の動画を取得する動画取得手段と、
   前記動画取得手段により取得された動画を再生する際の基準方向となる正面方向を特定する正面方向特定手段と、
   前記動画取得手段により取得された動画の動き情報を取得する動き情報取得手段と、
   前記正面方向特定手段により特定された正面方向と、前記動き情報取得手段により取得された動き情報とに基づき、所定のユーザ操作を促すための通知情報を出力する出力手段と、
   を有する画像処理装置。
2. 前記通知情報を、前記動画取得手段により取得された動画に関連付けて記録することを特徴とする請求項１に記載の画像処理装置。
3. 前記動き情報取得手段により取得された動き情報に基づき、前記動画の進行方向を特定する進行方向特定手段をさらに有し、
   前記出力手段は、前記正面方向特定手段で特定した正面方向と、前記進行方向特定手段で特定した進行方向との差に基づき、前記通知情報を出力することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記出力手段は、前記正面方向特定手段で特定した正面方向と、進行方向特定手段で特定する進行方向の差が所定の閾値より大きい場合に、前記通知情報を出力することを特徴とする請求項３に記載の画像処理装置。
5. 前記出力手段は、前記動き情報取得手段で取得した動画の正面方向の動き量が所定の閾値より大きい場合、前記通知情報を出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記動画取得手段は撮像手段を含み、
   前記出力手段は、前記動画の撮像中に、撮像方向の変更を促す通知を前記通知情報として出力可能であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記動画取得手段は撮像手段を含み、
   前記出力手段は、前記動画の撮像中に、前記動画の動きの抑制を促す通知を前記通知情報として出力可能であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 広視野角の動画を取得する動画取得手段と、
   前記動画取得手段により取得された動画を再生する際の基準方向となる正面方向を特定する正面方向特定手段と、
   前記動画取得手段により取得された動画の動き情報を取得する動き情報取得手段と、
   前記正面方向特定手段により特定された正面方向と、前記動き情報取得手段により取得された動き情報とに基づき、前記動画の視聴における不快度を示す評価値を算出する算出手段と、
   を有することを特徴とする画像処理装置。
9. 前記評価値を、前記動画取得手段により取得された動画に関連付けて記録することを特徴とする請求項８に記載の画像処理装置。
10. 前記評価値に基づき、所定の通知を出力する出力手段をさらに有することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記動画を再生する再生手段と、
    前記評価値に基づき、前記再生手段で再生する動画を選択する選択手段と、
    をさらに有することを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
12. 前記動き情報取得手段により取得された動き情報に基づき、前記動画の進行方向を特定する進行方向特定手段をさらに有し、
    前記算出手段は、前記正面方向特定手段で特定した正面方向と、前記進行方向特定手段で特定した進行方向との差に基づき、前記評価値を算出することを特徴とする請求項８乃至１１のいずれか１項に記載の画像処理装置。
13. 前記算出手段は、前記正面方向特定手段で特定した正面方向と、前記進行方向特定手段で特定した進行方向との差が大きいほど、高い不快度を示す評価値を算出することを特徴とする請求項１２に記載の画像処理装置。
14. 前記算出手段は、前記設定した正面方向の動き量に基づき、前記評価値を算出することを特徴とする請求項８乃至１３のいずれか１項に記載の画像処理装置。
15. 前記算出手段は、前記設定した正面方向の動き量が大きいほど、高い不快度を示す評価値を算出することを特徴とする請求項１４に記載の画像処理装置。
16. 画像処理装置の制御方法であって、
    広視野角の動画を取得する動画取得工程と、
    前記動画取得工程で取得された動画を再生する際の基準方向となる正面方向を特定する正面方向特定工程と、
    前記動画取得工程で取得された動画の動き情報を取得する動き情報取得工程と、
    前記正面方向特定工程で特定された正面方向と、前記動き情報取得工程で取得された動き情報とに基づき、ユーザ操作を促すための通知情報を出力する出力工程と、
    を有する画像処理装置の制御方法。
17. 画像処理装置の制御方法であって、
    広視野角の動画を取得する動画取得工程と、
    前記動画取得工程で取得された動画を再生する際の基準方向となる正面方向を特定する正面方向特定工程と、
    前記動画取得工程で取得された動画の動き情報を取得する動き情報取得工程と、
    前記正面方向特定工程で特定された正面方向と、前記動き情報取得工程で取得された動き情報とに基づき、前記動画の視聴における不快度を示す評価値を算出する算出工程と、
    を有することを特徴とする画像処理装置の制御方法。
18. コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるコンピュータにより実行することが可能なプログラム。

Images