JP2023017920A - 画像処理装置 - Google Patents

Abstract

【課題】主要な被写体が注目すべき動きをしているシーンの見逃しを防ぐ画像処理装置を提供する。【解決手段】撮像装置、画像処理装置及び再生装置からなる画像処理システムにおいて、画像処理装置は、第１被写体と第２被写体とを撮像し、表示部に表示した画像の一部を第１方向に移動させて、画像の表示部に表示していない部分を表示することによって、第１被写体を表示した後に第２被写体を表示し、再度第１被写体を表示部に表示するために使用する第１画像データを入力し、第１被写体を表示部に表示してから第２被写体を表示部に表示するまでに、表示部が表示する画像が移動した第１距離が、第２被写体を表示部に表示してから第１被写体を表示部に表示するまでに表示部が表示する画像が移動した第２距離よりも長い場合は、第１被写体と第２被写体とを含み、第１被写体の第１方向側に第２被写体を配置した第２画像データを第１画像データから生成する。【選択図】図８

Description

本発明は、画像処理装置に関する。

超広角カメラにより撮影された撮影画像の一部を切り出して表示ないし記録を行うカメラが知られている（例えば、特許文献１）。

日本国特開２０１２－１１９８０４号公報

第１の態様によると、画像処理装置は、第１被写体と第２被写体とが撮像された画像の一部であって、表示部に表示された、前記画像の一部を第１方向に移動させて、前記画像の前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体が表示された後に前記第２被写体が表示され、再度前記第１被写体が前記表示部に表示されるのに使用される第１画像データを入力する入力部と、前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離が、前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離よりも長い場合は、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した第２画像データを前記第１画像データから生成する画像生成部と、を備える。

画像処理システムの構成を模式的に示すブロック図 撮像装置の構成を模式的に示すブロック図 撮像部の撮像範囲および全天球画像の模式図 画像処理装置および再生装置の構成を模式的に示すブロック図 全天球画像の再生処理の説明図 二次元画像作成処理の説明図 二次元画像を例示する図 二次元動画作成処理のフローチャート 全天球画像の変形例の模式図 画像処理装置と再生装置とを兼ね備える電子機器を模式的に示すブロック図 二次元画像作成処理の説明図 二次元画像作成処理の説明図 二次元画像作成処理の説明図

（第１の実施の形態）
図１は、画像処理システム１の構成を模式的に示すブロック図である。画像処理システム１は、撮像装置２、画像処理装置３、および再生装置４を有する。撮像装置２は、例えばデジタルカメラ、スマートフォン、タブレット端末などの電子機器である。画像処理装置３は、例えばデジタルカメラ、スマートフォン、タブレット端末、パーソナルコンピュータなどの電子機器である。再生装置４は、例えばデジタルカメラ、スマートフォン、タブレット端末、パーソナルコンピュータ、デジタルフォトフレーム、ヘッドマウントディスプレイなどの電子機器である。

撮像装置２は、静止画撮像機能と、動画撮像機能とを有する。静止画撮像機能は、全天球画像（後述）を撮像する機能である。動画撮像機能は、全天球画像を繰り返し撮像し、各々のフレームが全天球画像である全天球動画を作成する機能である。画像処理装置３は、撮像装置２により作成された全天球動画から、各々のフレームが全天球画像よりも画角が狭い二次元画像である二次元動画（後述）を作成する。再生装置４は、全天球画像や二次元動画を再生（表示）する。

（撮像装置２の説明）
図２は、撮像装置２の構成を模式的に示すブロック図である。撮像装置２は、撮像部２０、第１撮像光学系２１、第２撮像光学系２２、および記憶部２３を有する。撮像部２０は、第１撮像素子２０１および第２撮像素子２０２を有する。

第１撮像光学系２１および第２撮像光学系２２は、いわゆる魚眼レンズである。第１撮像光学系２１は、半天球の範囲の被写体像を第１撮像素子２０１の撮像面に結像させる。換言すると第１撮像素子２０１は、水平方向に３６０度、垂直方向に１８０度の範囲を撮像可能に構成される。第１撮像素子２０１の撮像範囲を第１半天球と称する。

第２撮像光学系２２は、第１半天球とは異なる半天球の範囲の被写体像を第２撮像素子２０２の撮像面に結像させる。換言すると第２撮像素子２０２は、水平方向に３６０度、垂直方向に１８０度の範囲を撮像可能に構成される。第２撮像素子２０２の撮像範囲を第２半天球と称する。

第１半天球と第２半天球は全天球を構成する。つまり撮像部２０は、第１撮像素子２０１および第２撮像素子２０２により、水平方向に３６０度、垂直方向に３６０度の全天球の範囲を撮像する。以下の説明では、水平方向に３６０度、垂直方向に３６０度の画角を有する、全天球の範囲を撮像した画像を、全天球画像と称する。

ユーザが静止画撮影機能を利用しているとき、記憶部２３は、撮像部２０により撮像された単一の全天球画像を、記憶媒体５１（例えばメモリーカード等）に記憶する。ユーザが動画撮影機能を利用しているとき、記憶部２３は、撮像部２０により繰り返し撮像された複数の全天球画像を含む全天球動画を、記憶媒体５１に記憶する。前述の通り、全天球動画の各フレームは、全天球画像である。なお、図２において記憶媒体５１は撮像装置２に挿抜可能なものとしているが、撮像装置２が記憶媒体５１を内蔵していてもよい。

（全天球画像の説明）
図３（ａ）は、撮像部２０の撮像範囲の模式図である。撮像部２０は、撮像部２０の設置位置（カメラ位置）を原点Ｏとして、図３（ａ）に示す全天球６０の範囲を撮像する。図３（ｂ）は、撮像部２０により撮像された全天球画像を例示する模式図である。図３（ｂ）に例示した全天球画像６１は、第１撮像素子２０１により撮像された第１半天球画像６２と、第２撮像素子２０２により撮像された第２半天球画像６３とを含む。第１半天球画像６２は、第１撮像光学系２１が結像した円形像６４を含む。第２半天球画像６３は、第２撮像光学系２２が結像した円形像６５を含む。

図３（ｂ）に例示した全天球画像６１の一部を切り出して変形することで、任意の画角の画像を得ることができる。例えば、図３（ａ）に示す画角６６の画像を得たい場合は、図３（ｂ）の領域６７を切り出して長方形に変形すればよい。また、図３（ａ）に示すように、全天球の上半分の半天球のうち、図３（ａ）に網掛けで示した、線分Ａ－Ｂを水平方向に一周した範囲６８の画像を得たい場合には、図３（ｂ）の領域６９を切り出して長方形に変形すればよい。このとき得られる画像７０を図３（ｃ）に例示する。画像７０は、横長のパノラマ画像である。なお、図３（ｃ）に例示した画像７０の左端７１と右端７２は、実際には図３（ａ）に示すように連続している。すなわち、図３（ｃ）に例示した画像７０は、撮像部２０の周囲３６０度の範囲を撮像した全周画像である。全周画像７０は、全天球６０の表面を一周する経路６００を含む。経路６００は、原点Ｏを中心とし、全天球６０の直径と同一の直径を有する円の円周である。原点Ｏは全天球６０の中心であるので、その円は、全天球６０の中心を通る平面による全天球６０の断面の円周と一致する。

線分Ａ－Ｂの長さは、任意に設定することができる。例えば、点Ａをいわゆる北極に設定し、点Ｂをいわゆる南極に設定することにより、全天球画像６１に撮像される範囲と、全周画像である画像７０に撮像される範囲は一致する。すなわち、全周画像は、全天球画像６１を２次元の画像に投影（マッピング）したものといっても良い。

図３（ｃ）に例示した画像７０は、撮像部２０の水平方向に周囲３６０度の範囲を撮像した全周画像である。したがって、全周画像７０は、いわゆる赤道に相当する経路６００を含んでいる。全周画像は、撮像部２０の水平方向に限定されず、撮像部２０のあらゆる方向に周囲３６０度の範囲を撮像した画像であってよい。例えば、全天球６０の経線に沿って撮像部２０の周囲３６０度の範囲を撮像した画像とすることができる。

以下の説明では、説明の簡単のため、全天球画像を、図３（ｃ）に例示したような、水平方向に３６０度の範囲を撮像した全周画像として例示する。つまり、以下の説明において図３（ｃ）の画像７０のようにあたかも全周画像のように図示された全天球画像は、特に記載のない限りにおいて、実際には図３（ａ）に示す全天球６０の範囲が撮像された画像である。

なお、撮像部２０が第１撮像素子２０１、第２撮像素子２０２の２つではなく、より多数の撮像素子を有していてもよい。このようにすることで、個々の撮像素子が撮像可能な範囲が、半天球より狭い範囲であっても、全天球画像を得ることができる。つまり、半天球の範囲を撮像する２つの撮像素子を組み合わせて全天球６０の範囲を撮像するのではなく、より狭い範囲を撮像する３つ以上の撮像素子を組み合わせて全天球６０の範囲を撮像するようにしてもよい。個々の撮像素子の撮像範囲は互いに一部が重複していてもよい。例えば、第１撮像素子２０１の撮像範囲と第２撮像素子２０２の撮像範囲は一部が重複していてもよい。同様に、撮像装置２が第１撮像光学系２１、第２撮像光学系２２の２つではなく、各々が半天球よりも狭い範囲の被写体像を結像させる、より多数の撮像光学系を有していてもよい。

また、撮像部２０が第１撮像素子２０１、第２撮像素子２０２の２つではなく、単一の撮像素子を有していてもよい。例えば、ミラー等により第１撮像光学系２１からの光と第２撮像光学系２２からの光を共に単一の撮像素子に向かわせることで、円形像６４と円形像６５を単一の撮像素子により撮像することができる。このようにすることで、撮像素子の個数を減らすことができ、撮像部２０のコストダウンを図ることができる。

（画像処理装置３の説明）
図４（ａ）は、画像処理装置３の構成を模式的に示すブロック図である。画像処理装置３は、画像生成部３０、入力部３１、および出力部３２を有する。入力部３１は、全天球動画が記憶されている記憶媒体５１から全天球動画を読み出して画像生成部３０に入力する。画像生成部３０は、入力された全天球動画に対して後述する二次元動画作成処理を実行する。二次元動画作成処理は、全天球動画から二次元動画を作成する処理である。つまり画像生成部３０は、入力された全天球動画から二次元動画を作成する。二次元動画は、各々のフレームが、全天球画像よりも狭い画角の画像により構成される動画である。例えば二次元動画は、図３（ａ）の原点Ｏに一般的な５０度～２５度程度の画角を有するビデオカメラを置いて撮像した動画と同等の内容を有する。出力部３２は、画像生成部３０により作成された二次元動画を記憶媒体５２に記憶する。記憶媒体５２は、撮像装置２が全天球動画を記憶した記憶媒体５１と同一の記憶媒体であってもよいし、それとは別の記憶媒体であってもよい。なお、図４（ａ）において記憶媒体５１および記憶媒体５２は画像処理装置３の外部に設けられているが、画像処理装置３が記憶媒体５１および記憶媒体５２の一方もしくは両方を内蔵していてもよい。また、記憶媒体５１および記憶媒体５２は、画像処理装置と有線または無線のネットワークを介して接続する構成としても良い。また、記憶媒体５１の代わりに、撮像装置２からネットワークを介して全天球動画を直接入力する構成としてもよい。

また、全天球動画から作成される二次元動画の各々のフレームは、全天球画像よりも狭い画角の１枚の画像のみならず、全天球画像よりも狭い画角の２枚以上の画像を有してもよい。

（再生装置４の説明）
図４（ｂ）は、再生装置４の構成を模式的に示すブロック図である。再生装置４は、表示部４０、入力部４１、制御部４２、および操作部４３を有する。入力部４１は、全天球画像が記憶されている記憶媒体５１から全天球画像を読み出して制御部４２に入力する。入力部４１は、二次元動画が記憶されている記憶媒体５２から二次元動画を読み出して制御部４２に入力する。制御部４２は、入力された全天球画像や二次元動画を表示部４０に表示させる制御を行う。表示部４０は、例えば液晶パネル等により構成される表示画面を有する。表示部４０は、制御部４２による制御に基づき、全天球画像または二次元動画を、表示画面に表示する。なお、図４（ｂ）において記憶媒体５１および記憶媒体５２は再生装置４の外部に設けられているが、再生装置４が記憶媒体５１および記憶媒体５２の一方もしくは両方を内蔵していてもよい。表示部４０は、例えばスマートフォンの液晶ディスプレイであり、タブレット端末の液晶ディスプレイであり、ヘッドマウントディスプレイである。したがって、表示部４０に全天球画像の全ての画像領域を一度に表示すると、３６０度の範囲が２次元ディスプレイに表示されることになりユーザは視認しにくい。そこで、３６０度の画角を有する全天球画像の一部を切り出し、二次元平面の表示画面（表示部４０）に全天球画像の一部を表示して再生する方法が知られている。以降の説明では、表示部４０に全天球画像の一部を表示して再生する方法を前提とする。

操作部４３は、ユーザによる操作が入力される操作部材である。本実施の形態において、操作部４３は、表示部４０の表示画面に重畳されるタッチセンサである。操作部４３は、ユーザの手指等が表示画面に接触した位置を検出して制御部４２に伝達する。すなわち操作部４３は、ユーザのタッチ操作を検出して制御部４２に入力する。タッチ操作には、例えば、ユーザが表示画面のある位置に手指等を接触させ、接触状態を維持したままその手指等を上下左右のいずれかの方向にスライドさせ、その後その手指等を表示画面に接触しない状態にするスクロール操作等がある。本実施形態において、手指等を左方向に動かすスクロール操作は、左方向へのスクロール操作である。
ここでスクロール操作とは、表示部４０に表示された画像を表示部４０において任意の方向に移動させる操作のことである。

なお、操作部４３をタッチセンサとは異なる操作部材としてもよい。例えば、再生装置４がヘッドマウントディスプレイである場合には、ユーザが左に首を振る操作を左方向へのスクロール操作とすることもできる。この場合、操作部４３は、ユーザの首の動きに伴い、ヘッドマウントディスプレイの変位（向き、位置など）を検出するセンサである。ヘッドマウントディスプレイの変位に相当する量、表示部４０に表示された画像が移動する。例えば、首を左に振る操作をすることにより、表示部４０に表示された画像は右に移動して表示される。
なお、操作部４３に用いられる操作部材は、表示部４０に表示された画像を表示部４０において任意の方向に移動させるものであれば、上述したものに限定されない。

再生装置４による全天球画像の再生処理（表示処理）について説明する。図５は、全天球画像の再生処理の説明図である。図５（ａ）、図５（ｃ）、および図５（ｅ）は、再生対象の全天球画像７３を例示する図である。全天球画像７３は、被写体７４と被写体７５とが撮像された画像である。図５（ｂ）、図５（ｄ）、および図５（ｆ）は、全天球画像７３を再生している表示部４０の表示画面を例示する図である。

制御部４２は、図５（ａ）に示す全天球画像７３のうち一部の範囲７６を切り出し、図５（ｂ）のように表示部４０に表示する。図５（ｂ）において、表示部４０は、被写体７４を含む範囲７６を表示している。ユーザが画面左方向へのスクロール操作を行うと、制御部４２は、図５（ｃ）および図５（ｄ）に示すように、表示部４０に表示された全天球画像７３の一部を左方向に移動させて、図５（ｂ）の時点では全天球画像７３の表示部４０に表示されていなかった部分を表示させる制御を行う。すなわち、制御部４２は、表示部４０に表示する画像を、表示部４０に表示されていた全天球画像７３の一部から、全天球画像７３のより右側にある別の一部に置き換える。換言すると、制御部４２は、現在表示部４０に表示されている全天球画像７３の一部をいったん消去し、図５（ａ）に示す範囲７６を図５（ｃ）に示す範囲７７に変更し、範囲７７に対応する全天球画像７３の新たな一部を表示部４０に表示する。このときユーザからは、全天球画像７３が左方向に距離７８だけ移動しているように見える。換言すると、ユーザからは、表示部４０に表示される画像が左方向に距離７８だけ移動しているように見える。なお、距離７８は、表示部４０を構成する画素を単位として計測することができる。例えば、画面左方向へのスクロール操作を最小にすることにより、全天球画像７３は表示部４０において１画素だけ左方向に移動する。範囲７７が表示部４０に表示されるまでに画像が何画素移動したかを計測することにより、距離７８を画素を単位として規定することができる。以下の説明では、図５（ａ）および図５（ｂ）に示す表示状態から図５（ｃ）および図５（ｄ）に示す表示状態への変化を、「表示部４０に表示される画像が左方向に距離７８だけ移動した」と表現する。

ユーザが画面左方向へのスクロール操作を繰り返し行うと、制御部４２は、上述の制御を繰り返す。その結果、図５（ｅ）および図５（ｆ）に示すように、制御部４２は被写体７５を含む範囲７９を切り出して表示部４０に表示するようになる。前述したように、全天球画像７３の右端と左端は連続しているので、ユーザが更に画面左方向へのスクロール操作を繰り返すと、制御部４２は、再度、被写体７４を表示部４０に表示するようになる。つまり、表示部４０の表示内容は、再度、図５（ａ）および図５（ｂ）に示す内容になる。

以上のように、全天球画像７３は、被写体７４と被写体７５とが撮像された画像の一部であって、表示部４０に表示された、全天球画像７３の一部を左方向に移動させて、全天球画像７３の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、被写体７４が表示された後に被写体７５が表示され、再度被写体７４が表示部４０に表示されるのに使用される画像データである。

このように、被写体７４が表示部４０に表示されてから、画面左方向へのスクロール操作を繰り返し、被写体７５が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離８０（図５（ｅ））を、被写体７４から被写体７５までの左方向に関する距離と称する。同様に、被写体７５が表示部４０に表示されてから、画面左方向へのスクロール操作を繰り返し、被写体７４が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離８１（図５（ｅ））を、被写体７５から被写体７４までの左方向に関する距離と称する。

なお、図５（ａ）および図５（ｂ）に示す状態から、ユーザが画面左方向ではなく画面右方向へのスクロール操作を繰り返し行った場合も同様に、被写体７４が表示された後に被写体７５が表示され、再度被写体７４が表示部４０に表示される。ただし、図５（ａ）および図５（ｂ）の例において、被写体７５が被写体７４の右方向で無く、上方向に位置していた場合は、画面左右方向ではなく、例えば画面上方向などの方向にスクロール操作を行うことにより、被写体７４が表示された後に被写体７４が画面から消え、その後、被写体７５が表示され、再度被写体７４が表示されることになる。つまり、全天球画像７３に撮像された２つの任意の被写体は、スクロール操作の方向を一定にすることにより、上述したように表示させることができる。

以上のように、本実施の形態の再生装置４は、垂直方向および水平方向に３６０度の画角を有する全天球画像の一部を切り出し、二次元平面の表示画面により再生する。以上の説明では、全天球画像を静止画として説明したが、各フレームが全天球画像である全天球動画を同様の処理によって再生することも可能である。この場合、全天球動画を一時停止させて再生した場合は、上述した説明と全く同様である。全天球動画を再生すると、全天球動画を構成する各フレーム（全天球画像）は、時間的に変化する点のみ異なる。

全天球画像の再生においては、ユーザが任意の方向のスクロール操作を実行することにより、主要な被写体を表示部４０に表示し、視認するころができる。しかしながら、全天球動画の再生においては、全天球動画を構成する各フレーム（全天球画像）は極めて短時間しか表示部４０に表示されないため、当該フレームの表示部４０に表示されていない部分を表示させることは困難である。通常、スクロール操作は次のフレームに対する制御結果として表示部４０に表示される。その結果、ユーザは例えば表示画面に現在再生されていない部分で主要な被写体が注目すべき動きをしているシーンを見逃してしまう可能性がある。また、ユーザはその全天球動画に自分が視認していない主要な被写体が存在していることすら気づかないかもしれない。また、動画を視聴する度に上述のようなスクロール操作を行い、表示位置を調節する必要があり、煩わしい。更に、例えば２つの主要な被写体が別々の箇所で注目したい動きをしている場合、その両方を見るためには動画を複数回再生する必要がある。このように、全天球動画の再生は、ユーザにとって負担が大きい。そこで本実施の形態の画像処理システム１は、全天球動画から適切な被写体に注目した二次元動画を自動的に作成し、その二次元動画を再生することにより、上述のような問題を解決する。

再生装置４による二次元動画の再生処理（表示処理）について説明する。二次元動画は、後述するように、時系列順に並べられた複数の二次元画像から成る。二次元動画を構成する各々の二次元画像をフレームと呼ぶ。制御部４２は、それら複数のフレームを順に表示部４０に表示することにより、二次元動画を再生する。

なお、撮像装置２から画像処理装置３への全天球動画の入力は、記憶媒体５１を用いない方法により成されてもよい。例えば、撮像装置２および画像処理装置３を通信ケーブルにより電気的に接続し、データ通信によって全天球動画を画像処理装置３に入力してもよい。あるいは、撮像装置２および画像処理装置３が電波を介した無線通信によって全天球動画を授受してもよい。撮像装置２から再生装置４への全天球画像の入力、および、画像処理装置３から再生装置４への二次元動画の入力についても同様である。

（二次元動画作成処理の説明）
画像生成部３０が実行する二次元動画作成処理について説明する。画像生成部３０は、二次元動画作成処理を実行することにより、全天球動画から二次元動画を作成する。二次元動画作成処理は、全天球画像から主要被写体を特定し、特定した主要被写体を含む二次元動画を作成する処理である。

二次元動画作成処理は、被写体特定処理および二次元画像作成処理とを含む。被写体特定処理は、全天球動画に含まれる全天球画像から、主要被写体を特定する処理である。二次元画像作成処理は、全天球画像から、被写体特定処理により特定された主要被写体を含む二次元画像を作成する処理である。以下、被写体特定処理および二次元画像作成処理について順に説明する。

（被写体特定処理の説明）
画像生成部３０は、例えば顔認識やパターンマッチングなどの周知の技術を用いて、１つの全天球動画に含まれる各フレームから主要被写体を特定する。例えば、主要被写体が人物である場合には、人間の顔を認識する技術によって、全天球画像に含まれる顔を検出し、その顔の向きや位置、色などからその顔に対応する人物の全身を特定することができる。なお、「主要被写体を特定する」とは、全天球画像に写り込んでいる種々の被写体の位置および形状を認識（検出）し、かつ、それらの被写体から主要な被写体を選択することである。例えば、主要被写体が人物であり、全天球画像から３人以上の人物が検出されたときには、画像生成部３０は、それらの人物の全員を主要被写体として特定する。

主要被写体の認識は、画像における被写体のサイズ、サリエンシーなど様々な要素（パラメータ）に基づいて決定することができる。また、画像１枚ではなく時間的に連続した複数の画像を用いることにより被写体の動きなどに基づいて決定することができる。なお、パラメータを数値化し、閾値処理を用いることにより、所定の閾値以上の被写体を主要被写体とすることができる。閾値処理を用いると、複数の被写体が主要被写体と認定されることがある。主要被写体は、一つでも複数でもよい。なお、全天球画像においては、３６０度の範囲が撮像されているため、通常のカメラによる撮影と比べ、複数の被写体が主要被写体と認定される可能性が高い。

（二次元画像作成処理の説明）
二次元画像作成処理は、全天球動画の各フレームから、主要被写体を含む二次元画像を作成する処理である。本実施の形態の画像処理システム１は、全天球動画から主要被写体を含む二次元動画を自動的に作成するものである。なお、二次元動画を構成する各画像をフレームと呼ぶ。、二次元画像作成処理は、全天球画像から、被写体特定処理で特定された主要被写体を含む二次元画像（フレーム）を作成する処理である。二次元画像作成処理では、主要被写体が１つであれば、主要被写体を１つ含むフレームを生成し、主要被写体が２つあれば、主要被写体を２つ含むフレームを生成する。

図７（ａ）から（ｃ）は、主要被写体が２つと認定された場合に、二次元画像作成処理により生成される二次元画像（フレーム）を例示する図である。第１被写体２０１と第２被写体２０２が主要被写体と認定された被写体である。図７（ａ）に例示した二次元画像６１０は、全天球画像から第１被写体２０１と第２被写体２０２とを含む部分画像（画角）を切出して二次元画像（フレーム）としてものである。また、図７（ｂ）のように、第１被写体２０１を全天球画像から切り出し、第２被写体２０２を全天球画像から切り出し、それら切り出した２つの部分画像を上下左右に貼り合わせて二次元画像６１１を作成してもよい。また、図７（ｃ）のように、第２被写体２０２を含む広い範囲を全天球画像から切り出した画像に、第１被写体２０１を全天球画像から切り出した部分画像６１３をスーパーインポーズ合成した二次元画像６１２を作成してもよい。
以下、バレーボールの試合を撮像装置２により撮像する例を用いて、二次元画像作成処理における課題を説明する。

図６は、二次元画像作成処理の説明図である。図６（ａ）は、バレーボールのコートの上面図である。図６の例において、撮像装置２は、コート２００の中央に設置される。コート２００の紙面左側には、主要被写体である人物（以下、第１被写体２０１と称する）が存在する。コート２００の紙面右側には、別の主要被写体である人物（以下、第２被写体２０２と称する）が存在する。すなわち、主要被写体が２つと認定されたケースである。図６（ｂ）に、撮像装置２を中心とする三次元空間における第１被写体２０１および第２被写体２０２の配置を示す。

ここで画像生成部３０が、図７（ａ）のように第１被写体２０１と第２被写体２０２とを含む２次元画像（フレーム）を全天球画像から切り出す場合について考える。仮に、画像生成部３０が、図６（ｂ）の経路２０４を含むように２次元画像（フレーム）を生成すると、生成された二次元画像６１０は、第１被写体２０１が右側、第２被写体２０２が左側に配置されたものになる。一方で、仮に、画像生成部３０が、図６（ｂ）の経路２０９を含むように２次元画像（フレーム）を生成すると、生成された二次元画像６１０は、第１被写体２０１が左側、第２被写体２０２が右側に配置されたものになる。上記配置の問題は、二次元画像６１１、二次元画像６１２についても同様に生じる。すなわち、全天球画像の性質上、画像生成部３０は、第１被写体２０１と第２被写体２０２を少なくとも２通りに配置（第１被写体２０１を左側、第２被写体２０２を右側に配置。または第１被写体２０１を右側、第２被写体２０２を左側に配置）することができる。なお、図７（ａ）には、理解を容易にするため図６（ｂ）に示した経路２０４を図示している。

ところで、画像生成部３０が生成した２次元画像（または２次元動画）を再生した場合、ユーザの視認性は配置の仕方によって大きく異なる。例えば、本バレーボールの例において、第１被写体２０１をレシーバ、第２被写体２０２をアタッカーとすると、二次元画像６１０に撮像されたバレーボールとの関係から、第１被写体２０１と第２被写体２０２の配置によって、違和感のある画像（映像）となってしまう。したがって、画像生成部３０は、複数の主要被写体（２つの主要被写体）を適切に配置した２次元画像（フレーム）を生成する必要がある。

本実施形態の画像生成部３０は、二次元画像作成処理において、第１被写体２０１および第２被写体２０２の両方の主要被写体を含む二次元画像を作成する。画像生成部３０は、被写体特定処理により特定した第１被写体２０１および第２被写体２０２の位置を用いて、第１被写体２０１および第２被写体２０２を含む画角を二次元画像の画角として決定する。例えば、図６（ａ）に示す位置に第１被写体２０１および第２被写体２０２が存在する場合、画像生成部３０は、第１被写体２０１および第２被写体２０２を含む画角２０３を二次元画像の画角として決定する。画像生成部３０は、全天球画像からその画角２０３に相当する内容を切り出して長方形に変形することにより、二次元画像を作成する。

第１被写体２０１および第２被写体２０２を含む画角は複数存在する。例えば、第１被写体２０１を画面左に、第２被写体２０２を画面右に配置した画角もあれば、第１被写体２０１を画面右に、第２被写体２０２を画面左に配置した画角もある。画像生成部３０はそのような多数の画角の中から、「三次元空間において第１被写体２０１および第２被写体２０２を結ぶ最短の経路２０４を含み、かつ、第１被写体２０１および第２被写体２０２を含む」画角を選択する。例えば図６（ａ）において、第１被写体２０１および第２被写体２０２を含む画角は、画角２０３や画角２０５など、多数の画角が考えられる。画像生成部３０は、それらの画角のうち、第１被写体２０１および第２被写体２０２を結ぶ最短の経路２０４を含み、かつ、第１被写体２０１および第２被写体２０２を含む画角２０３を選択する。なお、「最短の経路２０４を含む」とは、「最短の経路２０４に存在する第１被写体２０１および第２被写体２０２と異なる第３被写体を含む」と考えることもできる。

「全天球画像において第１被写体２０１および第２被写体２０２を結ぶ最短経路」の特定方法について説明する。全天球６０の中心を通り、第１被写体２０１および第２被写体２０２を通る平面で、全天球６０を切断した場合に、全天球６０の断面の円周の一部が第１被写体２０１および第２被写体２０２を結ぶ最短経路となる。図６（ｂ）に示す全天球画像２０６において、第１被写体２０１および第２被写体２０２を点と見なすと、天球６０の断面の円周は、経路２０４と経路２０９をつなぎ合わせたものといえる。経路２０４と経路２０９のうち、短い方が最短経路となる。すなわち、全天球画像において第１被写体２０１および第２被写体２０２を結ぶ最短経路は経路２０４である。第１被写体２０１と第２被写体２０２が全天球６０の正反対に位置する場合を除いて、最短経路は一意に特定することができる。

画像生成部３０は、以下のようにして、第１被写体２０１と第２被写体２０２の最短経路を算出する。例えば図６（ｃ）に示す全天球画像（全周画像）２０６において、画像生成部３０は、第１被写体２０１の右方向に第２被写体２０２を配置する。あるいは、画像生成部３０は、第１被写体２０１の右方向に第２被写体２０２が配置された全天球画像２０６を準備する。その結果、全天球画像２０６において第１被写体２０１と第２被写体２０２を結んだ直線は、全天球６０の中心を通り、第１被写体２０１および第２被写体２０２を通る平面で、全天球６０を切断した場合の全天球６０の断面の円周と一致する。画像生成部３０は、第２被写体２０２から左方向についての第１被写体２０１までの経路２０９と、第１被写体２０１から左方向についての第２被写体２０２までの最短経路２０４とを比較する。なお比較に際して、画像生成部３０は、第１被写体２０１の左方向における第２被写体２０２までの距離２０８（以下、第１距離２０８と称する）を算出する。同様に、画像生成部３０は、第２被写体２０２の左方向における第１被写体２０１までの距離２０７（以下、第２距離２０７と称する）を算出する。距離は、全天球画像（全周画像）２０６を構成する画素をカウントすることにより算出することができる。画像生成部３０は、第１距離２０８と第２距離２０７とを比較する。図６の例では、第２距離２０７が第１距離２０８よりも長い。

次に、画像生成部３０による二次元画像（フレーム）の生成方法について説明する。画像生成部３０は、上述したように第１距離２０８と第２距離２０７とを比較して、第２距離２０７が第１距離２０８よりも長いと判断した。そこで、画像生成部３０は、第１被写体２０１が右に、第２被写体２０２が左に、それぞれ配置されるように、二次元画像（フレーム）を生成する。他方、第１距離２０８が第２距離２０７よりも長い場合、画像生成部３０は、それとは逆に、第１被写体２０１が左に、第２被写体２０２が右に、それぞれ配置されるように、二次元画像（フレーム）を生成する。

また、画像生成部３０は、次のように二次元画像（フレーム）を生成しても良い。画像生成部３０は、第１距離２０８と第２距離２０７とを比較して、第２距離２０７が第１距離２０８よりも長いと判断した際に、最短経路２０４を含み、かつ、第１被写体２０１および第２被写体２０２を含むように画角を決定する。決定した画角で全天球画像（全周画像）２０６から部分画像を切り出すと、部分画像において、第１被写体２０１は第２被写体２０２の右側に配置されている。そこで、画像生成部３０は、第１被写体２０１が右に、第２被写体２０２が左に、それぞれ配置されるように、二次元画像（フレーム）を生成する。

なお、上述の第１距離２０７は、前述した再生装置４による全天球画像の再生処理において、ユーザが左方向へのスクロール操作を繰り返したときに、第１被写体２０１が表示部４０に表示されてから第２被写体２０２が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離に相当する。上述の第２距離２０８は、前述した再生装置４による全天球画像の再生処理において、ユーザが左方向へのスクロール操作を繰り返したときに、第２被写体２０２が表示部４０に表示されてから第１被写体２０１が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離に相当する。

以上のように、画像生成部３０は、第１被写体２０１が表示部４０に表示されてから第２被写体２０２が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した第１距離２０７と、第２被写体２０２が表示部４０に表示されてから第１被写体２０１が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した第２距離２０８とに基づいて、第１被写体２０１と第２被写体２０２とを配置した二次元画像を全天球画像から生成する。具体的には、画像生成部３０は、第１距離２０７が第２距離２０８よりも長い場合は、第１被写体２０１と第２被写体２０２とを含み、第１被写体２０１の左方向側に第２被写体２０２を配置した二次元画像を全天球画像から生成する。

図７（ｄ）を用いて、第１被写体２０１の左方向側（第１方向側）とはどのような方向を指すのかについて詳述する。なお図７（ｄ）では説明の簡単のため、第１被写体２０１の位置２０１ａおよび第２被写体２０２の位置２０２ａを点で表現している。第１被写体２０１の位置２０１ａと第２被写体２０２の位置２０２ａが判明しているとき、第１被写体２０１を始点とし、第２被写体２０２を終点とするベクトル６１５を求めることができる。ベクトル６１５を、左方向（横方向）の成分６１６と左方向に直交する方向（縦方向）の成分６１７に分解する。左方向の成分６１６が左方向に正であるとき、第２被写体２０２は第１被写体２０１の左方向側に配置されていることになる。つまり、「第２被写体２０２を第１被写体２０１の左方向側（第１方向側）に配置する」とは、第１被写体２０１の位置２０１ａを始点とし、第２被写体２０２の位置２０２ａを終点とするベクトル６１５が左方向（第１方向）の正の成分を有していることを指す。なお、このベクトル６１５の左方向（第１方向）に直交する方向（縦方向）の成分６１７がどのような状態であるかは問わない。

なお、画像生成部３０が二次元画像（フレーム）を生成するに際して、図６では第１距離２０７および第２距離２０８を用いた考え方を説明したが、距離ではなく三次元空間における角度を用いて説明することもできる。例えば、図６（ｂ）において、原点Ｏから第１被写体２０１に向かうベクトルと、原点Ｏから第２被写体２０２に向かうベクトルとが成す角度を考える。これら２つのベクトルが成す角度は、鋭角と鈍角の２通りが考えられる。このうち、鋭角は最短経路２０４および画角２０３に対応し、鈍角は経路２０９および画角２０５に対応する。従って、画像生成部３０は、これら２つのベクトルが成す角度が最小となり、かつ、第１被写体２０１および第２被写体２０２を含むように画角を決定する。決定した画角で全天球画像（全周画像）２０６から部分画像を切り出すと、部分画像において、第１被写体２０１は第２被写体２０２の右側に配置されている。そこで、画像生成部３０は、第１被写体２０１が右に、第２被写体２０２が左に、それぞれ配置されるように、二次元画像（フレーム）を生成する。

画像生成部３０は、以上で説明した処理により二次元画像（フレーム）を生成（作成）する。画像生成部３０は、それらの二次元画像を含む二次元動画を生成（作成）し、記憶媒体５２に記憶する。

図８は、二次元動画作成処理のフローチャートである。ステップＳ１０において、画像生成部３０は、全天球動画に含まれる各フレームに対して、被写体特定処理を実行する。これにより、各フレームについて、主要被写体が特定される。

ステップＳ３０において、画像生成部３０は、全天球動画に含まれるフレームを１つ選択する。画像生成部３０は、選択したフレームにおいて特定された主要被写体の数を取得する。主要被写体が１つの場合（ステップＳ３０：ＹＥＳ）は、処理をステップＳ３５に進める。ステップＳ３５において、画像生成部３０は、全天球画像（フレーム）に基づき、主要被写体を含む二次元画像（フレーム）を作成する。

主要被写体が２つ以上ある場合（ステップＳ３０：Ｎｏ）は、処理をステップＳ４０に進める。ステップＳ４０において、画像生成部３０は、選択したフレームにおける第１距離を算出する。すなわち、画像生成部３０は、２つの主要被写体の一方を第１被写体、他方を第２被写体とし、第１被写体から第１方向に向かい第２被写体に到達するまでの距離を算出する。ステップＳ５０において、画像生成部３０は、選択したフレームにおける第２距離を算出する。すなわち、画像生成部３０は、第２被写体から第１方向に向かい第１被写体に到達するまでの距離を算出する。なお、第１方向とは、全天球動画に含まれるフレームの一部を表示部４０に表示させた場合に、ユーザがある方向へのスクロール操作を繰り返したときに、第１被写体２０１が表示部４０に表示された後に第１被写体２０１が表示部４０から消え、その後、第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示されることになる方向である。

ステップＳ６０において、画像生成部３０は、ステップＳ４０で算出した第１距離がステップＳ５０で算出した第２距離よりも長いか否かを判定する。第１距離が第２距離よりも長い場合、画像生成部３０は、処理をステップＳ７０に進める。ステップＳ７０において、画像生成部３０は、ステップＳ３０で選択した全天球画像（フレーム）に基づき、第２被写体を第１被写体の第１方向側に配置した二次元画像を作成する。他方、ステップＳ６０において第１距離が第２距離以下であった場合、画像生成部３０は、処理をステップＳ８０に進める。ステップＳ８０において、画像生成部３０は、ステップＳ３０で選択したフレームに基づき、第１被写体を第２被写体の第１方向側に配置した二次元画像を作成する。

ステップＳ９０において、画像生成部３０は、全天球動画に未選択のフレームが残っているか否かを判定する。未選択のフレームが残っていた場合、画像生成部３０は、処理をステップＳ３０に進める。他方、全てのフレームが既に選択されていた場合、画像生成部３０は、処理をステップＳ１００に進める。ステップＳ１００において、画像生成部３０は、ステップＳ７０およびステップＳ８０で作成された二次元画像からなる二次元動画を記憶媒体５２に記憶するよう出力部３２を制御する。

上述した実施の形態によれば、次の作用効果が得られる。（１）本実施形態の構成により、全天球画像から鑑賞に適した二次元画像を自動的に生成することができる。

（第１の実施の形態の変形例）
なお、撮像部２０、画像生成部３０、および表示部４０のうち２つ以上を単一の装置が有していてもよい。例えば、撮像装置２が撮像部２０に加えて画像生成部３０を有していてもよい。この場合、撮像装置２が画像処理装置３の役割を兼ね備える。従って、画像処理装置３は画像処理システム１に含まれていなくてよい。別の例として、画像処理装置３が画像生成部３０に加えて表示部４０を有していてもよい。この場合、画像処理装置３が再生装置４の役割を兼ね備える。従って、再生装置４は画像処理システム１に含まれていなくてよい。別の例として、撮像装置２が撮像部２０に加えて画像生成部３０および表示部４０を有していてもよい。この場合、撮像装置２が画像処理装置３および再生装置４の役割を兼ね備える。すなわち、撮像装置２は、単独で画像処理システム１と同等の機能を提供する。

図１０は、画像処理装置３と再生装置４とを兼ね備える電子機器１０００を模式的に示すブロック図である。電子機器１０００は、例えばスマートフォンやタブレット端末である。電子機器１０００は、画像生成部３０、入力部３１、出力部３２、表示部４０、制御部４２、および操作部４３を有する。電子機器１０００は、二次元動画の作成、作成した二次元動画の表示部４０による再生、作成した二次元動画の記憶媒体５２への記憶、全天球画像（全天球動画）の表示部４０による再生を行うことができる。なお、電子機器１０００の各部の動作については、第１の実施の形態と同一であるので、説明を省略する。

上述した変形例によれば、次の作用効果が得られる。（２）本実施形態の構成により、上述した実施の形態と同様の作用効果が得られる。

なお、画像生成部３０による二次元動画の作成は、撮像部２０による全天球動画の作成と並行してリアルタイムに成されてもよいし、全天球動画の作成が完了してから開始されてもよい。同様に、表示部４０による二次元動画の表示は、画像生成部３０による二次元動画の作成と並行してリアルタイムに成されてもよいし、二次元動画の作成が完了してから開始されてもよい。

上述した実施の形態では、撮像部２０が全天球を撮像するとして説明した。すなわち、撮像部２０は、撮像部２０の周囲３６０度の範囲を撮像できるとして説明したが、撮像部２０が、垂直方向および／または水平方向について、全天球よりも狭い範囲しか撮像できなくてもよい。例えば、撮像部２０が半天球を撮像可能に構成してもよい。あるいは、撮像部２０が、半天球よりも更に狭い範囲しか撮像できなくてもよい。例えば、図３（ａ）に網掛けで示した、範囲６８の画像しか撮像できなくてもよい。二次元動画は、撮像部２０の画角が全天球よりも狭い場合、それよりも更に狭い画角の画像により構成されることになる。

また、全周画像は、必ずしも３６０度全ての範囲を撮像した画像でなくてもよい。例えば、３００度程度の範囲を撮像した画像を、左右端が繋がった全周画像として扱うことも可能である。全天球画像についても同様であり、全天球の一部が欠落した画像を、全体が一続きになった全天球画像として扱うことも可能である。

本明細書では、全天球画像とは、表示部４０に表示された、画像の一部を第１方向に移動させて、画像の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、当該画像に含まれる第１被写体２０１が表示された後に第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示される画像のことである。全天球の一部が欠落した画像もまた、欠落した部分を一続きにすることにより、表示部４０に表示された、画像の一部を第１方向に移動させて、画像の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、当該画像に含まれる第１被写体２０１が表示された後に第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示されるので全天球画像である。

図９（ａ）は、全天球画像の例を示す模式図である。半天球に対応する像６２０および像６２１は、３６０度よりも小さい範囲を撮像した像であり、半天球の一部が欠落している。画像生成部３０および制御部４２は、辺Ｅ－Ｆと辺Ｇ－Ｆとを連続しているように扱うことができる。つまり、図９（ａ）に示す画像は全天球画像である。

図９（ｂ）は、全周画像の例を示す模式図である。図９（ｂ）には、水平方向に非連続な範囲を撮像した画像６２２、画像６２３、および画像６２４を図示している。これら３つの画像は、水平方向について３６０度よりも小さい範囲を撮像した像であり、３６０度の一部が欠落している。画像生成部３０および制御部４２は、辺Ａ－Ｂどうし、辺Ｃ－Ｄどうし、辺Ｅ－Ｆどうしを連続しているように扱うことができる。具体的には、制御部４２は、画像６２２の一部が表示部４０に表示されている状態で水平左方向に画像６２２を移動させて、画像６２２の表示部４０に表示されていない部分を表示させる制御を繰り返す。その結果、辺Ｃ－Ｄが表示され、続いて辺Ｅ－Ｆが表示される。そして、さらに制御を繰り返すことにより、辺Ａ－Ｂが表示され、画像６２２の一部が表示部４０に表示されている状態に戻る。したがって、図９（ｂ）に示す画像６２２、画像６２３、画像６２４は全周画像である。なぜならば、図９（ｂ）に示す画像（画像６２２、画像６２３、画像６２４）は、当該画像に含まれる適当な被写体を第１被写体２０１、第２被写体２０２とすることにより、表示部４０に表示された、画像の一部を第１方向に移動させて、画像の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、当該画像に含まれる第１被写体２０１が表示された後に第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示される画像だからである。なお、ここでいう全周画像（あるいは全天球画像）は、画像コンテンツの連続性は全く問題としていない。つまり、例えば、表示部４０に辺Ｃ－Ｄを含む画像が表示された場合、ユーザは、辺Ｃ－Ｄの左側の画像コンテンツと、辺Ｃ－Ｄの右側の画像コンテンツが、画像コンテンツとして不連続であると視認するかもしれない。しかしながら、画像コンテンツの連続性は問題でなく、画像の連続性が重要である。つまり、辺Ｃ－Ｄの左側の画像と、辺Ｃ－Ｄの右側の画像が連続であればよい。

例えば、画像６２２において、辺Ａ－Ｂと辺Ｃ－Ｄを連続して扱うことにより、画像６２２は全周画像といえる。また、画像６２３において、辺Ｃ－Ｄと辺Ｅ－Ｆを連続して扱うことにより、画像６２３も全周画像といえる。全ての画像は、同様に扱うことにより、表示部４０に表示された、画像の一部を第１方向に移動させて、画像の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、当該画像に含まれる第１被写体２０１が表示された後に第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示される画像となるので、全天球画像（全周画像）である。

なお、図９（ｂ）のように、実際には連続していない全周画像や全天球画像（画像６２２、画像６２３、画像６２４）であっても、画像生成部３０による２次元画像生成処理は、上述した実施の形態と何ら違いはない。すなわち、全周画像（画像６２２、画像６２３、画像６２４）から第１被写体２０１と第２被写体２０２をどのように配置した２次元画像（フレーム）を生成するかは、上述した実施の形態と同様に判断することができる。例えば、第１被写体２０１が表示部４０に表示されてから、画面左方向へのスクロール操作を繰り返し、第２被写体２０２が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離と、第２被写体２０２が表示部４０に表示されてから、画面左方向へのスクロール操作を繰り返し、第１被写体２０１が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離とを比較し、前者の距離が後者の距離よりも長い場合には、第２被写体２０２が第１被写体２０１の左方向に配置されるように二次元画像を作成すればよい。

上述した変形例によれば、次の作用効果が得られる。（３）本実施形態の構成により、全周画像から鑑賞に適した二次元画像を自動的に生成することができる。

なお、第１被写体２０１と第２被写体２０２を含む二次元画像（フレーム）は、上述した図７（a）から図７（ｃ）以外の方法で作成してもよい。例えばシームカービング等の技術を用いて、第１被写体２０１と第２被写体２０２の間の空間を圧縮した二次元画像を作成してもよい。もしくは、第１被写体２０１と第２被写体２０２の間に位置する被写体を間引いたり縮小したりして二次元画像を作成してもよい。

画像生成部３０が、全フレームに対して被写体特定処理を実行するのではなく、一部のフレームに対してのみ被写体特定処理を実行するようにしてもよい。例えば、画像生成部３０は、１フレーム目、３１フレーム目、６１フレーム目など、３０フレームごとに主要被写体を特定する。画像生成部３０は、１フレーム目と３１フレーム目の間の２９フレームに対しては、被写体特定処理を実行しない。

例えば、全天球動画のフレームレートが６０ｆｐｓであれば、３０フレームは０．５秒間に相当する。０．５秒間程度の期間であれば、主要被写体の位置はほとんど変化していないことが期待される。つまり、それら２９フレームにおける主要被写体の位置は、１フレーム目における主要被写体の位置と３１フレーム目における主要被写体の位置から、容易に推定可能である。

このように、一部の全天球画像に対してのみ被写体特定処理を実行する（一部の全天球画像からのみ主要被写体を特定する）ことで、二次元動画作成処理の実行に必要な演算量を削減することができる。

（第２の実施の形態）
第２の実施の形態に係る画像処理システムは、画像生成部３０が実行する二次元動画作成処理の内容が、第１の実施の形態と異なっている。なお、本実施の形態で言及しない点は、第１の実施の形態で説明した内容と同一である。すなわち、第１の実施の形態で説明した内容は、第２の実施の形態に全て組込まれている。以下、第２の実施の形態に係る画像処理システムについて、第１の実施の形態に係る画像処理システムと異なる点を中心に説明する。

画像生成部３０は、第１の実施の形態と同様に、各フレームに対して被写体特定処理を実行する。画像生成部３０は、これにより特定された主要被写体について、フレーム内における主要被写体の向きを特定する方向特定処理を実行する。本実施の形態において、主要被写体は人物であり、主要被写体の向きとは画像内における人物の顔の向きである。方向特定処理において、画像生成部３０は、周知の顔認識処理を実行し、主要被写体の顔およびその顔の向きを認識する。画像生成部３０は、画像内における主要被写体の顔の向きをその主要被写体の向きとして特定する。

次に、画像における主要被写体の向きの特定方法について説明する。まず、三次元空間における主要被写体の向きを決定する。例えば、主要被写体が人間である場合に、鼻の向いている方向を主要被写体の向きとする。この場合、顔の中心を始点とし鼻の頂点を終点とするベクトルの向きを主要被写体の向きとすることができる。なお、三次元空間における主要被写体の向きの決定の仕方については後述する。三次元空間における主要被写体の向きを示すベクトルが特定されると、当該ベクトルを画像（または撮像面）に射影する。この結果、主要被写体が撮像された２次元画像に射影されたベクトル（射影ベクトル）が画像における主要被写体の向きとなる。

図１１は、二次元画像作成処理の説明図である。図１１に示す全天球画像３００は、主要被写体である第１被写体３０１と第２被写体３０２を含んでいる。表示部４０に表示された、全天球画像３００の一部を左方向に移動させる制御によって、第１被写体が表示部４０に表示されてから第２被写体が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離（第１被写体３０１から右方向に第２被写体３０２までの距離）は、第２被写体３０２から右方向に第１被写体３０１までの距離よりも長いので、仮に第１の実施の形態と同様の処理を行って二次元画像を作成する場合、第２被写体３０２が第１被写体３０１の左側に配置された二次元画像が作成されることになる。

上述した通り、全天球画像の性質上、画像生成部３０は、第１被写体２０１と第２被写体２０２を少なくとも２通りに配置（第１被写体２０１を左側、第２被写体２０２を右側に配置。または第１被写体２０１を右側、第２被写体２０２を左側に配置）することができる。一方で、画像生成部３０が生成した２次元画像（または２次元動画）を再生した場合、ユーザの視認性は配置の仕方によって大きく異なる。画像生成部３０は、複数の主要被写体（２つの主要被写体）を適切に配置した２次元画像（フレーム）を生成する必要がある。

本実施の形態に係る画像処理部３０は、画像内において第１被写体３０１が第２被写体３０２の方を向く二次元画像を作成する。図１１に例示する画像において、第１被写体３０１は紙面右方向を向いている。第１被写体３０１が第２被写体３０２の方を向くように、第１被写体３０１と第２被写体３０２とを配置した二次元画像（フレーム）を作成することにより、ユーザに違和感のない画像（映像）とすることができる。画像処理部３０は、第１被写体３０１が第２被写体３０２の左側に配置されるように二次元画像を作成する。

次に、画像内において第１被写体３０１が第２被写体３０２の方を向く点について説明する。上述してように、三次元空間における主要被写体の向きを示すベクトルを画像（または撮像面）に射影した際、射影ベクトルが画像における主要被写体の向きである。例えば、図１１において示されるベクトルが第１被写体３０１の射影ベクトルである。画像３００において、第１被写体３０１を原点とし、第１被写体３０１から第２被写体３０２へ向かう方向にＸ軸をとる。このとき、第１被写体３０１の射影ベクトルのＸ軸方向の成分が正であれば、第１被写体３０１は第２被写体３０２の方を向いていると判断できる。逆に、第１被写体３０１の射影ベクトルのＸ軸方向の成分が負であれば、第１被写体３０１は第２被写体３０２の方を向いていないと判断できる。

画像生成部３０は、第１被写体３０１が表示部４０に表示されてから第２被写体３０２が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した第１距離が、第２被写体３０２が表示部４０に表示されてから第１被写体３０１が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した第２距離よりも長い場合に、第２被写体３０２が表示部４０に表示されてから第１被写体３０１が表示部４０に表示されるまでに表示部４０に表示される画像において、第１被写体３０１が第２被写体３０２の方を向いていない場合に、第１被写体３０１と第２被写体３０２とを含み、第２被写体３０２の第１方向側に第１被写体３０１を配置した二次元画像を全天球画像から生成する。

次に、三次元空間における被写体の向きの決定の仕方について説明する。例として人物の鼻の向きを説明したが、被写体（人物）の顔の向きでも良い。顔の向きとしては、目の向いている方向でも良いし、顔を平面としてモデル化した場合に、当該平面の法線方向としてもよい。また、被写体の向きとして人物の顔の向きではなく人物の体の向きを採用してもよい。体の向きを採用した場合、胸を平面としてモデル化し、当該平面の法線方向を体の向きとしてもよい。いずれにせよ、三次元空間における被写体の向きを予め規定することにより、三次元空間における被写体の向きは一意に決定することが可能である。また、主要被写体として人物以外の被写体を採用する場合には、被写体に合わせて適宜向きを規定すればよい。例えば主要被写体が車両やその他の移動体であれば、その車両の進行方向（移動方向）を主要被写体の向きとすればよい。また、主要被写体が建物であれば、その建物の正面の出入り口の向きを主要被写体の向きとすればよい。

次に、三次元空間における被写体の向きの取得の仕方について説明する。上述したように、被写体に合わせて向きは規定されているので、例えば画像生成部３０が、全天球画像を画像解析することにより、もしくは撮像部２０とは別に設けたセンサの出力から、または撮像部２０を用いた測距演算により、三次元空間における主要被写体の向きを取得することができる。三次元空間における主要被写体の向きを示すベクトルが取得できれば、当該ベクトルを射影することにより射影ベクトルを取得することができる。そして、画像生成部３０は、上述したように、射影ベクトルに基づいて画像における主要被写体の向きを算出することができる。

上述した実施の形態によれば、次の作用効果が得られる。（１）本実施形態の構成により、全天球画像から鑑賞に適した二次元画像を自動的に生成することができる。

（第２の実施の形態の変形例）
なお、撮像部２０、画像生成部３０、および表示部４０のうち２つ以上を単一の装置が有していてもよい。例えば、撮像装置２が撮像部２０に加えて画像生成部３０を有していてもよい。この場合、撮像装置２が画像処理装置３の役割を兼ね備える。従って、画像処理装置３は画像処理システム１に含まれていなくてよい。別の例として、画像処理装置３が画像生成部３０に加えて表示部４０を有していてもよい。この場合、画像処理装置３が再生装置４の役割を兼ね備える。従って、再生装置４は画像処理システム１に含まれていなくてよい。別の例として、撮像装置２が撮像部２０に加えて画像生成部３０および表示部４０を有していてもよい。この場合、撮像装置２が画像処理装置３および再生装置４の役割を兼ね備える。すなわち、撮像装置２は、単独で画像処理システム１と同等の機能を提供する。

図１０は、画像処理装置３と再生装置４とを兼ね備える電子機器１０００を模式的に示すブロック図である。電子機器１０００は、例えばスマートフォンやタブレット端末である。電子機器１０００は、画像生成部３０、入力部３１、出力部３２、表示部４０、制御部４２、および操作部４３を有する。電子機器１０００は、二次元動画の作成、作成した二次元動画の表示部４０による再生、作成した二次元動画の記憶媒体５２への記憶、全天球画像の表示部４０による再生を行うことができる。なお、電子機器１０００の各部の動作については、第１の実施の形態と同一であるので、説明を省略する。

上述した変形例によれば、次の作用効果が得られる。（２）本実施形態の構成により、上述した実施の形態と同様の作用効果が得られる。

なお、画像生成部３０による二次元動画の作成は、撮像部２０による全天球動画の作成と並行してリアルタイムに成されてもよいし、全天球動画の作成が完了してから開始されてもよい。同様に、表示部４０による二次元動画の表示は、画像生成部３０による二次元動画の作成と並行してリアルタイムに成されてもよいし、二次元動画の作成が完了してから開始されてもよい。

上述した変形例によれば、次の作用効果が得られる。（３）本実施形態の構成により、全周画像から鑑賞に適した二次元画像を自動的に生成することができる。

（第３の実施の形態）
第３の実施の形態に係る画像処理システムは、画像生成部３０が実行する二次元動画作成処理の内容が、第１の実施の形態と異なっている。なお、本実施の形態で言及しない点は、第１の実施の形態で説明した内容と同一である。すなわち、第１の実施の形態で説明した内容は、第３の実施の形態に全て組込まれている。以下、第３の実施の形態に係る画像処理システムについて、第１の実施の形態に係る画像処理システムと異なる点を中心に説明する。本実施の形態の画像生成部３０は、第１の実施の形態と同様に、被写体特定処理を実行する。その内容は第１の実施の形態と同様であるので、説明を省略する。

図１２および図１３は、二次元画像作成処理の説明図である。図１２（ａ）および図１３（ａ）は、バレーボールのコートの上面図である。図１２および図１３の例において、撮像装置２は、コート４００の中央に設置される。時刻ｔ１におけるコート４００の様子を図１２（ａ）に、時刻ｔ１に撮影された１フレーム目（以下、第１全天球画像５００と称する）を図１２（ｂ）に、それぞれ示す。このとき、画像生成部３０は、人物である被写体４０３（以下、第３被写体４０３と称する）を主要被写体として認定しているものとする。従って、画像生成部３０は、図８に示すフローチャートにおいて、ステップＳ３５により、第３被写体４０３を含む二次元画像（フレーム）を作成する。

時刻ｔ１よりも後の時刻ｔ２におけるコート４００の様子を図１３（ａ）に、時刻ｔ２に撮影された３１フレーム目（以下、第２全天球画像５１０と称する）を図１３（ｂ）に、それぞれ示す。このとき、コート４００には、前述の時刻ｔ１における主要被写体である第３被写体４０３と、時刻ｔ２における人物である主要被写体４０４（以下、第４被写体４０４と称する）と、人物である主要被写体４０５（以下、第５被写体４０５と称する）が存在する。ここで、画像生成部３０は、第４被写体４０４および第５被写体４０５を２つの主要被写体として特定したものとする。なお、時刻ｔ２においては、第３被写体４０３は主要被写体として特定されていないものとする。

撮像装置２と第４被写体４０４および第５被写体４０５の位置関係は、図６に示した例と同一である。すなわち、図１３（ｂ）において、表示部４０に表示された、第２全天球画像５１０の一部を左方向に移動させる制御によって、第４被写体４０４が表示部４０に表示されてから第５被写体４０５が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離（第４被写体４０４の右方向における第５被写体４０５までの距離（以下、第１距離と称する））が、第５被写体４０５の右方向における第４被写体４０４までの距離（以下、第２距離と称する）よりも長い。従って、仮に第１の実施の形態と同様の処理を行って第２全天球画像５１０から二次元画像を作成する場合、第５被写体４０５が第４被写体４０４の左側に配置された二次元画像が作成されることになる。

これに対して、本実施の形態の画像生成部３０は、時間的に前のフレーム、すなわち、図１２（ｂ）に示す時刻ｔ１において撮像された第１全天球画像５００における主要被写体の位置を尊重して二次元画像を生成する。具体的には、画像生成部３０は、時刻ｔ１における主要被写体（第３被写体４０３）を含む画角である画角４０１を特定する。そして時刻ｔ２において撮像された第２全天球画像５１０から画角４０１に相当する位置にある部分画像５１１を特定する。そして、画像生成部３０は、第２全天球画像５１０における部分画像５１１と、第４被写体４０４と、第５被写体４０５の位置関係に基づいて第４被写体４０４と、第５被写体４０５とを配置した二次元画像を作成する。

画像生成部３０による二次元画像作成処理について詳述する。画像生成部３０は、第２全天球画像における、第１全天球画像における第３被写体４０３を含む部分画像に相当する位置にある部分画像５１１（すなわち、第２全天球画像における、画角４０１に相当する部分画像。以下、第１部分画像５１１と称する）を想定する。画像生成部３０は、第４被写体４０４と、第５被写体４０５と、第４被写体４０４および第５被写体４０５の間に第１部分画像５１１が含まれる部分画像（すなわち、第２全天球画像における、画角４０６に相当する部分画像。以下、第２部分画像と称する）を想定する。画像処理部３０は、第２部分画像における、第４被写体４０４と第５被写体４０５の左右の位置関係が維持されるような二次元画像を作成する。

なお、時刻ｔ１において撮像された第１全天球画像５００における主要被写体の位置を尊重して二次元画像を生成するのは、以下の理由による。画像生成部３０は、時刻ｔ１において撮像された第１全天球画像５００から、第３被写体４０３を含む２次元画像（フレーム）を生成する。すなわち、ユーザは、２次元動画を再生した映像としては、画角４０１に相当する方向を所定期間観ていることになる。そして、時刻ｔ２になって主要被写体が、第３被写体４０３から第４被写体４０４と、第５被写体４０５に変更になる。その結果、画像生成部３０は、時刻ｔ２において撮像された第２全天球画像５１０から、第４被写体４０４と第５被写体４０５とを含む２次元画像（フレーム）を生成する。２次元動画を再生した映像として、画角４０１に相当する方向を所定期間観ていたユーザにとって、第３被写体４０３の位置（すなわち、画角４０１に相当する方向）を基準として、第４被写体４０４と第５被写体４０５とを配置することによって、３次元空間の被写体の配置を理解しやすくなるからである。つまり、図１３（a）において、撮像装置２からみて画角４０１の方向を基準にすると、第４被写体４０４は左に、第５被写体４０５は右に存在する。したがって、２次元動画の再生時に、第３被写体４０３を含む２次元画像（フレーム）から第４被写体４０４と、第５被写体４０５とを含む２次元画像（フレーム）に切り替わった際、当該２次元画像において、第４被写体４０４は左に、第５被写体４０５は右に配置することでユーザの違和感を減少させることができる。

このように、時間的に前のフレームの画角を尊重して画角を決定することで、急なシーンチェンジによる鑑賞時の混乱を回避することができる。つまり、前フレームとは全く違う方向が急に再生されると、全天球画像のどの部分を切り出した画面なのかが分からなくなってしまう可能性がある。本実施形態の画像生成部３０は、上述したように、前フレームの画角を尊重して画角を決定するので、空間の把握が容易な、鑑賞に適した二次元動画を作成することができる。

なお、「左右の位置関係が維持される」とは、上下の位置関係を無視し、左右方向のみの位置関係を考えたときに、その関係が維持されていることを意味する。つまり、上下の位置関係がどれだけ変化しようとも、左右方向に関する位置関係が維持されてさえいれば、それは左右の位置関係が維持されたことになる。

上述した実施の形態によれば、次の作用効果が得られる。（１）本実施形態の構成により、全天球画像から鑑賞に適した二次元画像を自動的に生成することができる。

（第３の実施の形態の変形例）
なお、撮像部２０、画像生成部３０、および表示部４０のうち２つ以上を単一の装置が有していてもよい。例えば、撮像装置２が撮像部２０に加えて画像生成部３０を有していてもよい。この場合、撮像装置２が画像処理装置３の役割を兼ね備える。従って、画像処理装置３は画像処理システム１に含まれていなくてよい。別の例として、画像処理装置３が画像生成部３０に加えて表示部４０を有していてもよい。この場合、画像処理装置３が再生装置４の役割を兼ね備える。従って、再生装置４は画像処理システム１に含まれていなくてよい。別の例として、撮像装置２が撮像部２０に加えて画像生成部３０および表示部４０を有していてもよい。この場合、撮像装置２が画像処理装置３および再生装置４の役割を兼ね備える。すなわち、撮像装置２は、単独で画像処理システム１と同等の機能を提供する。

図１０は、画像処理装置３と再生装置４とを兼ね備える電子機器１０００を模式的に示すブロック図である。電子機器１０００は、例えばスマートフォンやタブレット端末である。電子機器１０００は、画像生成部３０、入力部３１、出力部３２、表示部４０、制御部４２、および操作部４３を有する。電子機器１０００は、二次元動画の作成、作成した二次元動画の表示部４０による再生、作成した二次元動画の記憶媒体５２への記憶、全天球画像の表示部４０による再生を行うことができる。なお、電子機器１０００の各部の動作については、第１の実施の形態と同一であるので、説明を省略する。

上述した変形例によれば、次の作用効果が得られる。（２）本実施形態の構成により、上述した実施の形態と同様の作用効果が得られる。

なお、画像生成部３０による二次元動画の作成は、撮像部２０による全天球動画の作成と並行してリアルタイムに成されてもよいし、全天球動画の作成が完了してから開始されてもよい。同様に、表示部４０による二次元動画の表示は、画像生成部３０による二次元動画の作成と並行してリアルタイムに成されてもよいし、二次元動画の作成が完了してから開始されてもよい。

上述した変形例によれば、次の作用効果が得られる。（３）本実施形態の構成により、全周画像から鑑賞に適した二次元画像を自動的に生成することができる。

以上、左右方向に被写体が存在する例について説明したが、２つの主要被写体が左右以外の方向に存在する場合についても同様である。また、主要被写体が左右方向だけでなく上下方向にも移動するような場合には、左右の位置関係が維持されるのではなく、上下の位置関係が維持されるように二次元画像を作成してもよい。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１７年第４８８６１号（２０１７年３月１４日出願）

１…画像処理システム、２…撮像装置、３…画像処理装置、４…再生装置、２０…撮像部、３０…画像生成部、３１…入力部、４０…表示部、４２…制御部

Claims (1)

1. 第１被写体と第２被写体とが撮像された画像の一部であって、表示部に表示された、前記画像の一部を第１方向に移動させて、前記画像の前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体が表示された後に前記第２被写体が表示され、再度前記第１被写体が前記表示部に表示されるのに使用される第１画像データを入力する入力部と、
   前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離が、
   前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離よりも長い場合は、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した第２画像データを前記第１画像データから生成する画像生成部と、
   を備える画像処理装置。

Images