JP2022121849A - 撮像装置および撮像処理方法 - Google Patents

Abstract

【課題】撮像情報から所定範囲の画像情報を切り出して配信用画像情報を生成する際に、撮像方向が一時的に小さい角度で変更してもこれに影響されずに画角が安定した配信用画像情報を生成することが可能な撮像装置を提供する。【解決手段】撮影装置は、撮像部と、過去の撮影処理について撮影方向ごとの撮影時間情報を記憶する撮影時間情報記憶部と、画像信号からフレームを順次取得して予め設定された切り出し範囲の部分画像情報を切り出して配信用画像情報を生成し、所定の判定タイミングで、記憶された中から最も撮影時間が長い撮影方向を特定して、特定した方向を撮影した場合の切り出し範囲の部分画像情報が撮影方向変更後の撮影画角に含まれると判定した場合には、以降に取得されたフレームから、特定した撮影方向を撮影した場合の切り出し範囲の部分画像情報に該当する範囲を切り出して配信用画像情報を生成する配信用情報生成部とを備える。【選択図】図２

Description

本発明は、撮像装置および撮像処理方法に関する。

従来、広く普及しているハイビジョン対応の撮像装置は、処理対象の撮像情報の画面のアスペクト比（横方向サイズ：縦方向サイズ）が16:9のものが主流となっている。この撮像装置は、アスペクト比が16：9の横長の画面を有する装置、例えばパーソナルコンピュータや家庭用TV装置などと親和性が高く、当該撮像装置で撮影された撮像情報をこれらの装置の画面に効率良く表示させることができる。

一方で、近年急速に普及したスマートフォンにおいても、ＳＮＳ（social networking service）などを用いてストリーム配信された撮像情報を視聴する機会が増えている。スマートフォンは、表示画面が縦長の状態、つまり横方向サイズ：縦方向サイズが9:16の状態で使用されることが多い。そのため、上述したような撮像装置で撮影された撮像情報をスマートフォンで視聴しようとすると、縦長の表示画面の一部、例えば中央部に横長の撮像情報が表示され、画面上部や下部に余白や黒帯部分が生じる。画面内に余白や黒帯部分が生じると、その分撮像情報の表示サイズが小さくなり、スマートフォンのユーザにとって視認性が低下するという問題があった。

このような技術的課題に対して、特許文献１には、撮影された撮像情報のフレームから重要領域を抽出し、抽出した領域を切り出して配信する技術が開示されている。この技術を用いることにより、横長の撮像情報から縦長の領域部分を切り出し、ユーザのスマートフォンに配信することができる。

特許第５５９４８４２号公報

しかしながら、撮像装置で撮影された動画情報を配信している際に撮影方向が変更されると、当該変更が一時的であり、且つ撮影方向の変更角度が小さい場合であっても、当該変更に伴って配信される動画情報の画角も都度変更されてしまう。これにより、画角が安定せず視認性の低い動画情報が配信されてしまう場合があった。

本発明は、こうした状況に鑑みてなされたものであり、その目的は、撮像情報から所定範囲の画像情報を切り出して配信用画像情報を生成する際に、撮影方向が一時的に小さい角度で変更してもこれに影響されずに画角が安定した配信用画像情報を生成することが可能な撮像装置および撮像処理方法を提供することを目的とする。

上記目的を達成するための本発明の撮像装置は、撮影処理を行うことによって画像信号を出力する撮像部と、前記撮像部による過去の前記撮影処理について、前記撮像部による撮影方向ごとに撮影時間を算出した撮影時間情報を記憶する撮影時間情報記憶部と、前記画像信号からフレームを順次取得し、取得されたそれぞれのフレームから、予め設定された切り出し範囲の部分画像情報を切り出して配信用画像情報を生成する配信用情報生成部とを備え、前記配信用情報生成部は、所定の判定タイミングで、前記撮影時間情報記憶部に記憶された前記撮影時間情報の中から最も撮影時間が長い前記撮影方向を特定し、特定した前記撮影方向を撮影した場合に取得されるフレーム内の前記切り出し範囲の部分画像情報が、前記撮影処理中の撮影画角に含まれるか否かを判定し、含まれると判定した場合には、以降に取得されるフレームから、特定した前記撮影方向を撮影した場合の前記切り出し範囲の部分画像情報に該当する範囲を切り出して前記配信用画像情報を生成することを特徴とする。

また、本発明の撮像処理方法は、撮影方向を水平方向に変更可能であり、撮影処理を行うことによって画像信号を出力する撮像部を備えた撮像装置が、前記撮像部による過去の前記撮影処理について、前記撮影方向ごとに撮影時間を算出した撮影時間情報を記憶し、前記画像信号からフレームを順次取得し、取得されたそれぞれのフレームから予め設定された切り出し範囲の部分画像情報を切り出して配信用画像情報を生成し、所定の判定タイミングで、記憶された前記撮影時間情報の中から最も撮影時間が長い前記撮影方向を特定し、特定した前記撮影方向を撮影した場合に取得されるフレーム内の前記切り出し範囲の部分画像情報が、前記撮影処理中の撮影画角に含まれるか否かを判定し、含まれると判定した場合には、以降に取得されるフレームから、特定した前記撮影方向を撮影した場合の前記切り出し範囲の部分画像情報に該当する範囲を切り出して前記配信用画像情報を生成することを特徴とする。

本発明の撮像装置および撮像処理方法によれば、撮像情報から所定範囲の画像情報を切り出して配信用画像情報を生成する際に、撮影方向が一時的に小さい角度で変更してもこれに影響されずに画角が安定した配信用画像情報を生成することができる。

本発明の第１実施形態による撮像装置全体の構成を示すブロック図である。 本発明の第１実施形態による撮像装置内の配信用情報生成部の構成を示すブロック図である。 本発明の第１実施形態による撮像装置の動作を示すフローチャートである。 本発明の第１実施形態による撮像装置の動作を示すフローチャートである。 本発明の第１実施形態に撮像装置およびこの撮像装置による撮影範囲を上から見た図である。 本発明の第１実施形態による撮像装置で撮影された動画情報のフレーム内の第１切り出し範囲を示す図である。 本発明の第１実施形態による撮像装置で撮影された動画情報のフレーム内の第２切り出し範囲を示す図である。 本発明の第１実施形態による撮像装置の撮影時間記憶部に記憶された情報の一例を示す表である。 本発明の第２実施形態による撮像装置の動作を示すフローチャートである。 本発明の第２実施形態による撮像装置の動作を示すフローチャートである。 本発明の第２実施形態による撮像装置で、所定時間ごとに判定された、ユーザが最も興味がある方向を示す表である。 本発明の第２実施形態による撮像装置で、パン角度変更後の撮影画角内における、パン角度ごとの第１切り出し範囲の部分画像情報の範囲を示す図である。

以下に、本発明の実施形態として、撮影した横長（アスペクト比16:9）の撮像情報をＳＮＳで配信する際に、スマートフォンの縦長（アスペクト比9:16）の表示画面に好適に表示させることが可能な画像情報を生成する撮像装置について説明する。

《第１実施形態》
〈第１実施形態による撮像装置の構成〉
本発明の第１実施形態による撮像装置１Ａの構成について、図１を参照して説明する。本実施形態による撮像装置１Ａは、撮影方向を水平方向に変更可能な状態で動画撮影を行う装置であり、撮像部としてのレンズ２およびＣＭＯＳ（Complementary MOS）センサ３と、パン機構部４と、入力部５と、映像記憶部６と、ネットワークＩＦ部７と、外部モニタＩＦ部８と、表示部９と、記憶部１０と、画像処理部１１と、コーデック部２０と、ＣＰＵ（Central Processing Unit）３０とを備える。

レンズ２は、被写体光を入射する。ＣＭＯＳセンサ３は、レンズ２から入射された被写体光を電気信号に変換する撮像素子である。ＣＭＯＳセンサ３は、変換された電気信号をＭＩＰＩ（Mobile Industry Processor Interface）、ｓＬＶＤＳ（sub Low Voltage Differential Signaling）、ＨｉＳＰｉ（High-Speed Pixel Interface）等の画像信号として出力する。

パン機構部４は、ユーザの操作情報に基づいて、レンズ２に対して撮影方向を水平方向に変更させる。無論、レンズ２とＣＭＯＳセンサ３の光学系（撮像部）が一体化されていれば光学系全体に対して撮影方向を水平方向に変更させる。

入力部５は、キーボタンまたはタッチパネルで構成され、ユーザの操作情報、例えば撮影方向（パン角度）を指定する情報、またはスマートフォンへＳＮＳ配信するための配信用動画生成を指示する情報等を入力する。本実施形態ではタッチパネルを表示部９に設ける。映像記憶部６は、後述する画像処理部１１で生成された情報およびコーデック部２０で生成された情報を記憶する記憶媒体であり、例えばＳＤメモリや、ＳＳＤ（Solid State Drive）などで構成される。ネットワークＩＦ部７は、所定のＬＡＮ（Local Area Network）に接続するためのインタフェースであり、ＳＮＳ配信におけるスマートフォンとの送受信や外部のサーバ装置との通信などの通信機能を持つ。なお、コスト削減のために入力部５や表示部９を省略する場合には、ネットワークＩＦ部７を経由して、ＬＡＮを用いてＣＰＵ部３０へユーザの操作情報を通知してもよい。

外部モニタＩＦ部８は、外部のテレビ装置や表示装置（図示せず）に接続するためのインタフェースであり、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＳＤＩ（Serial Digital Interface）規格などが使用される。表示部９は、撮影した動画情報の確認用の小型モニタであり、例えばタッチパネル付きのＬＣＤ（liquid crystal display）やＥＬディスプレイなどである。記憶部１０は、画像処理部１１およびコーデック部２０で処理を実行する際に用いる記憶媒体であり、例えばＤＤＲ４（Double-Data-Rate4）メモリやハードディスクなどで構成される。

画像処理部１１は、センサＩＦ部１２と、傷補正／ＮＲ（Noise reduction）処理部１３と、ディベイヤ処理部１４と、色再現部１５と、撮影方向情報取得部１６と、表示用情報生成部１７とを有する。

センサＩＦ部１２は、ＣＭＯＳセンサ３から出力される画像信号を受信し、シリアルデータをパラレルデータに変換し、フレームとして順次生成する。またセンサＩＦ部１２は、受信した画像信号から、水平同期信号および垂直同期信号を抽出し、撮像装置１Ａ内部の同期信号に置き換える。この処理を実行する際、記憶部１０を使用してもよい。

傷補正／ＮＲ処理部１３は、センサＩＦ部１２で順次生成されたフレームを処理対象の情報として取得し、該当するフレーム内に含まれるいわゆる傷データの補間処理や、ノイズリダクション処理を実行する。ノイズリダクション処理は、フレームごとに処理実行する２ＤＮＲ（2- dimensional noise reduction）、または連続するフレームを分析して処理を実行する３ＤＮＲ（3- dimensional noise reduction）のいずれを採用してもよい。この処理を実行する際、記憶部１０を使用してもよい。

ディベイヤ処理部１４は、ＣＭＯＳセンサ３がR,Gr,Gb,Bのベイヤー構造に対応している場合、センサＩＦ部１２から取得したフレームをディベイヤ処理によりR,G,B構造に変換する。ＣＭＯＳセンサ３がモノクロ対応もしくは３ＣＭＯＳ構造に対応している場合には、取得したフレームに対してディベイヤ処理を行わない。色再現部１５は、取得したフレームに対し、ガンマ補正処理や、予め設定されたホワイトバランスに沿ったカラーマネージメント処理を行う。

撮影方向情報取得部１６は、パン機構部４の動作に基づいて、撮像装置１Ａの正面方向を0°としたときの現在のレンズ２の撮影方向に対応するパン角度を、ＣＰＵ３０を介して取得する。

表示用情報生成部１７は、メイン情報生成部１８と配信用情報生成部１９Ａとを有し、ＣＭＯＳセンサ３から取得した画像信号をセンサＩＦ部１２、傷補正／ＮＲ処理部１３、ディベイヤ処理部１４および色再現部１５を介して撮像処理情報として取得する。メイン情報生成部１８は、取得した撮像処理情報のフレームから、ハイビジョン等の表示画面に対応したアスペクト比16:9の表示用画像情報を生成する。生成された表示用画像情報は、ＣＰＵ３０により順次記憶部１０から映像記憶部６に送出され、メイン動画情報として記録される。

配信用情報生成部１９Ａは、取得した撮像処理情報のフレームから、スマートフォン（図示せず）のような縦型の表示画面に表示させるアスペクト比9:16の表示用情報として、配信用画像情報を生成する。生成された配信用画像情報は、ＣＰＵ３０により順次記憶部１０から映像記憶部６に送出され、配信用動画情報として記録される。以下、メイン情報生成部１８及び配信用情報生成部１９Ａが取得する撮像処理情報のフレームを、単に「フレーム」と表記する。

配信用情報生成部１９Ａの詳細な構成について、図２を参照して説明する。配信用情報生成部１９Ａは、切り出し範囲設定部１９１と、切り出し部１９２と、リサイズ処理部１９３と、撮影時間計測部１９４と、撮影時間情報記憶部１９５と、設定変更部１９６Ａとを有する。

切り出し範囲設定部１９１は、取得したフレーム内の所定の大きさおよび位置で示される範囲を、第１切り出し範囲として設定する。また切り出し範囲設定部１９１は、配信用画像情報の生成処理中に、後述する設定変更部１９６Ａからの指示に基づいて切り出し範囲を変更する。

切り出し部１９２は、取得したフレームから、切り出し範囲設定部１９１で設定された切り出し範囲の部分画像情報を切り出す。リサイズ処理部１９３は、切り出し部１９２で切り出された部分画像情報をアスペクト比9:16の表示用にリサイズして、配信用画像情報を生成する。

撮影時間計測部１９４は、配信用画像情報を生成中に撮影方向情報取得部１６から取得したパン角度ごとの撮影時間を計測する。また撮影時間計測部１９４は、配信用画像情報を生成中にパン角度が変更されたことを検知すると、変更前のパン角度での撮影時間を算出して撮影時間情報記憶部１９５に記憶させる。撮影時間情報記憶部１９５は、過去の所定期間（例えば、現在時刻から過去30分間）の撮影処理について、パン角度ごとに算出された撮影時間の情報を記憶する。

設定変更部１９６Ａは、撮影方向情報取得部１６で取得したパン角度情報に基づいて、レンズ２による撮影のパン角度が変更されたことを検知した判定タイミングで、撮影時間情報記憶部１９５に記憶された中から最も撮影時間が長いパン角度の情報を、ユーザが最も興味がある方向の情報として特定する。そして、特定したパン角度で撮影した場合に取得されるフレーム内の切り出し範囲の部分画像情報がパン角度変更後の撮影画角に含まれると判定した場合には、設定変更部１９６Ａは切り出し範囲設定部１９１に対して、以降に取得するフレームから切り出す範囲を、特定したパン角度で撮影した場合の切り出し範囲に該当する範囲に変更する。

図１に戻り、コーデック部２０は、メインコーデック部２１と、配信用コーデック部２２とを有する。メインコーデック部２１は、メイン情報生成部１８で生成され記憶されたメイン動画情報を映像記憶部６に保管するためにエンコードし、記憶部１０に一時的に記憶させる。その後、ＣＰＵ３０は記憶部１０に一時的に記憶されたデータをファイルフォーマット形式で映像記憶部６に保管する。また、ネットワークＩＦ部７を介して外部のサーバ装置などに送信する場合にもエンコードする。さらにメインコーデック部２１は、エンコードされたメイン動画情報を外部モニタＩＦ部８から表示装置等に再生させる際や表示部９に再生させる際にデコードする。

配信用コーデック部２２は、配信用情報生成部１９Ａで生成された配信用画像情報を、スマートフォンのような外部の端末装置に配信するためにエンコードし、配信用動画情報として記憶部１０に記憶させる。また配信用コーデック部２２は、エンコードされた配信用動画情報を再生させる際にデコードする。

ＣＰＵ３０は、上述した撮像部（レンズ２、ＣＭＯＳセンサ３）、パン機構部４、入力部５、映像記憶部６、ネットワークＩＦ部７、外部モニタＩＦ部８、表示部９、記憶部１０、画像処理部１１、およびコーデック部２０の動作を制御する。

〈第１実施形態による撮像装置の動作〉
次に、本実施形態による撮像装置１Ａの動作について、図３Ａ、図３Ｂのフローチャートを参照して説明する。まず、ユーザが撮像装置１Ａの入力部５から動画撮影の開始を指示する操作を行うと（Ｓ１の「YES」）、レンズ２の撮影方向がパン角度0°の正面方向（第１撮影方向D1）に設定された状態で、動画撮影処理が開始される（Ｓ２）。

図４は、撮像装置１Ａおよび撮像装置１Ａの撮影範囲を上から見た図である。撮像装置１Ａの撮影処理における水平画角（HFOV）は60°であり、レンズ２が一点鎖線の矢印で示す第１撮影方向D1（0°）を向くように設定されて撮影しているときの撮影画角の水平方向の範囲はL1である。

撮影処理において、レンズ２から入射された被写体光はＣＭＯＳセンサ３により電気信号に変換され、画像信号が出力される。本実施形態においてＣＭＯＳセンサ３の画素数（Hpixel）はフルハイビジョン（Full-HD）に対応しており、撮影画角の水平方向1,920画素×垂直方向1,080画素である。ＣＭＯＳセンサ３から出力された画像信号は、画像処理部１１により画像処理が実行され、ＣＰＵ３０により表示部９に表示される。

次に、ユーザが入力部５から配信用動画生成の開始を指示する操作を行うと（Ｓ３の「YES」）、切り出し範囲設定部１９１が、取得したフレーム内の所定の大きさおよび位置で示される範囲を、第１切り出し範囲X1として設定する（Ｓ４）。この第１切り出し範囲X1は、図５に太線で示すように、該当フレーム（水平方向1,920ピクセル×垂直方向1,080ピクセル）内で、水平方向608ピクセル×垂直方向1,080ピクセルに該当する大きさを有するアスペクト比9:16の矩形範囲である。この第１切り出し範囲X1の上端および下端は、該当フレームの上端および下端と一致するように設定され、第１切り出し範囲X1の水平方向の中心位置CX1は、当該フレームの水平方向の中心位置CF（フレーム左端から960ピクセルの位置）と一致するように設定される。つまり、第１切り出し範囲X1は、垂直方向の長さが、撮影された動画情報のフレームの垂直方向の長さと一致するアスペクト比9:16の矩形範囲であり、当該フレームの水平方向の中心位置に設定される。

次に、切り出し部１９２が、処理対象の動画情報の最初のフレームから、切り出し範囲設定部１９１で設定された第１切り出し範囲X1の部分画像情報を切り出す。そして、リサイズ処理部１９３が、切り出し部１９２で切り出された部分画像情報を配信用に所定の拡大率で拡大（リサイズ）して、配信用画像情報を生成する。以降、撮影により順次取得するフレームから、ステップＳ４で設定された第１切り出し範囲X1が切り出され、配信用画像情報が生成される。

また、配信用画像情報の生成処理が開始されると、撮影時間計測部１９４が、現在の第１撮影方向D1での撮影時間の計測を開始する（Ｓ５）。

配信用動画生成の終了を指示する操作が行われるまでの間（配信用画像情報の生成処理中）に（Ｓ６の「NO」）、ユーザが入力部５から、レンズ２のパン角度を第１撮影方向D1（0°）から図４の太線矢印で示すように左方向に10°ずらした第２撮影方向D2に変更する操作を行うと（Ｓ７の「YES」）、撮影画角の水平方向の範囲がL2になる。パン角度が変更されると、撮影方向情報取得部１６が当該変更前のパン角度0°の情報および変更後のパン角度10°の情報を取得する。

撮影時間計測部１９４は、撮影方向情報取得部１６で取得された情報から、変更前の第１撮影方向D1での撮影時間を算出して撮影時間情報記憶部１９５に記憶させる（Ｓ８）。ここでは、第１撮影方向D1での撮影時間が、時刻9:00から時刻9:05までの5分間として算出され、該当するパン角度（0°）の情報とともにリスト番号No.1の情報として撮影時間情報記憶部１９５に記憶される。

次に、設定変更部１９６Ａが、撮影方向情報取得部１６で取得したパン角度情報に基づいて、レンズ２による撮影方向が変更されたことを検知すると、撮影時間情報記憶部１９５に記憶された中から最も撮影時間が長いパン角度の情報を、ユーザが最も興味がある方向の情報として特定する（Ｓ９）。ここでは、撮影時間情報記憶部１９５にリスト番号No.1の撮影時間情報のみが記憶されているため、リスト番号No.1に該当するパン角度0°が、ユーザ最も興味がある方向の情報として特定される。

次に、設定変更部１９６Ａは、特定したパン角度0°で第１撮影方向D1を撮影した場合に取得されるフレーム内の第１切り出し範囲X1の部分画像情報が、撮影方向変更後の第２撮影方向D2を撮影した撮影画角に含まれるか否かを判定する（Ｓ１０）。

ここで、第１撮影方向D1を撮影した場合に取得されるフレーム内の第１切り出し範囲X1の部分画像情報が、第２撮影方向D2を撮影した撮影画角に含まれると判定した場合には（Ｓ１０の「YES」）、設定変更部１９６Ａは切り出し範囲設定部１９１に対して、以降に取得するフレームから切り出す範囲を、特定したパン角度0°で撮影した場合の第１切り出し範囲X1の部分画像情報に該当する第２切り出し範囲X2に変更する（Ｓ１１）。

第２切り出し範囲X2の算出について、以下に詳細に説明する。設定変更部１９６Ａは、まず変更後の第２切り出し範囲X2の水平方向の中心位置CX2を、下記式（１）により算出する。

CX2 = CF ＋ 1,920/2 ×（θb － θuser）/ θa （１）
式（１）において、CFは当該フレームの水平方向の中心位置であり、θbは現在のパン角度であり、θuserはユーザが最も興味がある方向の情報として特定したパン角度であり、θaは撮像装置１Ａの水平視野角(HFOV/2)である。θbおよびθuserで示すパン角度は、図４の矢印E1で示すように、撮影方向が撮像装置１Ａの正面方向0°から左方向への角度を正の数値で示し、矢印E2で示すように右方向への角度を負の数値で示す。

ここでは、CFは1,920 / 2 = 960ピクセルの位置であり、θbは+10°であり、θuserは0°であり、θaは60/2=30°であるため、第２切り出し範囲X2の水平方向の中心位置CX2は、式（１）を用いて下記のように算出される。

CX2 = 960 + 960 × ( +10 － 0 ) / 30
= 1,280
これにより、設定変更部１９６Ａは図６に示すように、フレームの左端から1,280ピクセルの位置を、第２切り出し範囲X2の水平方向の中心位置CX2として特定する。そして、この位置CX2を中心とする水平方向608ピクセル×垂直方向1,080ピクセルの範囲を第２切り出し範囲X2として算出し、切り出し範囲設定部１９１に設定する。

また、ステップＳ１０において、ユーザがレンズ２の水平方向の撮影方向を大きく変更したことにより、第１撮影方向D1を撮影した場合に取得されるフレーム内の第１切り出し範囲X1の部分画像情報が、変更後の撮影方向の撮影画角に含まれないと判定した場合には（Ｓ１０の「NO」）、ユーザが予め設定した「切り出し範囲設定」を参照して設定を変更する（Ｓ１２）。

ここで、「切り出し範囲設定」とは、ユーザが撮像装置１Ａに対して設定した設定値であり、例えば撮像装置１Ａに用意された設定項目「画面中央（センター位置）にリセット」もしくは「事前の画角位置を継続」からユーザが選択した設定値である。設定変更部１９６Ａが当該設定値を参照できるようにしておく。設定変更部１９６Ａは、参照した設定値が「画面中央（センター位置）にリセット」のときには、切り出し範囲設定部１９１の設定を画面中央へ変更する。また、参照した設定値が「事前の画角位置を継続」のときには、設定変更部１９６Ａは切り出し範囲設定部１９１の設定を変更しない。ここでは、いずれの設定値であっても切り出し範囲は第１切り出し範囲X1と判断され、以降に取得するフレームから第１切り出し範囲X1が切り出され、配信用画像情報が生成される。

上述したステップＳ５～Ｓ１２の処理は、配信用動画生成の終了を指示する操作が行われるまで継続される。その間に例えば、撮影時間情報記憶部１９５に、図７に示すようにリスト番号No.1の撮影時間情報（パン角度0°、撮影時間5分）、リスト番号No.2の撮影時間情報（パン角度10°、撮影時間13分）、リスト番号No.3の撮影時間情報（パン角度20°、撮影時間2分）の３つの撮影時間情報が記憶されて、レンズ２のパン角度が0°に変更されたときには、設定変更部１９６Ａは、この３つの撮影時間情報の中でリスト番号No.2のパン角度10°が最も撮影時間が長いパン角度なので、パン角度°10°の撮影時間情報をユーザが最も興味がある方向の情報として特定する。

そして、設定変更部１９６Ａは、特定したパン角度10°で第２撮影方向D2を撮影した場合に取得されるフレーム内の第１切り出し範囲X1の部分画像情報が、撮影方向変更後のパン角度0°で第１撮影方向D1を撮影した撮影画角に含まれると判定すると、以降に取得するフレームから切り出す範囲を、特定したパン角度10°で第２撮影方向D2を撮影した場合の第１切り出し範囲X1の部分画像情報に該当する第３切り出し範囲X3に変更する。その後、配信用動画生成の終了を指示する操作が行われると（Ｓ６の「YES」）、配信用動画情報の生成処理を終了し、動画撮影の終了を指示する操作が行われると（Ｓ１３の「YES」）、撮影処理が終了する。

このように処理を実行することで、撮像情報から所定範囲の画像情報を切り出して配信用画像情報を生成する際に、撮影方向が何等かの要因、例えばユーザの誤操作やユーザの一時的な関心により、一時的に小さい角度で変更してもこれに影響されずに、ユーザが興味のある部分の画像情報を切り出して画角が安定した配信用画像情報を生成することができる。

《第２実施形態》
〈第２実施形態による撮像装置１Ｂの構成〉
本発明の第２実施形態による撮像装置１Ｂの構成は、第１実施形態で説明した撮像装置１Ａの構成と同様であるため、同一機能を有する部分の詳細な説明は省略する。

本実施形態において撮像装置１Ｂの配信用情報生成部１９Ｂの設定変更部１９６Ｂは、撮影時間情報記憶部１９５に記憶された情報に基づいて、所定時間間隔（5分間隔）で到来する判定タイミングで、フレームからの切り出し範囲の判定処理を実行する。切り出し範囲の判定処理では、設定変更部１９６Ｂは、過去の所定期間（例えば、現在時刻から過去10分間）で最も撮影時間が長いパン角度の情報を、ユーザが最も興味がある方向の情報として特定する。そして、特定したパン角度で撮影した場合に取得されるフレーム内の第１切り出し範囲X1の部分画像情報が現在撮影中の撮影画角に含まれると判定した場合には、切り出し範囲設定部１９１に対して、以降に取得するフレームから切り出す範囲を、特定したパン角度で撮影した場合の第１切り出し範囲X1に該当する部分画像情報の範囲にする。

〈第２実施形態による撮像装置１Ｂの動作〉
本実施形態による撮像装置１Ｂの動作について、図８Ａ、図８Ｂのフローチャートを参照して説明する。図８Ａ、図８Ｂにおいて、ステップＳ２１～Ｓ２８で実行される処理は、第１実施形態で説明したステップＳ１～Ｓ８の処理と同様であるため、詳細な説明は省略する。

配信用動画生成の終了を指示する操作が行われるまでの間（配信用画像情報の生成処理中）に（Ｓ２７の「NO」）、パン角度が変更される都度、撮影方向ごとの撮影時間が算出されて記憶されているときに（Ｓ２７の「YES」、Ｓ２９）、フレームからの切り出し範囲の判定タイミングが到来すると（Ｓ２９の「YES」）、設定変更部１９６Ｂが切り出し範囲の判定処理を実行する。当該判定処理では、設定変更部１９６Ｂは、過去の所定期間（例えば、現在時刻から過去10分間）で最も撮影時間が長いパン角度の情報を、ユーザが最も興味がある方向の情報として特定する（Ｓ３０）。

そして、特定したパン角度で撮影した場合に取得されるフレーム内の第１切り出し範囲X1の部分画像情報が現在撮影中の撮影画角に含まれると判定した場合には（Ｓ３１の「YES」）、切り出し範囲設定部１９１に対して、以降に取得するフレームから切り出す範囲を、特定したパン角度で撮影した場合の第１切り出し範囲X1の部分画像情報に該当する範囲に変更する（Ｓ３２）。ここで、特定したパン角度と、現在撮影中のパン角度とが同じ場合には、設定変更部１９６Ｂは切り出し範囲設定部１９１の設定を変更しない。

また、ステップＳ３１において、ユーザがレンズ２の水平方向の撮影方向を大きく変更したことにより、特定したパン角度で撮影した場合に取得されるフレーム内の第１切り出し範囲X1の部分画像情報が、変更後の撮影画角に含まれないと判定した場合には（Ｓ３１の「NO」）、設定変更部１９６Ｂは第１実施形態と同様に、ユーザが予め設定した「切り出し範囲設定」を参照して設定を変更する。例えば、参照した「切り出し範囲設定」が「事前の画角位置を継続」の設定時には切り出し範囲設定部１９１の設定を変更しない（Ｓ３３）。

上述したステップＳ２５～Ｓ３３の処理は、配信用動画生成の終了を指示する操作が行われるまで継続される。このように処理を実行することにより、例えば図９に示すように、時刻10:00に切り出し範囲の判定処理を実行したときに、現在から過去10分間のうち、パン角度-20°の撮影時間が5分、パン角度0°の撮影時間が2分、パン角度+20°の撮影時間が3分であったものとする。この場合、最も撮影時間が長いパン角度は-20°であり、このパン角度で撮影した場合に取得されるフレーム内の第１切り出し範囲X1の部分画像情報は、図１０にAで示すように、パン角度変更後の撮影画角Gに含まれるため、以降に取得するフレームから切り出す範囲を、Aで示す範囲に変更する。

同様にして、次の切り出し範囲の判定タイミングである時刻10:05には、切り出し範囲の判定処理により、最も撮影時間が長いパン角度が0°と特定され、以降に取得するフレームから切り出す範囲を、図１０のBで示す範囲に変更する。同様にして、さらに次の切り出し範囲の判定タイミングである時刻10:10には、切り出し範囲の判定処理により、最も撮影時間が長いパン角度が+20°と特定され、以降に取得するフレームから切り出す範囲を、図１０のCで示す範囲に変更する。その後、配信用動画生成の終了を指示する操作が行われると（Ｓ２６の「YES」）、配信用動画情報の生成処理を終了し、動画撮影の終了を指示する操作が行われると（Ｓ３４の「YES」）、撮影処理が終了する。

このように処理を実行することで、例えばユーザが図１０に示す画角で長時間撮影しているときに、画角内の右寄りに映っている人物に一時的に注目して右方向にパン角度を移動させた時間があったとしても、これが短時間であれば、ユーザが最も興味のある角度は中心のBで示す範囲であると判定してこの範囲Bを継続して切り出し、安定した画角の配信用画像情報を提供することができる。

以上の第２実施形態によれば、撮像情報から所定範囲の画像情報を切り出して配信用画像情報を生成する際に、ユーザが興味のある部分を最新の撮影状況に基づいて判定し、当該部分の画像情報を切り出して画角が安定した配信用画像情報を生成することができる。

１Ａ、１Ｂ 撮像装置
２ レンズ
３ ＣＭＯＳセンサ
４ パン機構部
５ 入力部
６ 映像記憶部
７ ネットワークＩＦ部
８ 外部モニタＩＦ部
９ 表示部
１０ 記憶部
１１ 画像処理部
１２ センサＩＦ部
１３ 傷補正／ＮＲ処理部
１４ ディベイヤ処理部
１５ 色再現部
１６ 撮影方向情報取得部
１７ 表示用情報生成部
１８ メイン情報生成部
１９Ａ、１９Ｂ 配信用情報生成部
２０ コーデック部
２１ メインコーデック部
２２ 配信用コーデック部
１９１ 切り出し範囲設定部
１９２ 切り出し部
１９３ リサイズ処理部
１９４ 撮影時間計測部
１９５ 撮影時間情報記憶部
１９６Ａ、１９６Ｂ 設定変更部

Claims (5)

1. 撮影処理を行うことによって画像信号を出力する撮像部と、
   前記撮像部による過去の前記撮影処理について、前記撮像部による撮影方向ごとに撮影時間を算出した撮影時間情報を記憶する撮影時間情報記憶部と、
   前記画像信号からフレームを順次取得し、取得されたそれぞれのフレームから、予め設定された切り出し範囲の部分画像情報を切り出して配信用画像情報を生成する配信用情報生成部と、
   を備え、
   前記配信用情報生成部は、所定の判定タイミングで、前記撮影時間情報記憶部に記憶された前記撮影時間情報の中から最も撮影時間が長い前記撮影方向を特定し、特定した前記撮影方向を撮影した場合に取得されるフレーム内の前記切り出し範囲の部分画像情報が、前記撮影処理中の撮影画角に含まれるか否かを判定し、含まれると判定した場合には、以降に取得されるフレームから、特定した前記撮影方向を撮影した場合の前記切り出し範囲の部分画像情報に該当する範囲を切り出して前記配信用画像情報を生成する
   ことを特徴とする撮像装置。
2. 前記撮像部に対して前記撮影方向を水平方向に変更させるパン機構部を更に備え、
   前記配信用情報生成部は、前記パン機構部が前記撮影方向を変更したことを検知したタイミングを前記所定の判定タイミングとする
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記配信用情報生成部は、所定の時間間隔で到来するタイミングを前記所定の判定タイミングとする
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記配信用画像情報をエンコードし配信用動画情報を生成するコーデック部と、
   前記配信用動画情報を外部の端末装置へ送信するネットワークＩＦ部と、
   を更に備える請求項１に記載の撮像装置。
5. 撮影方向を水平方向に変更可能であり、撮影処理を行うことによって画像信号を出力する撮像部を備えた撮像装置が、
   前記撮像部による過去の前記撮影処理について、前記撮影方向ごとに撮影時間を算出した撮影時間情報を記憶し、
   前記画像信号からフレームを順次取得し、取得されたそれぞれのフレームから予め設定された切り出し範囲の部分画像情報を切り出して配信用画像情報を生成し、所定の判定タイミングで、記憶された前記撮影時間情報の中から最も撮影時間が長い前記撮影方向を特定し、特定した前記撮影方向を撮影した場合に取得されるフレーム内の前記切り出し範囲の部分画像情報が、前記撮影処理中の撮影画角に含まれるか否かを判定し、含まれると判定した場合には、以降に取得されるフレームから、特定した前記撮影方向を撮影した場合の前記切り出し範囲の部分画像情報に該当する範囲を切り出して前記配信用画像情報を生成する
   ことを特徴とする撮像処理方法。

Images