JP2009017598A

JP2009017598A - 撮像装置、および情報処理方法、並びにコンピュータ・プログラム

Info

Publication number: JP2009017598A
Application number: JP2008257365A
Authority: JP
Inventors: Takashi Nunomaki; 崇布巻
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-10-02
Filing date: 2008-10-02
Publication date: 2009-01-22

Abstract

【課題】動画像の撮影処理に並行して効率的に重要シーンを判定し、重要シーン識別情報を生成して記録することを可能とした装置および方法を提供する。
【解決手段】加速度センサで撮像画像データを生成する画像データ生成部の動きを検出してセンサ検出情報を生成する。このセンサ検出情報に基づいてパンまたはチルト処理の実行の有無を判定し、パンまたはチルト処理が実行された撮影部分を重要シーン撮影部分として識別可能としたハイライトポイント情報を生成して、撮像画像データの対応情報として記録媒体に記録する。
【選択図】図２

Description

本発明は、撮像装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、動画像の撮影時に撮影画像データにおけるハイライトポイントを自動検出して記録する処理を行なう撮像装置、および情報処理方法、並びにコンピュータ・プログラムに関する。

ビデオカメラにおいて撮影された動画像の編集や再生処理において、重要な撮影シーンを抽出して編集する処理や、再生処理を行ないたいという要請がある。このような要請に応えるシステムとしての従来構成としては、撮影済みの動画についての画像解析や音声解析を行なうことで重要と思われるシーンの抽出を可能としたシステムが提案されている。例えば、動画データを構成する連続するフレーム画像を比較して、大きな変更が発生するシーンを持つフレームをシーンチェンジ位置であると識別して、これを重要シーンと識別するなどの処理である。このような画像編集処理については、例えば特許文献１に記載されている。

このように、従来のシステムにおける重要シーン選択処理は、撮影済の動画像の解析に基づいて実行する構成であり、画像の撮影後に、撮影画像に対して改めて解析を行うことが必要となり、解析に時間を要するという問題がある。
特開２００２−１７６６１３号公報

本発明は、上述の問題点に鑑みてなされたものであり、撮影済み画像の解析を行うことなく、撮影処理の実行時に併せて重要シーンを自動選択して、撮影画像データに対応する重要シーンの部分を識別可能としたハイライトポイント情報を記録することを可能とした撮像装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

ビデオカメラのような動画像を撮影する機器においては、撮影中にズームをしたりカメラをパンさせたり静止画を撮影したりという撮影者の行動が、そのシーンが重要かどうかを示唆する重要な情報となりうる。本発明は、例えば撮影中のカメラ操作などから、ハイライトシーンの候補となる点を撮影しながらリアルタイムで抽出することにより、撮影者の意思を反映した効果的なハイライトシーンを抽出して、撮影画像データに対応するハイライトポイント情報として記録することを可能とした撮像装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
撮影画像データを生成する画像データ生成部と、
前記画像データを生成しているときの動きを検知して、パンまたはチルト処理の実行の有無を判定可能とするセンサ検出情報を生成する加速度センサと、
前記センサ検出情報に基づいて前記パンまたはチルト処理の実行の有無を判定し、該パンまたはチルト処理の終了時を重要シーン撮影部分のポイントとして識別可能としたハイライトポイント情報を生成するデータ処理部と、
前記ハイライトポイント情報を前記撮像画像データの対応情報として記録媒体に記録する記録部とを有することを特徴とする撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記データ処理部は、前記センサ検出情報に基づいて算出した同一の移動方向の連続移動量が予め定めた閾値距離よりも大きい場合、前記パンまたはチルト処理が実行されたと判定することを特徴とする。

さらに、本発明の第２の側面は、
撮像装置において実行する情報処理方法であり、
画像データ生成部で撮影画像データを生成する画像データ生成ステップと、
前記撮像画像データを生成しているときの動きを加速度センサで検知して、パンまたはチルト処理の実行の有無を判定可能とするセンサ検出情報を生成するセンサ検出情報生成ステップと、
データ処理部で、前記センサ検出情報に基づいて前記パンまたはチルト処理の実行の有無を判定し、該パンまたはチルト処理の終了時を重要シーン撮影部分のポイントとして識別可能としたハイライトポイント情報を生成するハイライトポイント情報生成ステップと、
記録部で、前記ハイライトポイント情報を前記撮像画像データの対応情報として記録媒体に記録する情報記録ステップとを有することを特徴とする情報処理方法にある。

さらに、本発明の第３の側面は、
撮像装置において情報処理を実行させるコンピュータ・プログラムであり、
前記撮像画像データを生成しているときの動きを加速度センサで検知して、該加速度検出センサで生成されたセンサ検出情報に基づいてパンまたはチルト処理の実行の有無を判定し、該パンまたはチルト処理の終了時を重要シーン撮影部分のポイントとして識別可能としたハイライトポイント情報を生成するハイライトポイント情報生成ステップと、
記録部で、前記ハイライトポイント情報を前記撮像画像データの対応情報として記録媒体に記録する情報記録ステップと
を実行させることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、例えば、デジタルカメラ等の撮像装置において、加速度センサで生成されたセンサ検出情報に基づきパンまたはチルト処理の実行の有無を判定して、パンまたはチルト処理の終了時を重要シーン撮影部分のポイントとして識別可能としたハイライトポイント情報が生成されて撮影画像データに対応付けて記録される。このため、撮影後の画像解析等による重要シーンの抽出といった処理が不要となり、撮影後、即座にハイライトシーンの選択再生が実行可能となり、ユーザの負担を軽減した効率的な処理が可能となる。

以下、図面を参照しながら、本発明の撮像装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、本発明の撮像装置（デジタルカメラ）の構成例について、図１を参照して説明する。

図１に示すように、撮像装置は、レンズ１０１、レンズ１０１を介して入力する光信号を電気信号に変換する固体撮像素子（ＣＣＤ）等によって構成されるイメージャ１０２、アナログ電気信号をデジタル信号に変換するＡ／Ｄ変換部１０３、撮像画像データに基づいて画像に対する信号処理を実行するカメラ信号処理部１０４、音声情報を入力するマイク１０５、マイク１０５から出力される音声アナログ信号をデジタル信号に変換するＡ／Ｄ変換部１０６、取得音声データに基づいて音声に対する信号処理を実行する音声信号処理部１０７を有する。音声信号処理部１０７は、音声信号レベル情報をマイクロプロセッサ１１１に入力する。マイクロプロセッサ１１１は、例えば音声信号処理部１０７から入力する音声信号レベル情報に基づいて、ハイライトポイント（重要シーンの位置情報）の抽出処理を行う。

マイクロプロセッサ１１１は、画像の撮影期間に様々な入力情報を取得して、撮影データ中から重要シーン撮影部分の選択処理を実行し、入力情報に基づいて選択した重要シーン撮影部分を識別可能なハイライトポイント情報を生成し、撮影画像データの対応情報として記録媒体１１２に記録する処理を実行するデータ処理部である。なお、このハイライトポイントの抽出処理の詳細については後段で説明する。

カメラ信号処理部１０４、音声信号処理部１０７において生成された画像、音声デジタルデータはメモリ１２０に格納される。画像エンコード部１２１、音声エンコード部１２２は、入力された映像信号、音声信号をそれぞれ記録するためのデータに変換するため、符号化処理を行う。画像デコード部１２３、音声デコード部１２４は、例えば撮影データを記録した記録媒体１１２からのデータ読み出し、再生処理を実行する場合に、記録媒体１１２から読み出した画像、音声信号をそれぞれデコード（復号）処理を行う。メモリ１２０は、エンコード、あるいはデコードをするデータを一時的に保持する。

マイクロプロセッサ１１１は、撮像装置において実行される処理を制御する。また、各種のスイッチ、ボタン類などの入力デバイス１０８からユーザの入力情報を受け取る。さらに加速度センサ１０９からのセンサ検出情報を入力し、音声信号処理部１０７から音声信号のレベル情報を受け取り、ＧＰＳモジュール１１０からＧＰＳ衛星から得る情報、すなわち位置情報を受け取り、クロック１３１から日時、時刻情報を入力する。さらに、記録媒体１１２を適用したデータ記録、再生制御処理を実行する。

入力デバイス１０８は、ユーザが機器を操作する際のボタンやスイッチの類である。具体的にはズーム操作のためのスイッチや、動画撮影のためのキー、静止画撮影のためのシャッターキー、タッチパネルなどが含まれる。入力デバイス１０８を介して入力された情報はマイクロプロセッサ１１１に伝えられ、マイクロプロセッサ１１１は、ユーザの操作情報に基づく制御、さらにハイライトポイントの抽出処理を行う。

加速度センサ１０９は、機器の動き情報を感知し、検出情報をマイクロプロセッサ１１１に入力する。ＧＰＳモジュール１１０は、ＧＰＳの衛星からデータを受信し、マイクロプロセッサ１１１に入力する。この情報をもとにマイクロプロセッサは、現在位置の緯度および経度を得ることができる。クロック１３１は、現在日時情報をマイクロプロセッサ１１１に入力する。マイクロプロセッサ１１１は、加速度センサ１０９や、ＧＰＳモジュール１１０、クロック１３１からの入力情報に基づいて、ハイライトポイントの抽出処理を行う。

記録媒体１１２は、不揮発性のメモリ、ハードディスクなによって構成され、撮影した動画像データを格納する。表示部１２５は、撮影画像データのモニタ表示、あるいは撮影済みデータであり記録媒体１１２に記録されたデータを画像デコード部１２３においてデコードしたデータの表示制御を行なう。表示部１２５の生成データは、Ｄ／Ａ変換部１２６においてアナログ信号に変換され、ＬＣＤパネル等のディスプレイ１２７に出力される。

音声信号処理部１２８は、音声デコード部１２４によってデコードされた音声信号を入力し、Ｄ／Ａ変換部１２９を介してアナログ信号に変換した後、スピーカ１３０に出力される。

本発明の撮像装置において、データ処理部として機能するマイクロプロセッサ１１１は、
（１）入力デバイス１０８に対するユーザ操作情報、
（２）加速度センサ１０９からのセンサ検出情報、
（３）音声信号処理部１０７から音声信号のレベル情報、
（４）ＧＰＳモジュール１１０からの位置情報、
（５）クロック１３１からの日時情報、
これらの各種情報を入力し、これらの情報に基づいて、ハイライトポイント（重要シーンの位置情報）の抽出処理を行う。マイクロプロセッサ１１１は、画像撮影処理の実行中に、これらの各情報を入力し、入力情報に基づいてハイライトポイントの抽出処理を行う。以下、このハイライトポイントの抽出処理の詳細について説明する。

まず、ハイライトポイントについて説明する。ハイライトポイントとは、記録された動画の中で、重要である可能性が高いと推測される動画中のシーンを識別する情報である。例えば、動画像の記録開始時間からの経過時間（以下「記録時間」と呼ぶ）が適用される。すなわち、重要シーンが含まれるフレームの撮影開始からの時間位置情報である。

本発明の撮像装置では、ハイライトポイントとして、例えば、
撮影者がズーム操作を行ったポイント（撮影開始からの時間）、
撮影者がカメラを動かした（パン操作やチルト操作を行った）ポイント、
マイクから入力された音声レベルがピークになったポイント、
ＧＰＳから得た緯度もしくは経度の情報の変化が発生したポイント、
現在時刻のきりのよい変更点（たとえば日付の変わり目や年の変わり目）になったポイント、
動画記録中に撮影者が静止画を記録したポイント、
これらのポイントをハイライトポイントとして検出する。

本発明の撮像装置は、動画像を記録しながら、これらのハイライトポイントを検出し、撮影画像データに対応するハイライトポイント情報として記録する。このハイライトポイント記録処理によって、撮影データの再生処理時にハイライトポイントの近傍だけを選択再生することが可能となり、撮影済みのデータについての新たな画像解析などの事後処理を行うことなく、撮影処理後に即座にハイライトシーンの選択再生を行なうことができる。

以下、本発明の撮像装置におけるハイライトポイント抽出処理の詳細について、
（１）入力デバイス１０８に対するユーザ操作によるズーム操作情報、
（２）加速度センサ１０９からのセンサ検出情報、
（３）音声信号処理部１０７から音声信号のレベル情報、
（４）ＧＰＳモジュール１１０からの位置情報、
（５）クロック１３１からの日時情報、
（６）入力デバイス１０８に対するユーザ操作による静止画撮影情報、
これらの各検出情報に対応するハイライトポイント抽出処理の詳細について、順次説明する。

（１）入力デバイス１０８に対するユーザ操作によるズーム操作情報
まず、入力デバイス１０８に対するユーザ操作によるズーム操作情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図２、図３を参照して説明する。

図２に示すフローチャートは、画像の撮影実行中に行なわれる処理であり、入力デバイス１０８に対するユーザ操作によるズーム操作情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の処理シーケンスを示すフローチャートである。

動画像を撮影中に、ユーザは入力デバイス１０８の一つであるズームキーを操作して、ズーム倍率を変更する操作を行う。ユーザの操作は入力デバイス１０８からマイクロプロセッサ１１１に伝えられ、マイクロプロセッサ１１１はレンズ１０１を動かしてズーム倍率を変更する。ユーザがズームキーから手を離すなどしてズーム操作を止めると、マイクロプロセッサ１１１はレンズ１０１を動かすのを止めてズーム操作を止める。

図２の処理フローの各ステップの処理について説明する。ステップＳ１０１において、マイクロプロセッサ１１１がズーム操作の開始を検出すると、ステップＳ１０２に進み、ズーム開始時の倍率情報を取得する。これは、ズーム処理がスタートする時点におけるズーム倍率情報である。

次に、ステップＳ１０３において、ズーム操作の終了を検出すると、ステップＳ１０４において、ズーム終了時の倍率情報を取得する。これは、ズーム処理が終了した時点におけるズーム倍率情報である。次に、ステップＳ１０５において、（現在の記録時間、ズーム変化量）の組データをメモリ１２０に記録保持する。

ここでズームの変化量とは、例えばズーム倍率の変化量であり、ズーム処理が終了した時点におけるズーム倍率情報と、ズーム処理の開始時点におけるズーム倍率情報との差分によって算出される。

次に、ステップＳ１０６において、画像記録が終了したか否かが検出され、画像記録処理が終了していない場合は、ステップＳ１０１以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に実行された各ズーム操作の処理終了時間と、各ズーム操作において実行されたズーム変化量の組データ、すなわち、（現在の記録時間、ズーム変化量）の組データがメモリ１２０に順次記録保持される。

ステップＳ１０６において、画像記録が終了したことが検出されると、ステップＳ１０７において、メモリ１２０に記録保持された（現在の記録時間、ズーム変化量）の組データを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

ユーザがズーム操作をするときは、撮影対象に注目してズームインした場合や、全体を捉えるためにズームアウトした場合などである。ズーム操作を行った直後の記録時間は重要度が高い可能性があるシーンとみなすことができ、ハイライトポイントと考えることができる。

なお、動画の記録の終了時点で、メモリ１２０に記録保持された（現在の記録時間、ズーム変化量）の組データを撮影データに対応するハイライトポイント情報として、記録媒体１１２に記録する際、メモリ保持情報を全てハイライトポイント情報として記録媒体１１２に記録する構成としてもよいが、メモリ１２０に保持された情報から、一定数のズーム変化量の大きいデータを選択し、選択データのみを動画像データとともに記録媒体１１２にハイライトポイント情報として記録する構成としてもよい。

なお、ハイライトポイント情報の記録構成としては様々な構成が適用可能である。例えば動画像ファイルの一部にハイライトポイントを記録するための領域を設けて記録する方法や、動画像ファイルとは別にデータベースファイルを持ち、その中にハイライトポイントを記録する方法などが適用できる。

図３を参照して、具体的なズーム操作情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴うズーム操作履歴を示す図である。図３（ｂ）は図３（ａ）に示すズーム操作が実行された場合に記録媒体１１２に記録される撮影画像データに対応するハイライトポイント情報のデータ例を示している。

例えば、図３（ａ）には、撮影開始から終了まで、３回のズーム操作が実行されていることを示している。最初のズーム操作は、ワイド（Ｗ）からテレ（Ｔ）すなわち、撮影対象に対して近づく方向でのズームイン処理が実行され、この１回目のズーム操作は、撮影開始から０分４５秒後に終了している。このズーム処理の終了時間がハイライトポイントとして記録される。図３（ｂ）に示すハイライトポイント情報の第１のエントリデータが、この記録データであり、ズーム処理の終了時間［０：４５］と、ズーム変化量［３．０］の組データが、第１のハイライトポイント情報として記録される。

同様に、第２、第３のハイライトポイント情報として、各ズーム操作の終了時間と、ズーム変化量の組データがそれぞれ記録される。なお、図３（ｂ）に示す例は、ズーム変化量は、ワイド（Ｗ）からテレ（Ｔ）方向へのズーム変化量を（＋）、テレ（（Ｔ）からワイド（Ｗ）方向へのズーム変化量を（−）として設定した例である。

（２）加速度センサ１０９からのセンサ検出情報、
次に、加速度センサ１０９からの入力情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図４、図５を参照して説明する。この処理は、撮影中にパン操作やチルト操作が実行されたことを加速度センサ１０９からの入力情報に基づいて、マイクロプロセッサ１１１が検出し、この検出に基づいて、ハイライトポイントを記録する処理である。

動画像を撮影中に、ユーザがカメラを動かすと、加速度センサ１０９がその動きを検知し、マイクロプロセッサ１１１に伝える。マイクロプロセッサ１１１は、加速度センサ１０９からの入力情報に基づいて、撮像装置が、ある連続した時間同じ方向の動きを示していると判定すると、ユーザがある方向にカメラを動かしている（パンやチルト動作をしている）と判断し、このポイントをハイライトポイントとして記録する。

図４の処理フローの各ステップの処理について説明する。ステップＳ２０１において、マイクロプロセッサ１１１は、まず初期設定として、メモリ１２０に記憶している連続移動量を［０］にリセットする。次に、ステップＳ２０２において、加速度センサ１０９から検出値を取得し、ステップＳ２０３において、撮像装置が静止状態にあるか移動字様態にあるかを判定する。

移動状態にあると判定すると、ステップＳ２１１に進み、前回の加速度センサ１０９からの入力情報の示す移動方向と同一の移動方向であるか否かを判定する。なお、加速度センサからの入力は、連続的に繰り返し実行されている。前回の加速度センサ１０９からの入力情報の示す移動方向と同一の移動方向であると判定された場合は、パンやチルト処理が実行されている可能性が高いと判断し、加速度センサ１０９から入力される情報に基づいて移動量を算出し、メモリ１２０に保持されている連続移動量を更新する。移動量は、例えば加速度値から速度を算出し、それを時間的に積分することで得られる。

ステップＳ２１１において、前回の加速度センサ１０９からの入力情報の示す移動方向と同一の移動方向でないと判定された場合は、パンやチルト処理が実行されている可能性が低いと判断し、ステップＳ２０５に進み、メモリ１２０に保持されている連続移動量をリセットする。

ステップＳ２０３において、加速度センサ１０９からの入力情報に基づいて撮像装置が静止した状態にあると判定されると、ステップＳ２０４に進み、メモリ１２０に記録されている連続移動量の値を参照し、この移動量が、予め定めた閾値距離より大きいか否かを判定する。移動量が、予め定めた閾値距離より大きい場合は、パンやチルト処理が実行されたと判断し、ステップＳ２１３において、（現在の記録時間、移動量）の組データをメモリ１２０に記録保持する。

ステップＳ２０４において、メモリ１２０に記録されている連続移動量の値が、予め定めた閾値距離より大きくないと判定された場合は、パンやチルト処理が実行さていないと判断し、ステップＳ２０５においてメモリ１２０に記録された連続移動量を［０］にリセットする。

ステップＳ２０６において、画像記録処理が終了したか否かを判定し、画像記録処理が終了していない場合は、ステップＳ２０２以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に実行されたパンまたはチルト処理終了時間と、各パンまたはチルト処理作における移動量の組データ、すなわち、（現在の記録時間、移動量および方向）の組データがメモリ１２０に順次記録保持される。

ステップＳ２０６において、画像記録が終了したことが検出されると、ステップＳ２０７において、メモリ１２０に記録保持された（現在の記録時間、移動量および方向）の組データを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

ユーザがパン、チルト操作をするときは、注目している撮影対象を変える場合などのため、パン、チルト操作を行った直後は重要度が高い可能性があるシーンとみなすことができ、ハイライトポイントと考えることができる。例えば、パン、チルトが終了して、カメラが静止したときに、その記録時間とパン、チルトの移動量および方向をハイライトポイント情報として、メモリ１２０に保持しておく。動画の記録が終了すると、保持しておいたハイライトポイント情報を全て、あるいはパン、チルトの移動量が大きいものから一定数だけを動画像データとともに記録媒体１１２に記録する。なお、ハイライトポイントの記録構成は、前述のズームによるハイライトポイントの記録の方法と同様、様々な手法が適用可能である。

図５を参照して、具体的なパン、チルト情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴うパン、チルト操作履歴を示す図である。図５（ｂ）は図５（ａ）に示すパン、チルト操作が実行された場合に記録媒体１１２に記録される撮影画像データに対応するハイライトポイント情報のデータ例を示している。

例えば、図５（ａ）には、撮影開始から終了まで、３回のパンまたはチルト操作が実行されていることを示している。最初のパンまたはチルト操作は、撮影開始から０分５２秒後に終了している。この処理の終了時間がハイライトポイントとして記録される。図５（ｂ）に示すハイライトポイント情報の第１のエントリデータが、この記録データであり、パンまたはチルト処理の終了時間［０：５２］と、移動量および方向［５．０］の組データが、第１のハイライトポイント情報として記録される。

同様に、第２、第３のハイライトポイント情報として、各パン、チルト操作の終了時間と、移動量および方向の組データがそれぞれ記録される。なお、図５（ｂ）に示す例において、移動方向量は、例えば左から右、および上から下方向の移動を（＋）、逆方向への移動を（−）として設定した例である。

なお、上述の例では、パン、チルトの移動量を加速度センサ１０９から入力する加速度値から速度を算出し、それを時間的に積分することで得る手法を用いているが、加速度センサがない機器においても、撮影画像に含まれる隣り合うフレーム間の画像を比較することにより、カメラの動き情報を取得することができ、この撮影画像データに基づいて、マイクロプロセッサ１１１がパン、チルト操作の有無を判別する処理を実行する構成としてもよい。

（３）音声信号処理部１０７から音声信号のレベル情報、
次に、音声信号処理部１０７から音声信号のレベル情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図６〜図８を参照して説明する。この処理は、撮影中にマイク１０５によって取得される音声データに基づく音声レベル情報をマイクロプロセッサ１１１が入力してこの入力情報に基づいて、マイクロプロセッサ１１１が音声レベル変動を解析して、この解析結果に基づいて、ハイライトポイントを記録する処理である。

動画像を撮影中に、音声はマイク１０５を介して入力され、音声のレベル情報が音声信号処理部１０７において生成されマイクロプロセッサ１１１に入力される。この音声レベル情報は例えばオーディオレベルメーターの画面表示などにも適用される。

マイクロプロセッサ１１１は、この音声レベル情報に基づいて、音声レベルがピークを示す時間を取得する。音声レベルがピークになるときは、盛り上がりのシーンである場合が多く、音声レベルがピークになったときは重要度が高い可能性があるシーンとみなすことができ、ハイライトポイントとすることができる。ここで、ピークを検出するアルゴリズムには様々な方法が考えられるが、その手法の一例を述べる。

まず、動画記録中に音声レベルを取得する。ステレオマイクの場合は、左右２チャンネル分の音声レベルを取得できるが、例えばその２つの値の平均値を音声レベルとする。また、ノイズの影響を抑えるために、音声レベルの過去一定時間（例えば３秒）の平均値をとる。このようにしてある一定間隔ごとに平均を取った値をここではサンプルと呼ぶ。すなわち、動画記録が終了したときには、ある一定間隔で音声レベルのサンプルが得られていることになる。次に、サンプルの最大値と最小値を求め、例えば最大値を１０と最小値を０として正規化を行う。

この正規化データの例を図６に示す。図６は、横軸に時間、縦軸に音声レベルの正規化値を示すグラフである。図６に示すように、正規化データとすることで、全てのサンプルは０〜１０の値をとることになる。次に、サンプルの極大値となる点だけを残して、他のサンプルは全て捨てる。図６には、音声レベル正規化値がピーク点を示す位置に黒丸［●］を示している。

次に、音声レベル（正規化値）がある一定値（例えば８）より小さいサンプルも全て捨てる。すると、残ったサンプルはある一定値よりも大きく、しかも極大値（ピーク値）をとるものだけとなる。その後、選択ポイントに時間的に近接したサンプルがある場合は、より大きな値を持つサンプルを残して、そのほかは消す。以上の操作を経て残ったサンプルをハイライトポイントとみなして、その記録時間と音声レベルの組を記録する。

例えば、図６に示す例では、まず、ハイライトポイント候補として、音声レベル（正規化値）がある一定値（例えば８）以上のポイントが選択される。このポイントはＰ１〜Ｐ４となる。次に、選択ポイント（Ｐ１〜Ｐ４）に時間的に近接したサンプルがある場合は、より大きな値を持つサンプルを残して、そのほかは消す。この処理において、例えば近接時間＝±５秒として設定すると、選択ポイントＰ４は、より高いレベルを持つ選択ポイントＰ１の近接時間＝±５秒にあり、選択ポイントＰ４はハイライトポイント候補から排除される。この処理の結果、図６に示すデータからは、Ｐ１，Ｐ２，Ｐ３のみがハイライトポイントとして抽出される。

音声信号処理部１０７から音声信号のレベル情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の処理シーケンスについて、図７に示すフローチャートを参照して説明する。

ステップＳ３０１において、マイクロプロセッサ１１１は、音声信号処理部１０７から音声信号のレベル情報を取得し、ステップＳ３０２において、過去一定期間（例えば３秒）の音声レベル平均値を計算し、記録時間とともにメモリ１２０に保持する。ステップＳ３０３において、画像記録が終了したと判定されるまで、これらの処理を継続して実行し、ステップＳ３０３において、画像記録が終了したと判定されるとステップＳ３０４に進む。

ステップＳ３０４では、メモリ１２０に蓄積された音声レベルの時間対応データに基づいて正規化処理を実行し、例えば図６に示す時間と音声レベル正規化データの対応関係を取得する。次に、ステップＳ３０５においてハイライトポイント抽出処理を実行する。すなわち、
（ａ）音声レベル（正規化値）がある一定値（例えば８）以上のポイントを選択、
（ｂ）選択ポイントに時間的に近接したサンプルがある場合は、より大きな値を持つサンプルを残して、そのほかは消す。
これら（ａ），（ｂ）の処理によって残ったポイントをハイライトポイントとして選択する。次に、ステップＳ３０６において、抽出したハイライトポイント対応の時間情報と、音声レベル正規化値（ピーク値）の組を撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

図８を参照して、具体的な音声レベル情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴う音声レベル情報の履歴を示す図である。図８（ｂ）は図８（ａ）に示す音声レベルが取得された場合に記録媒体１１２に記録される撮影画像データに対応するハイライトポイント情報のデータ例を示している。

例えば、図８（ａ）に示す音声レベル遷移データから、前述したハイライトポイント取得処理によって、３つのハイライトポイントが取得される。結果として、図８（ｂ）に示すように、記録時間［２：１４］、［３：３０］、［４：０７］がハイライトポイントとして選択され、図８（ｂ）に示すような３つのエントリを持つハイライトポイント情報、すなわち、ハイライトポイント対応の時間情報と、音声レベル正規化値（ピーク値）の組が、撮影データに対応するハイライトポイント情報として、撮影データに対応付けて記録媒体１１２に記録される。

（４）ＧＰＳモジュール１１０からの位置情報、
次に、ＧＰＳモジュール１１０からの入力情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図９、図１０を参照して説明する。この処理は、撮影中にＧＰＳモジュール１１０からの入力情報に基づいて算出される撮像装置の位置情報に基づいて、マイクロプロセッサ１１１が位置変動に基づいてハイライトポイントを決定して記録する処理である。

動画像を撮影中に、マイクロプロセッサ１１１はＧＰＳ１１０からＧＰＳ衛星の情報を受け取り、現在位置の緯度および経度をリアルタイムで得ることができる。マイクロプロセッサ１１１は動画の撮影中に、ＧＰＳデータに基づいて撮像装置の移動距離などを算出する。

ＧＰＳのデータから算出した緯度および経度の情報はある程度の誤差を含むため、最初に観測した位置からある一定の距離以上移動した場合に、機器が移動したとみなす。撮影中に大きな移動が行われたときは、その大きな移動の直後の撮影シーンは重要でありハイライトポイントとみなすことができる。このような推測のもと、マイクロプロセッサ１１１はＧＰＳ１１０からの入力情報に基づいて、緯度および経度の変化に基づいて移動距離を算出し、予め定めた閾値距離以上の移動が発生した記録時間と移動量をハイライトポイントとして、メモリ１２０に保持する。動画の記録が終了すると、メモリ１２０に保持しておいたハイライトポイントを全て、あるいは一定数だけを動画像データとともに記録媒体１１２に記録する。

図９の処理フローの各ステップの処理について説明する。ステップＳ４０１において、マイクロプロセッサ１１１は、ＧＰＳモジュール１１０からの情報、すなわち撮像装置の位置情報としての緯度、経度情報を入力する。この位置情報入力は、一定間隔で繰り返し実行され、随時、位置情報は、メモリ１２０に情報入力時刻に対応付けて記憶される。

マイクロプロセッサ１１１は、ステップＳ４０２において、ＧＰＳモジュール１１０からの入力情報と、メモリ１２０に記録済みの位置情報との差分を算出し、予め定めた時間内に、予め定めた閾値距離以上の移動が発生しているか否かを判定する。閾値以上の移動が発生している場合は、ハイライトポイントと判定し、ステップＳ４１１に進み、（現在の記録時間、位置移動量）の組データをメモリ１２０に記録保持する。

ステップＳ４０２において、予め定めた時間内に、予め定めた閾値距離以上の移動が発生していないと判定された場合、または、ステップＳ４１１において、（現在の記録時間、位置移動量）の組データをメモリ１２０に記録保持する処理を実行した後は、ステップと４０４に進み、画像記録処理が終了したか否かを判定し、画像記録処理が終了していない場合は、ステップＳ４０１以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に、閾値以上の移動が発生した時点の時間と、位置移動量の組データ、すなわち、（現在の記録時間、位置移動量）の組データがメモリ１２０に順次記録保持される。

ステップＳ４０３において、画像記録が終了したことが検出されると、ステップＳ４０４において、メモリ１２０に記録保持された（現在の記録時間、位置移動量）の組データを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

図１０を参照して、具体的なＧＰＳ情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴って計測された閾値以上の移動が発生した時間、すなわちハイライトポイントを示す図である。図１０（ｂ）は図１０（ａ）に示すデータに対応する位置の移動状況を示す図である。

図１０（ｂ）に示す撮影開始点Ｐ１において撮影が開始され、撮像装置は、撮影者とともに、移動を開始し、地点Ｐ２において、閾値以上の距離移動が発生したと判定され、この時点を第１のハイライトポイントと認定する。この地点の時間は、撮影開始から、１分３５秒後であり、この時間と、移動量が、図１０（ｃ）に示すハイライトポイント情報の第１エントリとして記録される。さらに、地点Ｐ２から地点Ｐ３まで移動を行なった場合、地点Ｐ３において、閾値以上の距離移動が発生したと判定され、この時点を第２のハイライトポイントと認定する。この地点の時間は、撮影開始から、２分１１秒後であり、この時間と、移動量が、図１０（ｃ）に示すハイライトポイント情報の第２エントリとして記録される。

（５）クロック１３１からの日時情報、
次に、クロック１３１からの日時情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図１１、図１２を参照して説明する。この処理は、撮影中にクロック１３１からの日時情報をマイクロプロセッサ１１１が入力し、現在時刻の情報をもとにハイライトポイントを検出し記録する処理である。

動画像を撮影中に、マイクロプロセッサ１１１は現在の日時情報をクロック１３１から入力する。現在時刻は、あらかじめユーザにより指定されているか、もしくはＧＰＳ１１０からＧＰＳ衛星の情報を受け取ることにより設定されたものである。マイクロプロセッサ１１１は動画撮影中に時計を監視することにより、日付の変更が発生した時点や、年の変更が発生した時点などの記録時間情報を得ることができる。

このように、日付をまたいだり年をまたいだりした瞬間は、何か重要なイベントを行っている可能性があり、ハイライトポイントとみなすことができる。この処理例は、撮影中に日付や年が変化した記録時間をハイライトポイントとする処理例である。

図１１の処理フローに従って、クロック１３１からの日時情報に基づいてマイクロプロセッサ１１１が実行するハイライトポイント検出記録処理シーケンスについて説明する。ステップＳ５０１において、マイクロプロセッサ１１１は、クロック１３１から日時情報を入力する。ステップＳ５０２において、イベント日時に該当するか否かを判定する。イベント日時情報は、例えば、ユーザが予め設定し、メモリに格納しておいたデータに基づいて判定する。その他、日付の変更時や、年の変更時などをデフォルトのイベント日時としてこれを利用してもよい。

ステップＳ５０２において、イベント日時であると判定されると、ハイライトポイントであると判定し、ステップＳ５１１において、（現在の記録時間、イベント内容）の組データをメモリ１２０に記録保持する。イベント内容は、例えば日付の変更や、年の変更などである。

ステップＳ５０２において、イベント日時でないと判定された場合、あるいは、ステップＳ５１１において、（現在の記録時間、イベント内容）の組データをメモリ１２０に記録保持する処理の実行後は、ステップＳ５０３において、画像記録処理が終了したか否かを判定し、画像記録処理が終了していない場合は、ステップＳ５０１以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に発生したイベントの発生時間と、各イベントの内容情報の組データ、すなわち、（現在の記録時間、イベント内容）の組データがメモリ１２０に順次記録保持される。

ステップＳ５０３において、画像記録が終了したことが検出されると、ステップＳ５０４において、メモリ１２０に記録保持された（現在の記録時間、イベント内容）の組データを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

図１２を参照して、具体的なクロック情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過と、クロック情報に基づくイベント発生時間の検出ポイントを示す図である。図１２（ｂ）は図１２（ａ）に示す撮影データに対応して記録媒体１１２に記録されるハイライトポイント情報のデータ例を示している。

例えば、図１２（ａ）には、撮影開始から終了までの間に、１回のイベント発生時刻、例えば、年が変更した時刻が含まれ、この点がハイライトポイントとして記録されるものとする。図１２（ｂ）に示すハイライトポイント情報のエントリデータが、この記録データであり、年が変更した時刻に対応する撮影開始からの記録時間［１：４０］と、イベント内容としての［年が変化］という情報からなる組データが、ハイライトポイント情報として記録される。

（６）入力デバイス１０８に対するユーザ操作による静止画撮影情報、
次に、入力デバイス１０８に対するユーザ操作による静止画撮影情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図１３、図１４を参照して説明する。

図１３に示すフローチャートは、画像の撮影実行中に行なわれる処理であり、入力デバイス１０８に対するユーザ操作による静止画撮影処理情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の処理シーケンスを示すフローチャートである。

動画像を撮影中に、ユーザは入力デバイス１０８の一つである静止画撮影キー（例えばシャッターキー）を押すことにより、静止画を撮影することができる。このとき、ユーザの操作は入力デバイス１０８からマイクロプロセッサ１１１に伝えられ、マイクロプロセッサ１１１がカメラを制御して静止画撮影を行う。ユーザが動画撮影中に静止画を記録したということは、そのシーンを重要と認識した場合と考えられ、ハイライトポイントとみなすことができる。本処理例は、静止画撮影をした記録時間をハイライトポイントとして記録する処理例である。

図１３の処理フローの各ステップの処理について説明する。ステップＳ６０１において、マイクロプロセッサ１１１が静止画撮影用のシャッターキー操作を検出すると、ステップＳ６１１に進み、静止画を撮影し、ステップＳ６１２において、静止画撮影を実行した時間情報をメモリ１２０に記録保持する。

次に、ステップＳ６０２において、画像記録が終了したか否かが検出され、画像記録処理が終了していない場合は、ステップＳ６０１以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に実行された静止画撮影処理の処理時間データがメモリ１２０に順次記録保持される。

ステップＳ６０２において、画像記録が終了したことが検出されると、ステップＳ６０３において、メモリ１２０に記録保持された（静止画撮影時の記録時間）のデータを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて記録媒体１１２に記録する。

図１４を参照して、具体的な静止画撮影情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴う静止画撮影履歴を示す図である。図１４（ｂ）は図１４（ａ）に示す静止画撮影が実行された場合に記録媒体１１２に記録される撮影画像データに対応するハイライトポイント情報のデータ例を示している。

例えば、図１４（ａ）には、撮影開始から終了まで、２回の静止画撮影が実行されていることを示している。最初の静止画撮影は、撮影開始から２分２２秒後に実行されている。この静止画撮影処理実行時間がハイライトポイントとして記録される。図１４（ｂ）に示すハイライトポイント情報の第１のエントリデータが、この記録データであり、静止画撮影時間［２：２２］が、第１のハイライトポイント情報として記録される。同様に、第２、第３のハイライトポイント情報が順次記録されることになる。

［総合的な処理シーケンス］
上述したように、本発明の撮像装置におけるハイライトポイント抽出処理は、
（１）入力デバイス１０８に対するユーザ操作によるズーム操作情報、
（２）加速度センサ１０９からのセンサ検出情報、
（３）音声信号処理部１０７から音声信号のレベル情報、
（４）ＧＰＳモジュール１１０からの位置情報、
（５）クロック１３１からの日時情報、
（６）入力デバイス１０８に対するユーザ操作による静止画撮影情報、
これらの各検出情報に対応するハイライトポイント抽出処理として実行されることになる。これらの処理は１つの動画撮影に対して同時に実行することが可能である。この場合、各種情報に基づいてハイライトポイント情報が生成され、撮影画像データに対応付けて系記録される。記録されるハイライトポイント情報は例えば図１５に示すようなデータとなる。

図１５には、
（１）入力デバイス１０８に対するユーザ操作によるズーム操作情報、
（２）加速度センサ１０９からのセンサ検出情報、
（３）音声信号処理部１０７から音声信号のレベル情報、
（４）ＧＰＳモジュール１１０からの位置情報、
（５）クロック１３１からの日時情報、
（６）入力デバイス１０８に対するユーザ操作による静止画撮影情報、
これら（１）〜（６）の情報各々に基づいてマイクロプロセッサ１１１が抽出し、記録したハイライトポイント情報を示している。

なお、本発明の撮像装置では、これらの様々な情報に基づいて生成されるハイライトポイント報を、ハイライトポイント情報の生成に適用した入力情報の種類に応じて、ハイライトポイント情報の優先度を設定して撮影画像データの対応情報として記録媒体に記録する処理を実行する構成を有する。この優先度情報は、ハイライトシーンのみを選択して再生する場合の選択情報に適用される。

撮影画像データに対して記録されたハイライトポイントの情報を用いて撮影データのハイライトシーンだけを再生する手順について述べる。本発明の撮像装置は、ディスプレイ１２７に撮影動画像の再生を行なうことが可能であり、また、撮影画像に対応付けて記録されたハイライトポイント情報を適用して、ハイライトポイントとされたシーンを選択して再生する処理を実行する。

ハイライトシーンの再生処理としては、例えばユーザがある単一の動画像を選択して、そのハイライトシーンだけを再生する処理や、あるまとまった数の動画像を連続してハイライト再生をすることにより、スライドショー形式で再生を行なう処理が可能である。

ハイライトシーンの再生処理を実行する場合、図１５に示す多数のハイライトシーンを全て選択して再生することも可能である。例えば図１５に示す（１）〜（６）の各ハイライトポイント情報に記録された記録時間に基づいて、その記録時間対応の画像撮影フレームを中心として、前後に１０秒間、あるいは５秒前から２０秒後までなどの設定に基づいて、各ハイライトポイント情報に含まれる記録時間をインデックスとしてハイライトシーンの再生を行なうことができる。

さらに、図１５に示す多数のハイライトポイントに対応するシーンを全て選択して再生するのではなく、さらに、図１５に示す多数のハイライトポイントから、ハイライトポイントの優先度に基づいて、優先度が上位のハイライトポイントを選択して、選択されたハイライトポイントのみに対応するシーンを再生する構成としてもよい。

ハイライトポイントの優先度について説明する。前述のようにハイライトポイントには、ズーム操作、パン、チルト操作、音声レベルのピーク、ＧＰＳの位置変化、時刻情報による日付や年の変化、動画撮影中の静止画撮影の情報など、様々な情報に基づいて抽出される。これらを、どの情報に基づいて抽出されたハイライトポイントであるかに基づいて優先度順位をあらかじめ設定する。この優先度順位は、ユーザが任意に設定できるものとする。

例えば、ズーム操作や音声レベルのピークや動画撮影中の静止画撮影のハイライトポイントは、重要なシーンである可能性が比較的高いが、パン、チルト操作やＧＰＳの位置変化や時刻情報による日付や年の変化は、重要なシーンである可能性が低いと判断するユーザは、例えば記録されたハイライトポイントに対し、次のように優先付けを行う。
優先度１：ズーム操作、音声レベルピーク、静止画撮影に基づいて抽出されたハイライトポイント、
優先度２：ＧＰＳ情報、日付や年の変化などのイベントに基づいて抽出されたハイライトポイント、
優先度３：パン、チルト操作に基づいて抽出されたハイライトポイント。

このような優先度の設定を行い、次に、ハイライトシーンだけを再生するために、選択する再生するハイライトポイントの数を決定する。動画像のハイライトシーンだけを再生するためには、まずハイライト再生をする長さを決める。これは、あらかじめ固定の値（例えば２０秒）と決めておいてもよいし、動画の全体の長さに対して一定割合（例えば、動画の長さの５分の１）と決めておいてもよいし、あるいはユーザにあらかじめ設定させておくこともできる。

次に、１つの再生ハイライトシーンの長さを決定する。これは、あらかじめ固定の値（例えば５秒）と決めておいてもよいし、スライドショーで動画像の再生をする場合には、そのときどきの演出効果として長さを決めておいてもよいし、スライドショーでＢＧＭを再生する場合には、その音楽のそれぞれの節にあわせて長さを決めておいてもよいし、あるいはユーザにあらかじめ設定させておくこともできる。このようにして、ハイライト再生の全体の長さと１シーンあたりの長さを決定することができる。この２つの値はどのような再生をしたいかにより、状況に応じて適切な値を選択することができる。ハイライト再生の全体の長さを１シーンあたりの長さで割り算をすると、何箇所のハイライトポイントを選択する必要があるかを求めることができる。ＢＧＭにあわせて長さを決めるときのように、１シーンあたりの長さが可変の場合は、シーンの長さを累積した長さがＢＧＭの長さに達するまでの必要なシーンの数が、選択が必要なハイライトポイントの数となる。

次に、ハイライトポイントを選択する手順について、図１６に示すフローチャートを参照して説明する。このハイライトポイント選択処理は、ハイライトポイントの再生処理を実行する前の処理として、マイクロプロセッサ１１１が、撮影画像データに対応するハイライトポイント情報を適用して優先度の高いハイライトポイントを選択する処理である。

まず、ステップＳ７０１において、優先度が最も高い設定とされたハイライトポイントの集合を選択する。例えば、上述した優先度設定例では、
優先度１：ズーム操作、音声レベルピーク、静止画撮影に基づいて抽出されたハイライトポイント、
これらのハイライトポイント情報の集合が取得される。

次に、ステップＳ７０２において集合が空か否かを判定し、空でない場合にはステップＳ７０３に進み、この集合からの中から１つのハイライトポイントを選択する。この選択処理においては、同じ優先度の設定とされたハイライトポイントが複数ある場合は、例えば、ランダムに選択してもよいし、ズームの場合は変化量、パン、チルト操作場合は移動量、音声レベルの場合はレベルの値、ＧＰＳ情報による緯度経度変化の場合はその変化量など、変化の度合いを示す指標の高いものから順番に選ぶ設定としてもよい。

ステップＳ７０４において、取得したハイライトポイントの数が、予め定めた上限数に達したか否かを判定し、達していない場合は、ステップＳ７０２に戻り、同様の処理を繰り返す。最高優先度の集合が空になった場合は、ステップＳ７１１に進み、さらに下位の優先度のハイライトポイント集合があるか否かを判定し、あると判定される場合は、ステップＳ７１２において、次の優先度設定とされたハイライトポイントの集合を選択する。例えば、上述した優先度設定例では、
優先度２：ＧＰＳ情報、日付や年の変化などのイベントに基づいて抽出されたハイライトポイント、
これらのハイライトポイント情報の集合が取得される。

次に、ステップＳ７０３に進み、選択集合からハイライトポイントを選択する。これらの処理を繰り返し実行して、より高い優先度を持つ情報からハイライトポイントが順次、所定数に達するまで、あるいはハイライトポイントが全て選択されるまで実行される。

ステップＳ７１１において、選択すべきハイライトポイント集合がないと判定された場合は、ステップＳ７１３において、撮影画像の長さを等間隔（例えば１０分割）に分割し、それぞれの点をハイライトポイント集合として設定し、ステップＳ７０３に進み、その新たな集合に基づくハイライトポイントの選択を実行する。この選択処理は、等間隔に分割した点を前から順番に選択するなど、予め定めたルールに従って実行する。

最終的に、ステップＳ７０４において、予め定めたハイライトポイント数に達したと判定された場合は、そこで、ハイライトポイント選択処理は終了する。このようにして、優先度の順に選択を繰り返し、あらかじめ計算しておいた必要個数分だけハイライトポイントを選択する。

次に、選択したハイライトポイントを基に動画像をハイライトとして再生する手順について述べる。まず、選択したハイライトポイントを撮影時間順に並べる。そして、ハイライトポイントの少し前から１シーンあたりの長さだけ動画像の再生を行う。例えば、１シーンあたりの長さが５秒とすると、ハイライトポイントの１秒前から５秒間動画像の再生を行う。これを全てのハイライトポイントに連続的に対し適用し動画像の再生をすることにより、結果としてハイライトシーンだけの再生を行うことができる。図１７に、ハイライトシーン選択再生例を示す。

図１７は、例えば撮影画像データから３つのハイライトポイントを選択して再生する場合の例を示している。ハイライトシーン３０１〜３０３は、上述した処理によって選択されたハイライトポイントを含む動画像データであり、例えばハイライトポイントの１秒前から５秒後までを再生シーンとして設定する。図の例では、３つのハイライトシーンのみが再生されることになる。ここで、例えばハイライトポイントのつなぎ目にクロスフェードのようなシーンチェンジ効果を入れるような設定としてもよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

上述したように、本発明の一実施例構成によれば、撮像画像データを生成しているときの動きが加速度センサで検知されて、この加速度検出センサで生成されたセンサ検出情報に基づいてパンまたはチルト処理の実行の有無の判定が行われる。さらに、パンまたはチルト処理の終了時を重要シーン撮影部分のポイントとして識別可能としたハイライトポイント情報が生成されて撮影画像データに対応付けて記録される。このようにハイライトポイント情報を生成して撮影画像データに対応付けて記録する構成としたので、撮影後の画像解析等による重要シーンの抽出といった処理が不要となり、撮影後、即座にハイライトシーンの選択再生が実行可能となり、ユーザの負担を軽減した効率的な処理が可能となる。

本発明の一実施例に係る撮像装置の構成を示すブロック図である。ズーム操作情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。ズーム操作情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。加速度センサ情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。加速度センサ情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。音声情報に基づくハイライトポイント抽出処理について説明する図である。音声情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。音声情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。ＧＰＳ情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。ＧＰＳ情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。クロック情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。クロック情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。静止画撮影情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。静止画撮影情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。各種情報に基づくハイライトポイント抽出処理によって取得されるハイライトポイント情報を示す図である。ハイライトシーン再生に適用するハイライトポイント選択処理シーケンスについて説明するフローチャートを示す図である。ハイライトシーン再生子より例について説明する図である。

符号の説明

１０１レンズ
１０２イメージャ
１０３Ａ／Ｄ変換部
１０４カメラ信号処理部
１０５マイク
１０６Ａ／Ｄ変換部
１０７音声信号処理部
１０８入力デバイス
１０９加速度センサ
１１０ＧＰＳモジュール
１１１マイクロプロセッサ
１１２記録媒体
１１３クロック
１２０メモリ
１２１画像エンコード部
１２２音声エンコード部
１２３画像デコード部
１２４音声デコード部
１２５表示部
１２６Ｄ／Ａ変換部
１２７ディスプレイ
１２８音声信号処理部
１２９Ｄ／Ａ変換部
１３０スピーカ

Claims

撮影画像データを生成する画像データ生成部と、
前記画像データを生成しているときの動きを検知して、パンまたはチルト処理の実行の有無を判定可能とするセンサ検出情報を生成する加速度センサと、
前記センサ検出情報に基づいて前記パンまたはチルト処理の実行の有無を判定し、該パンまたはチルト処理の終了時を重要シーン撮影部分のポイントとして識別可能としたハイライトポイント情報を生成するデータ処理部と、
前記ハイライトポイント情報を前記撮像画像データの対応情報として記録媒体に記録する記録部と
を有することを特徴とする撮像装置。
前記データ処理部は、前記センサ検出情報に基づいて算出した同一の移動方向の連続移動量が予め定めた閾値距離よりも大きい場合、前記パンまたはチルト処理が実行されたと判定することを特徴とする請求項１記載の撮像装置。
撮像装置において実行する情報処理方法であり、
画像データ生成部で撮影画像データを生成する画像データ生成ステップと、
前記撮像画像データを生成しているときの動きを加速度センサで検知して、パンまたはチルト処理の実行の有無を判定可能とするセンサ検出情報を生成するセンサ検出情報生成ステップと、
データ処理部で、前記センサ検出情報に基づいて前記パンまたはチルト処理の実行の有無を判定し、該パンまたはチルト処理の終了時を重要シーン撮影部分のポイントとして識別可能としたハイライトポイント情報を生成するハイライトポイント情報生成ステップと、
記録部で、前記ハイライトポイント情報を前記撮像画像データの対応情報として記録媒体に記録する情報記録ステップと
を有することを特徴とする情報処理方法。
撮像装置において情報処理を実行させるコンピュータ・プログラムであり、
撮像画像データを生成しているときの動きを加速度センサで検知して、該加速度検出センサで生成されたセンサ検出情報に基づいてパンまたはチルト処理の実行の有無を判定し、該パンまたはチルト処理の終了時を重要シーン撮影部分のポイントとして識別可能としたハイライトポイント情報を生成するハイライトポイント情報生成ステップと、
記録部で、前記ハイライトポイント情報を前記撮像画像データの対応情報として記録媒体に記録する情報記録ステップと
を実行させることを特徴とするコンピュータ・プログラム。