JP2005184617A - 動画再生装置、撮像装置及びそのプログラム - Google Patents

Abstract

【課題】 動画に最も適切な曲を選択又は付加することができる撮像装置、動画再生装置及びそのプログラムを実現する。
【解決手段】 動画再生処理が開始されると、一定間隔おきに再生している動画データの動画フレームの画像を認識していく。そして、この認識結果に基づき適切な曲情報を選択していく。そして選択した曲情報と現在再生している曲に対応する曲情報とが一致するか否かを判断する。一致する場合には現在再生している曲の再生を継続し、一致していない場合は現在再生している曲の再生を停止し、該選択した曲情報に対応する曲を再生する。
【選択図】 図３

Description

本発明は、動画再生装置、撮像装置及びそのプログラムに係り、詳しくは、動画に最も適切な曲を選択又は付加することができる動画再生装置、撮像装置及びそのプログラムに関する。

従来、デジタルビデオカメラ、デジタルカメラの普及により手軽に様々な場面で動画の撮影が行なえるようになってきた。
また、撮影した動画に適当なＢＧＭを付加することにより、その動画を再生するときには、よりユーザ（視聴者）に効果的な印象を与え、ユーザはその動画を撮影した時のことをより印象深く思い出すことができる。

また、下記特許公開公報には、画像再生装置及び画像再生方法なる発明が開示されている。詳しくは、再生する画像の背景画像、撮影日時や場所等から撮影テーマを連想させる特徴を抽出する。そして、抽出された撮影テーマに対応する曲を取り出して、該画像の再生と共に該抽出された曲も同時に再生することができる画像再生装置及び画像再生方法なるものが記載されている。

公開特許公報 特開平１１−３０８５１３（段落「００１１」〜段落「００２１」参照）

しかしながら、従来のデジタルカメラ等にあっては、以下のような問題点があった。
（１）動画にＢＧＭをつけるとき、その動画に適切な曲を選択することは、音楽に詳しくないユーザにとって、手間と時間がかかり面倒であるという問題点があった。
（２）また、動画は画像が絶えず移り変わっていくので、そのシーン毎に適切な曲を選択し付加していくという作業、又は、一連の画像に対して適切な曲を１つ選択するという作業は、曲に詳しいユーザであったとしても大変な労力と時間を要し、曲に詳しくないユーザにしてみたら尚更である。
（３）また、上記特許文献には、再生画像に適切な曲を選択するものではあるが、静止画を対象としたものであり、画像が移り変わっていく動画に対応することができるというものではなかった。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、動画に最も適切な曲を選択又は付加することができる動画再生装置、撮像装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による動画再生装置は、動画データを再生する動画再生手段と、
前記動画再生手段により再生された動画データの画像を認識する画像認識手段と、
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、
前記選択手段によって選択された曲情報に対応する曲を再生する曲再生手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記画像認識手段は、
前記動画再生手段により再生された動画データの画像を一定間隔おきに認識するようにしてもよい。
また、例えば、請求項３に記載されているように、前記画像認識手段は、
前記動画再生手段により再生される動画データの画像の動き量（変化量）を認識するようにしてもよい。

また、例えば、請求項４に記載されているように、前記曲再生手段により再生している曲の再生時間が所定時間を経過したか否かを判断する判断手段と、
前記判断手段により所定時間を経過していないと判断した場合に、前記選択手段による曲情報の選択を禁止する禁止手段と、
を備えるようにしてもよい。

また、例えば、請求項５に記載されているように、前記判断手段により所定時間経過していないと判断した場合でも、前記画像認識手段により認識された画像が前記曲再生手段により再生されている曲と所定範囲内で一致していないと判断した場合には、前記禁止手段による曲情報の選択の禁止を解除し、
前記選択手段は、
前記画像認識手段によって認識された画像に基づいて曲情報を選択するようにしてもよい。

また、例えば、請求項６に記載されているように、前記選択手段により選択された曲情報と、前記曲再生手段により再生されている曲に対応する曲情報とが一致するか否かを判断する一致判断手段を備え、
前記曲再生手段は、
前記一致判断手段により曲情報が一致していないと判断された場合には、再生している曲を停止して前記選択手段により選択された曲情報に対応する曲の再生を開始し、
前記一致判断手段により曲情報が一致していると判断された場合には、
再生している曲を継続して再生するようにしてもよい。

また、例えば、請求項７に記載されているように、前記曲再生手段は、
前記選択手段によって一番多く選択された曲情報に対応する曲を再生するようにしてもよい。
また、例えば、請求項８に記載されているように、前記選択手段により選択された複数の曲情報を表示させる表示手段と、
前記表示手段により表示された複数の曲情報の中からユーザに曲情報を選択させるための曲情報選択手段とを備え、
前記曲再生手段は、
前記曲情報選択手段により選択された曲情報に対応する曲を再生するようにしてもよい。

上記目的達成のため、請求項９記載の発明による撮像装置は、被写体を撮像する撮像手段と、
前記撮像手段により撮像された動画データの画像を認識する画像認識手段と、
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、
を備えたことを特徴とする。

また、例えば、請求項１０に記載されているように、前記画像認識手段は、
前記撮像手段により撮像された動画データの画像を一定間隔おきに認識するようにしてもよい。
また、例えば、請求項１１に記載されているように、前記画像認識手段は、
前記撮像手段により撮像される動画データの画像の動き量（変化量）を認識するようにしてもよい。

また、例えば、請求項１２に記載されているように、前記選択手段により選択された曲情報に対応する曲を再生する曲再生手段を備えるようにしてもよい。
また、例えば、請求項１３に記載されているように、前記選択手段により選択された曲情報又は該曲情報に対応する曲と前記撮像手段により撮像された動画データとを関連付けて記録手段に記録する記録制御手段を備えるようにしてもよい。
また、請求項１４に記載されているように、前記選択手段により選択された曲情報に対応する曲を録音する録音手段を備え、
前記記録制御手段は、
前記録音手段により録音された曲と前記撮像手段により撮像された動画データとを関連付けて前記記録手段に記録するようにしてもよい。

また、例えば、請求項１５に記載されているように、前記曲再生手段により再生している曲の再生時間又は前記録音手段により録音している曲の録音時間が、所定時間を経過したか否かを判断する判断手段と、
前記判断手段により所定時間経過していないと判断した場合に、前記選択手段による曲情報の選択を禁止する禁止手段と、
を備えるようにしてもよい。

また、例えば、請求項１６に記載されているように、前記判断手段により所定時間経過していないと判断した場合でも、前記画像認識手段により認識された画像が、前記曲再生手段により再生している曲又は前記録音手段により録音している曲と所定範囲内で一致していないと判断した場合には、前記禁止手段による曲情報の選択の禁止を解除し、
前記選択手段は、
前記画像認識手段によって認識された画像に基づいて曲情報を選択するようにしてもよい。

また、例えば、請求項１７に記載されているように、前記選択手段により選択された曲情報と、前記曲再生手段により再生している曲に対応する曲情報又は前記録音手段により録音している曲に対応する曲情報とが一致するか否かを判断する一致判断手段を備えるようにしてもよい。

また、例えば、請求項１８に記載されているように、前記曲再生手段により曲を再生している場合において、
前記曲再生手段は、
前記一致判断手段により曲情報が一致していないと判断された場合には、再生している曲を停止して前記選択手段により選択された曲情報に対応する曲の再生を開始し、
前記一致判断手段により一致と判断された場合には、
再生している曲を継続して再生するようにしてもよい。

また、例えば、請求項１９に記載されているように、前記録音手段により曲を録音している場合において、
前記録音手段は、
前記一致判断手段により曲情報が一致していないと判断された場合には、録音している曲を停止して前記選択手段により選択された曲情報に対応する曲の録音を開始し、
前記一致判断手段により一致と判断された場合には、
録音している曲を継続して録音するようにしてもよい。

また、例えば、請求項２０に記載されているように、前記記録制御手段は、
前記選択手段によって一番多く選択された曲情報又は該曲情報に対応する曲と前記撮像手段によって撮像された動画データとを関連付けて前記記録手段に記録するようにしてもよい。

また、例えば、請求項２１に記載されているように、前記選択手段により選択された複数の曲情報を表示させる表示手段と、
前記表示手段により表示された複数の曲情報の中からユーザに曲情報を選択させるための曲情報選択手段とを備え、
前記記録制御手段は、
前記曲情報選択手段により選択された曲情報又は該曲情報に対応する曲と前記撮像手段により撮像された動画データとを関連付けて前記記録手段に記録するようにしてもよい。

上記目的達成のため、請求項２２記載の発明による撮像装置は、動画データを記録する記録手段と、
前記記録手段に記録されている動画データの画像を認識する画像認識手段と、
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、
前記選択手段により選択された曲情報又は該曲情報に対応する曲を、前記記録手段に記録されている動画データと関連付けて記録する記録制御手段と、
を備えたことを特徴とする。

上記目的達成のため、請求項２３記載の発明によるプログラムは、動画データを再生する処理と、
この処理により再生された動画データの画像を認識する処理と、
この処理によって認識された画像に基づいて曲情報を選択する処理と、
この処理によって選択された曲情報に対応する曲を再生する処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とする。

上記目的達成のため、請求項２４記載の発明によるプログラムは、被写体を撮像する処理と、
この処理により撮像された動画データの画像を認識する処理と、
この処理によって認識された画像に基づいて曲情報を選択する処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とする。

本発明の動画再生装置によれば、以下のような効果を奏することができる。
（１）再生している動画データの画像を認識していき、シーン毎に適切な曲を選択して再生するので、動画撮影時の状況をより感情的、情緒的に回想することができる。
（２）また、シーン毎に適切な曲を選択してくれるので、ユーザの手間と労力を省くことができる。また、曲に詳しくないユーザであっても、簡単にシーン毎に適切な曲を再生することができる。
（３）また、被写体の動き量（変化量）により画像を認識するので、被写体の動きに対して適切な曲情報を選択することができ、ユーザの興趣を高めることができる。
（４）また、撮影中に一番多く選択された曲情報に対応する曲と撮影した動画データを関連付けて記録するので、動画データの一連の画像に対して最も適切な曲を記録することができる。また、撮影中に選択された曲情報を一覧表示させ、ユーザにより指示された曲情報に対応する曲と撮影した動画データとを関連付けて記録するので、動画データの一連の画像に適切、且つ、ユーザ好みの曲を記録することができる。

（５）また、現在再生している曲がある場合には、該曲の再生時間が所定時間を経過しなければ、新たな曲を選択して再生することがないので、曲の頻繁な切り換わりによるユーザの感じる煩わしさ、不快感をなくすことができる。また、所定時間経過前であっても、画像認識により認識した画像と現在再生している曲とが一致していないと判断した場合は、認識した画像にあった曲を選択して再生するので、ユーザの感じる違和感を回避することができる。さらに、画像認識した画像と現在再生している曲が所定範囲内で一致しているか否かの判断基準をユーザが設定することができるので、ユーザが感じる、煩わしさ、不快感、違和感をさらになくすことができる。
（６）また、現在再生している曲に対応する曲情報と選択した曲情報とが一致するか否かを判断し、一致する場合には現在再生している曲を継続して再生するので、改めて同じ曲を頭から再生する必要がなくなり、ユーザの感じる違和感をなくすことができる。

また、本願発明の撮像装置によれば、以下のような効果を奏することができる。
（１）動画撮影時に撮像した動画データの画像を認識していき、シーン毎に適切な曲を選択して、再生又は記録していくので、撮影時の興趣、その場のムードを高めることができ、また、記録した動画データの再生時には、撮影時の状況をより感情的、情緒的に回想することができる。
（２）また、動画撮影中に適切な曲を選択していくので、ユーザの手間と労力を省くことができる。また、曲に詳しくないユーザであっても、簡単にシーン毎に適切な曲を付加、再生することができる。
（３）また、被写体の動き量（変化量）により画像を認識するので、被写体の動きに対して適切な曲情報を選択することができ、ユーザの興趣を高めることができる。
（４）また、動画撮影中に現在再生又は録音している曲がある場合には、現在再生又は録音している曲の再生時間又は録音時間が所定時間を経過していなければ、曲を選択して再生又は録音することがないので、曲の頻繁な切り換わりによるユーザが感じる煩わしさ、不快感をなくすことができる。また、所定時間経過前であっても、画像認識により認識した画像と、現在再生又は録音している曲はマッチしていないと判断した場合は、認識した画像にあった曲を選択して再生又は録音するので、ユーザの感じる違和感をなくすことができる。さらに、画像認識した画像と現在再生等している曲がマッチしていないか否かの判断基準をユーザが設定することができるので、ユーザの感じる、煩わしさ、不快感、違和感をさらになくすことができる。

（５）また、曲情報を選択した場合には、選択した曲情報と現在再生又は録音している曲に対応する曲情報とが一致するか否かを判断し、一致する場合には現在再生又は録音している曲を継続して再生又は録音するので、改めて同じ曲を頭から再生又は録音しなおすことがなくなり、ユーザの感じる違和感をなくすことができる。
（６）また、撮影中に一番多く選択された曲情報に対応する曲と撮影した動画データを関連付けて記録するので、動画データの一連の画像に対して最も適切な曲を記録することができる。また、撮影中に選択された曲情報を一覧表示させ、ユーザにより指示された曲情報に対応する曲と撮影した動画データとを関連付けて記録するので、動画データの一連の画像に適切、且つ、ユーザ好みの曲を記録することができる。
（７）動画撮影終了後等の任意のタイミング（撮影直後、動画撮影モード解除時、電源オフ時、曲の付加を指示するためのキー操作時等）で動画データの画像を認識を行い、対応する曲情報又は該曲情報に対応する曲と動画データとを関連付けて記録するので、動画撮影時の撮影処理の負担が軽減される。
また、任意のタイミング、例えば、曲の付加を指示するためのキー操作時で動画データの画像を認識するので、キー操作を行わなければ動画データとＢＧＭを関連付けて記録することはないので、ユーザの好みによりＢＧＭを付加したり、付加しなかったりすることができ、さらに、メモリ・カード等の容量を無駄にしなくてすむ。

以下、本実施の形態について、図面を参照して詳細に説明する。
[第１の実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の動画再生装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、ＣＣＤ２、ＤＳＰ／ＣＰＵ３、ＴＧ（timing generator）４、ユニット回路５、ＤＲＡＭ６、フラッシュメモリ７、ＲＯＭ８、キー入力部９、画像表示部１０、音声処理部１１、カードＩ／Ｆ１２を備えており、カードＩ／Ｆ１２には、図示しないデジタルカメラ１本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。

ＣＣＤ２は、投影された被写体を光電変換し、撮像信号としてユニット回路５に出力する。また、ＣＣＤ２はＴＧ４によって生成された所定周波数のタイミング信号に従って駆動される。ＴＧ４にはユニット回路５が接続されている。ユニット回路５は、ＣＣＤ２から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double sampling）回路、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＣＰＵ２に送られる。

画像表示部１０はカラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体をとしてスルー画像として表示し、記録画像の再生時には、保存用メモリ・カード１２から読み出され伸張された記録画像を表示する。
キー入力部９は、実行キー、キャンセルキー、カーソルキー、モードキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＤＳＰ／ＣＰＵ３に出力する。
ＤＲＡＭ６は、ＣＣＤ２によって撮像された後、デジタル化された被写体の画像データを一時記憶するバッファメモリとして使用されるとともに、ＤＳＰ／ＣＰＵ３にワーキングメモリとしても使用される。

音声処理部１１は、内蔵マイク、アンプ、Ａ／Ｄ変換器、内蔵スピーカー、Ｄ／Ａ変換器等を含み、音声付きの動画の撮影時には、内蔵マイクに入力した音声をデジタル信号に変換してＤＳＰ／ＣＰＵ３に送る。ＤＳＰ／ＣＰＵ３へ送られた音声データはＤＲＡＭ１０に順次蓄積され、ＤＳＰ／ＣＰＵ３によって生成された画像データと共にメモリ・カード１３に記録される。
また、音声処理部１１は、音声付動画の再生時には、各画像に付属する音声データに基づく音声（撮影音声）、又は、後述する選択された曲情報に基づく曲等を内蔵スピーカーから音声出力する。また、必要に応じて、内蔵スピーカーにより各種の報知音を報音する。

ＤＳＰ／ＣＰＵ３は、画像ファイルの圧縮・伸張の処理を含む各種のデジタル信号処理機能を有するとともに電子カメラ２１の各部を制御するワンチップマイコンである。ワンチップマイコンは、図示しないがクロック回路も含み、クロック回路により時刻が監視され、タイマーとしての機能も有する。
特に、ＤＳＰ／ＣＰＵ３は、メモリ・カード１３に記録されている動画データの中から、ユーザのキー入力部９の操作により再生したい動画データの選択があったか否かを判断する。この判断は、キー入力部９から動画データの選択の操作に対応する操作信号が送られてきたか否かにより判断する。

そして、ＤＳＰ／ＣＰＵ３は、画像データが選択されたと判断すると、画像表示部１０に「“撮影音声”又は“ＢＧＭ”又は “撮影音声及びＢＧＭ”うちどれか１つを選択してください」というような表示をさせる。撮影音声とは、動画データの撮影時に音声処理部１１の内蔵マイクを介してＤＲＡＭ６に記録された被写体等の音声をいう。撮影音声を選択すると動画データの再生と共に撮影音声が再生され、ＢＧＭのみを選択すると動画データの動画像と共に後述する選択した曲情報に対応する曲が再生され、撮影音声及びＢＧＭを選択すると動画データの画像と共に、撮影音声及びＢＧＭの両方が再生される。
そして、ユーザのキー入力部９の操作により何れか１つが選択されると、その操作に対応した操作信号をＤＳＰ／ＣＰＵ３は受け取り、撮影音声、ＢＧＭ、撮影音声及びＢＧＭの何れかを選択する。

そして、ＤＳＰ／ＣＰＵ３は、撮影音声のみが選択された場合には、通常の動画データの再生処理を開始し、ＢＧＭ又は撮影音声及びＢＧＭが選択された場合は、本発明の動画再生処理を開始する。
ＤＳＰ／ＣＰＵ３は、本発明の動画再生処理を開始すると、通常の動画再生処理と同様にメモリ・カード１３から選択した動画データを読み出してＤＲＡＭ６に記憶し、該記憶した動画データの動画フレームを１枚目から順次再生する。この機能は、本発明の動画再生手段に相当する。
そして、ＤＳＰ／ＣＰＵ３は、再生している動画フレームの画像を、３０フレーム間隔、又は１秒間隔等の一定間隔おきに認識する。この画像を認識する機能は、本発明の画像認識手段に相当する。

そして、ＤＳＰ／ＣＰＵ３は、フレームの画像を認識した結果、その画像に最も適切な曲情報を選択する。なお、現在再生している曲がある場合には、その曲の再生時間が所定時間経過していなければ曲情報の選択を禁止する（禁止手段）。つまり、その曲を再生してから所定時間経過後に曲情報を選択することとなる。また、所定時間経過前であっても、画像認識により画像の内容が現在再生している曲と所定範囲内で一致していないと判断した場合は、曲情報の選択の禁止を解除し、曲情報を選択する。この画像認識に基づいて曲情報を選択する機能は、本発明の選択手段に相当する。また、現在再生している曲の再生時間が所定時間経過したか否かを判断する機能は、本発明の判断手段に相当する。この、「画像認識処理及び曲情報の選択」と「所定範囲内で一致しているか否かの判断」については後で具体的に述べる。

ＤＳＰ／ＣＰＵ３は曲情報を選択すると、選択した曲情報と現在再生している曲の曲情報とが一致するか否かを判断する。この機能は、本発明の一致判断手段に相当する。一致している場合は再生している曲と同じ曲を改めて頭から再生しなおす必要がないので、現在再生している曲の再生を継続する（曲再生手段）。なお、現在再生している曲がない場合は、一致していないと判断する。

一致していない場合は、現在再生している曲の再生を停止し、ＤＳＰ／ＣＰＵ３はタイマーをリセットする。再生する曲が変わるためである。なお、現在再生している曲がない場合は、停止、リセットの処理を行わない。
そして、選択した曲情報に対応する曲を再生し（曲再生手段）、タイマーをスタートさせる。曲の再生時間を計測するためである。これにより、再生時間が所定時間経過したか否かを判断することが可能となる。
そして、選択した動画データの最後のフレームを再生したか否かを判断し、再生していない場合は、本発明の動画再生処理を継続し、最後のフレームを再生している場合には、動画再生処理を終了する。

フラッシュメモリ７、ＲＯＭ８には、ＤＳＰ／ＣＰＵ３の各部に必要な制御プログラム、及び必要なデータ（曲情報等）が記録されており、ＤＳＰ／ＣＰＵ３は、前記プログラムに従い動作することにより、本発明の動画再生手段、画像認識手段、選択手段、判断手段、禁止手段、一致判断手段、曲再生手段として機能する。
また、ＣＣＤ２、ＤＳＰ／ＣＰＵ３、ＴＧ４、ユニット回路５、ＤＲＡＭ６、フラッシュメモリ７、ＲＯＭ８全体で本発明の撮像手段を構成する。

ここで、ＲＯＭ８に格納されている曲情報について説明する。
図２（ａ）は、ＲＯＭ８に記録されている曲情報テーブルの１例を示すものである。
このテーブルには、曲情報１から曲情報３０まで格納されており、曲情報１に近いほどテンポの遅い（穏やかな）曲に対応し、曲情報３０に近いほどテンポの早い（激しい、明るい）曲に対応する。つまり、曲情報番号が小さいほどテンポが遅くなり、曲情報番号が大きいほどテンポが早くなる。
また、図示しないがＲＯＭ８には曲が格納されているテーブルがあり、曲情報と曲は対応するようになっている。

なお、曲情報テーブルはこれに限らず、図２（ｂ）に示すように、海に対応する曲情報（曲情報１、曲情報２）、山に対応する曲情報（曲情報３、曲情報４）、・・・クリスマスに対応する曲情報（曲情報２７、曲情報２８）、運動会に対応する曲情報（曲情報２９、曲情報３０）等、ジャンル別に分けて記録するようにしてもよい。
また、ユーザがフラッシュメモリ７に好みの曲情報及び曲を対応付けて記録するようにしてもよい。

Ｂ．画像認識処理について
ここで画像認識の処理と曲情報の選択について具体的に幾つかの例を説明する。

例１
画像の標準偏差により画像を認識して曲情報を選択する方法
読み込まれた画像は、１ドット３バイトからなり、各バイトはＲＧＢの濃度に対応した値が記憶されている。明暗のはっきりする画像は各ドットの標準偏差が大きく、逆に明暗のはっきりしない画像は各ドットの標準偏差が小さい。
この点に着目して、画像データの全体の標準偏差の値を算出し、この値に対応する曲情報を曲情報テーブルから選択する。具体的には、標準偏差の値が大きいと認識された画像の場合はテンポの早い曲を選択し、逆に標準偏差の値が小さいと認識された画像の場合はテンポの遅い曲を選択する。
つまり、図２（ａ）に示された曲情報１から３０は、標準偏差の値と対応するように記録されている。
なお、ＲＧＢ毎の標準偏差に対応する曲情報テーブルをもち、ＲＧＢ毎に標準偏差の値を算出して、その値に対応する曲情報を選択するようにしてもよい。

例２
画像に含まれる直線の長さの合計により画像を認識して曲情報を選択する方法
建物内やビルで撮られた画像ならば、画像に含まれる直線の長さやその数が多く、森や田舎などで撮られた画像ならば、直線の長さやその数は少ない。
この点に着目して、画像に含まれる直線の長さの合計の値に対応する曲情報を曲情報テーブルから選択する。具体的には、認識された直線の長さの合計が長ければ、テンポの早い曲情報を選択し、認識された直線の長さの合計が短ければ、テンポの遅い曲情報を選択する。
つまり、図２（ａ）に示された曲情報１から３０は、直線の長さの合計の値と対応するように記録されている。

例３
複数枚のフレームの画像から被写体の動きを認識して曲情報を選択する方法
動きのない画像は、直前に認識した画像との差分が０となり、動きがあればあるほど直前に認識した画像との差分が大きくなる。
この点に着目して、直前に認識した画像と現在認識した画像の差分の画像の標準偏差を、画像の動きに対応した値として算出し、その値に対応する曲情報を選択する。この場合は、複数のフレームの画像から値を算出することとなる。
つまり、図２（ａ）に示された曲情報１から３０は、算出された画像の動きに対応した値と対応するように記録されている。

その他
なお、これ以外の方法によっても画像を認識するようにしてもよい。例えば、フレームの画像に何が写っているかを認識して、その認識結果に基づいて曲情報を選択するようにしてもよい。
具体的には、画像認識により海岸を認識した場合は海に対応する曲情報１（図２（ｂ）参照）を選択したり、また、同じ海を認識しても、港を認識した場合は曲情報２を選択する。
また、クリスマスでも、サンタを認識した場合には曲情報２７を選択したり、クリスマスツリーやイルミネーションを認識した場合には曲情報２８を選択する。

Ｃ．所定範囲内で一致しているか否かの判断について
次に、画像認識により画像の内容が現在再生している曲と所定範囲内で一致しているか否かの判断について説明する。
図２（ａ）に示す曲情報１から３０は、先ほども説明したように、画像認識により算出された値に対応するように記録されている。また、図示しないが曲テーブルに記録されている曲は曲情報に対応して記録されている。つまり、記録されている曲は曲１から曲３０までとなる。

所定範囲内で一致しているか否かとは、画像認識により算出された値に対応する曲情報の番号と、現在再生している曲に対応する曲情報の番号との差分が８以上か否かのことをいう。
つまり、画像認識により算出された値に対応する曲情報の番号と、現在再生している曲に対応する曲情報の番号との差分が８以内でなれば所定範囲内で一致していると判断し、差分が８以上であれば所定範囲内で一致していないと判断する。
具体的に説明すると、画像認識により算出した値に対応する曲情報の番号が１０（曲情報１０）として、現在再生している曲に対応する曲情報の番号が１５（曲情報１５）の場合は、差分１５−１０＝５となるので、かかる場合は所定範囲内で一致と判断する。

これに対し、画像認識により算出された値に対応する曲情報の番号が２６（曲情報２６）であり、現在再生している曲に対応する曲情報の番号が１５（曲情報１５）である場合には、差分２６−１５＝１１となるので、かかる場合は一致していないと判断する。
曲情報の番号の差が８以上も異なれば、曲の内容、テンポも著しく異なるからであり、再生している曲と実際に認識した画像の内容にズレが生じるからである。
よって、一致していないと判断した場合には、所定時間経過前であっても直ちに新たな曲情報を選択することとする。

ここでは、差分８を所定範囲と設定しているが、４でも、１０でもよい。
また、ユーザにより所定範囲を任意に設定できるようにしてもよい。
また、図２（ｂ）に示すように、海、山等の被写体のジャンル別に曲情報を分けている場合には、画像認識により海から山を認識した場合には、所定範囲内で一致していないと判断するようにしてもよい。つまり、ジャンルが異なれば、所定範囲内で一致していないと判断する。

Ｄ．デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の動作を図３、図４のフローチャートにしたがって説明する。
ユーザのキー入力部９の操作により動画再生モードに設定されると、ステップＳ１で再生したい動画データの選択が行なわれた否かを判断する。この判断は、キー入力部９から動画データを選択する旨の操作信号が送られてきたか否かにより判断する。動画データが選択された場合はステップＳ２に進み、選択されていない場合には、選択されるまでステップＳ１に留まる。
次いで、ステップＳ２に進むと、画像表示部１０に「“撮影音声”又は“ＢＧＭ”若しくは、“撮影音声及びＢＧＭ”のうちどれか１つを選択してください」というような表示をする。撮影音声とは、動画データの撮影時に音声処理部１１で記録した被写体等の音声をいう。
そして、ユーザにキー入力部９を操作させることにより、「撮影音声」、「ＢＧＭ」、「撮影音声及びＢＧＭ」のいずれかを選択させ、ステップＳ３に進む。

次いで、ステップＳ３で、ＢＧＭが選択されたか否かを判断する。ＢＧＭが選択されたか否かとは、ＢＧＭを含むものも含む。つまり、「ＢＧＭ」、「撮影音声及びＢＧＭ」が選択された場合はＢＧＭが選択されたと判断し、「撮影音声」が選択された場合は、ＢＧＭが選択されていないと判断する。
ＢＧＭが選択された場合はステップＳ４に進み本発明の動画再生処理を行い、ＢＧＭが選択されていない場合はステップＳ２０に進み通常の動画再生処理を行う。

ステップＳ４に進むと、選択された動画データの再生処理を行う。動画再生処理が開始されると、動画データの１フレーム（最初のフレーム）目から順々に再生を行なう。この再生処理は、１フレーム目の画像データから順々に画像データをＤＲＡＭ６に記憶し、該記憶した画像データを画像表示部１０に表示させる。
再生処理が開始されると、ステップＳ５に進み、フレームの画像を認識する。ここでは、動画データの最初のフレーム（１枚目のフレーム）の画像を認識する。
この認識の方法は、画像の標準偏差の値又は画像に含まれる直線の長さの合計の値等を算出することによって行なう。
なお、被写体の動きにより画像を認識する場合には、再生処理が開始された後、複数枚のフレーム画像（例えば、１枚目のフレーム〜９０枚目のフレーム）を認識することになる。また、画像に何が写っているかを認識するようにしてもよい。

次いで、ステップＳ６に進み、該算出した値に基づいて、それに対応する曲情報を図２（ａ）に示してある曲情報テーブルから選択する。ここでは、曲情報１５を選択したものとする。
次いで、ステップＳ７に進み、選択した曲情報１５に対応する曲の再生を行なう。
次いで、ステップＳ８に進み、タイマーをスタートさせる。曲の再生時間を計測するためである。
次いで、ステップＳ９で、画像データのフレームの画像を認識する。この画像認識は、一定間隔おきにフレームの画像を認識する。一定間隔とは、例えば、３０フレーム間隔、又は、１秒間隔等をいう。ステップＳ５で、動画データの１枚目のフレームの画像を認識したので、ここでは、３１枚目のフレームの画像を認識する。
なお、ステップＳ９で被写体の動きにより画像を認識する場合には、一定間隔おきに取得した複数枚のフレーム画像、又は連続する複数枚のフレーム画像を認識することになる。

次いで、ステップＳ１０で、タイマースタートしてから１０秒等の所定時間が経過したか否かを判断する。１０秒等の所定時間が経過していない場合はステップＳ１１に進み、所定時間が経過した場合はステップＳ１２に進む。
所定時間が経過していないと判断し、ステップＳ１１に進むと、画像認識により算出された値が所定範囲内で一致するか否かの判断を行なう。
つまり、画像認識により算出された値に対応する曲情報の番号と、現在再生している曲に対応する曲情報の番号との差分が所定範囲内（８以内）で一致するか否かを判断する。
所定範囲内で一致していると判断するとステップＳ９に戻り、一致していないと判断するとステップ１２に進む。
例えば、所定範囲内で一致していない例として、被写体の動きが激しい動きから急にゆっくりな動きに変化した場合や被写体がビルから山に変わった場合をいう。

なお、ステップＳ９の画像認識により海岸を認識し（曲情報１に対応）、現在再生している曲が港（曲情報２に対応）に関連する曲である場合には、共に海に関連するものなので所定範囲内で一致していると判断し、ステップＳ９の画像認識によりサンタを認識し（曲情報２７に対応）、現在再生している曲が港（曲情報２に対応）に関連する曲である場合には、一致していないと判断するようにしてもよい。
つまり、画像認識により認識されたジャンルと、現在再生している曲に対応する曲情報のジャンルが同じならば所定範囲内で一致と判断し、ジャンルが異なるものであるならば一致していないと判断する。

これにより、原則として、曲を再生してから所定時間は、次の曲情報を選択しないので、曲の頻繁な変更によるユーザが感じる煩わしさ、不快感をなくすことが可能となる。
また、画像認識により認識した画像が曲と一致していないと判断した場合は、変更することによりユーザの違和感をなくすことが可能となる。
ステップＳ９からステップＳ１１までの流れは、原則として、所定時間が経過するまでは、３０フレーム間隔等の一定間隔で画像を認識し、所定時間経過後にステップＳ１２に進む。しかし、一致していないと判断した場合には、所定時間経過前であっても、ステップＳ１２に進む。

ステップＳ１２に進むと、ステップＳ９での画像認識の結果に基づいて曲情報を選択する。この選択は、画像認識処理により算出した値に対応する曲情報を選択する。原則として所定時間経過前は、一定間隔毎に複数の画像を認識しているので、認識した複数の画像により算出された値の平均値に対応する曲情報を選択してもよいし、最後に認識した画像により算出された値に対応する曲情報を選択するようにしてもよい。
なお、被写体の動きにより画像を認識する場合には、所定時間内又は所定範囲内で一致していないと判断される前に認識した一連の画像により算出された値に対応する曲情報を選択することになる。
また、所定範囲内で一致していないと判断された場合は、所定範囲内で一致していないと判断された値に対応する曲情報を選択する。

ステップＳ１３に進むと、現在再生している曲に対応する曲情報１５とステップＳ１２で選択した曲情報とが一致するか否かを判断する。一致する場合には、改めて同じ曲を頭から再生しなおす必要がないので、現在再生している曲の再生を継続すべく、ステップＳ１８に進む。ユーザが違和感を感じるからである。
一方、現在再生している曲に対応する曲情報１５とステップＳ１２で選択した曲情報とが一致していない場合には、ステップＳ１４に進む。

ステップＳ１４に進むと、現在再生している曲の再生を停止し、ステップＳ１５で、タイマーをリセットする。
次いで、ステップＳ１６に進み、ステップＳ１２で選択した曲情報に対応する曲を再生し、ステップＳ１７でタイマーをスタートさせる。新たに選択した曲情報に対応する曲の再生時間を計測するためである。
次いで、ステップＳ１８で最後のフレームまで再生したか否かを判断し、最後のフレームを再生していない場合はステップＳ９に戻り、上記した動作を繰り返す。
一方、最後のフレームを再生している場合はステップＳ１９に進み、動画再生処理を終了する。

Ｅ．このように、本発明の動画再生処理が開始されると、動画データの画像を一定間隔おきに認識し、曲情報を選択する。しかし、現在再生している曲がある場合には、現在再生している曲の再生時間が所定時間経過後、又は、所定時間経過前であって画像認識により画像の内容が再生している曲と一致していないと判断した場合のみ曲情報を選択する。
そして、選択した曲情報と現在再生している曲情報とが一致するか否かを判断し、一致する場合には現在再生している曲の再生を継続し、一致していない場合は現在再生している曲の再生を停止して、該選択した曲情報に対応する曲の再生を開始する。

Ｆ．以上のように、第１の実施の形態においては、動画データの再生にＢＧＭが選択されると、動画データの画像を一定間隔おきに認識し、シーン毎に適切な曲を選択していくので、動画撮影時の状況をより感情的、情緒的に回想することができる。
また、シーン毎に適切な曲を選択してくれるので、ユーザの労力と時間を省くことができる。

また、現在再生している曲がある場合には、該曲の再生時間が所定時間を経過しなければ、新たな曲を選択して再生することがないので、曲の頻繁な切り換わりによるユーザの感じる煩わしさ、不快感をなくすことができる。また、所定時間経過前であっても、画像認識により認識した画像と現在再生している曲とが一致していないと判断した場合は、認識した画像にあった曲を選択して再生するので、ユーザの感じる違和感を回避することができる。さらに、画像認識した画像と現在再生している曲が所定範囲内で一致しているか否かの判断基準をユーザが設定することができるので、ユーザが感じる、煩わしさ、不快感、違和感をさらになくすことができる。
また、現在再生している曲に対応する曲情報と選択した曲情報とが一致するか否かを判断し、一致する場合には現在再生している曲を継続して再生するので、改めて同じ曲を頭から再生する必要がなくなり、ユーザの感じる違和感をなくすことができる。
また、被写体の動き量（変化量）により画像を認識するので、被写体の動きに対して適切な曲情報を選択することができ、さらに、ユーザの興趣を高めることができる。

Ｇ．なお、第１の実施の形態における動画再生装置は、上記実施の形態に限定されるものではなく、携帯電話、ＰＤＡ、デジタルカメラ、パソコン等でもよく、要は動画データを再生することができる機器であれば何でもよい。
また、現在再生している曲を停止するときには、フェードアウトにより終わらせるようにしてもよい。また、これとは逆に、曲情報に対応する曲を再生するときには、フェードインで始めるようにしてもよい。つまり、曲と曲のつなぎ目は、ブチ切りとならずに、フェードアウト・フェードインになる。これにより、ユーザの違和感をなくすことができる。
また、動画再生を開始する際（直前）に、再生対象の動画データに対して画像認識処理を実行し、一番多く選択された曲情報に対応する曲を動画再生時に再生するようにしたり、或いは選択したすべての曲情報を一覧表示させ、ユーザによって指示された曲情報に対応する曲を動画再生時に再生するようにしてもよい。これにより、動画の一連の画像に最も適切、ユーザ好みの曲を再生することができる。

［第２の実施の形態］
次に、第２の実施の形態について説明する。
第２の実施の形態は、動画撮影時にその動画に適切な曲情報を選択し、動画データと共に該選択した曲情報に対応する曲を関連付けて記録するというものである。

Ｈ．デジタルカメラ１の構成
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
第２の実施の形態におけるデジタルカメラ１は、第１の実施の形態と以下の点で構成の機能が異なる。
ＤＳＰ／ＣＰＵ３は、ユーザのキー入力部９の操作により、動画撮影モードに設定すると、ＣＣＤ２による撮像を開始して、撮像された被写体をスルー画像として画像表示部１０に表示させる。そして、ユーザによりシャッターボタンが押下されたか否かを判断する。この判断は、シャッターボタンの押下に対応する操作信号がキー入力部９から送られてきたか否かにより判断する。
ＤＳＰ／ＣＰＵ３はシャッターボタンが押下されたと判断すると、所定のフレームレート（１／３０秒の固定周期）で動画像を撮像し、撮像した動画フレームをＤＲＡＭ６に記憶する動画撮影処理を開始する。

ＤＳＰ／ＣＰＵ３は、一定間隔おきに撮影した動画データのフレーム画像を認識する。一定間隔とは、３０フレーム間隔、又は、１秒間隔等をいう。この画像の認識の方法は、第１の実施の形態で述べたように、画像の標準偏差の値又は画像に含まれる直線の長さの合計の値等を算出することによって行う。この機能は本発明の画像認識手段に相当する。

そして、ＤＳＰ／ＣＰＵ３は、フレームの画像を認識した結果、その画像に最も適切な曲情報を選択する。つまり、画像認識により算出された値に対応する曲情報を選択する。なお、現在ＤＲＡＭ６に記憶（録音）している曲がある場合には、その曲の録音時間が所定時間経過していなければ曲情報の選択を禁止する（禁止手段）。つまり、その曲の録音が開始されてから所定時間経過後に曲情報を選択する。また、所定時間経過前であっても、画像認識により画像の内容が現在録音している曲と所定範囲内で一致していないと判断した場合は、曲情報の選択の禁止を解除し、曲情報を選択する。この画像認識に基づいて曲情報を選択する機能は、本発明の選択手段に相当する。また、現在録音している曲の録音時間が所定時間経過したか否かを判断する機能は、本発明の判断手段に相当する。この「所定範囲内で一致しているか否かの判断」は、第１の実施の形態で述べたのと同様に、画像認識により算出された値に対応する曲情報の番号と現在録音している曲に対応する曲情報の番号との差が８以内か否かにより判断する。

ＤＳＰ／ＣＰＵ３は曲情報を選択すると、該選択した曲情報と現在録音している曲に対応する曲情報とが一致するか否かを判断する。この機能は、本発明の一致判断手段に相当する。一致している場合は選択した曲情報に対応する曲を改めて録音しなおす必要がないので、現在録音している曲の録音を継続する（録音手段）。現在録音している曲がない場合は、一致していないと判断する。
一致していない場合は、現在録音している曲の録音を中止し、タイマーをリセットする。録音する曲が変わるためである。なお、現在録音している曲がない場合は、停止、リセットの処理を行わない。

そして、選択された曲情報に対応する曲をＤＲＡＭ６に録音（録音）し（録音手段）、タイマーをスタートさせる。曲の録音時間を計測するためである。
そして、上記した動作をシャッターボタンが押下されるまで繰り返す。
シャッターボタンが押下されたと判断すると、ＤＲＡＭ６に記憶されている撮像された動画データと該録音した曲とを関連付けてメモリ・カード１３（記録手段）に記録する。この機能は、本発明の記録制御手段に相当する。

Ｉ．デジタルカメラ１の動作
次に、第２の実施の形態におけるデジタルカメラ１の動作を図５、６のフローチャートにしたがって説明する。
ユーザのキー入力部９の操作により動画撮影モードに設定されると、ステップＳ３１で、ＣＣＤ２による撮像を開始して、撮像された被写体をスルー画像として画像表示部１０に表示させる。
次いで、ステップＳ３２で、ユーザのキー入力部９の操作によりシャッターが押下されたか否かを判断する。この判断は、キー入力部９から送られてくる操作信号によって判断する。シャッターが押下された場合はステップＳ３３に進み、押下されていない場合には押下されるまで、ステップＳ３２に留まる。

ステップＳ３３に進むと、所定のフレームレート（１／３０秒の固定周期）で動画像を撮像し、撮像した動画フレームをＤＲＡＭ６に記憶する動画撮影処理を開始する。
次いで、ステップＳ３４で、ＤＲＡＭ６に記憶した動画フレームの画像を認識する。ここでは、１フレーム目の画像を認識する。
この認識の方法は、撮像した１フレーム目の画像の標準偏差の値又は画像に含まれる直線の長さの合計の値等を算出する。
なお、被写体の動きにより画像を認識する場合には、動画撮影処理が開始された後、複数枚のフレーム画像（例えば、１枚目のフレーム〜９０枚目のフレーム）を認識することになる。また、フレームの画像に何が写っていうるかを認識するようにしてもよい。

次いで、ステップＳ３５に進み、該算出した値に基づいて、それに対応する曲情報を図２（ａ）に示してある曲情報テーブルから選択する。ここでは、曲情報１５を選択したものとする。
次いで、ステップＳ３６に進み、選択した曲情報に対応する曲のデータをＤＲＡＭ６に記憶（録音）していき、ステップＳ３７でタイマーをスタートさせる。
次いで、ステップＳ３８に進み、撮像した動画データのフレームの画像を認識する。この認識は、一定間隔おきに撮像したフレームの画像を認識する。一定間隔とは、例えば、３０フレーム間隔、１秒間隔等をいう。ステップＳ３４で、撮像した動画データの１フレーム目の画像を認識したので、ここでは、３１フレーム目の画像を認識する。
なお、ステップＳ３８で被写体の動きにより画像を認識する場合には、一定間隔おきに撮像した複数枚のフレーム画像、又は連続する複数枚のフレーム画像を認識することとなる。

次いで、ステップＳ３９に進み、タイマースタートをしてから１０秒等の所定時間経過したか否かを判断する。所定時間が経過していない場合にはステップＳ４０に進み、所定時間が経過した場合はステップＳ４１に進む。
所定時間が経過していないと判断し、ステップＳ４０に進むと、画像認識により算出された値が所定範囲内で一致するか否かの判断を行う。

第１の実施の形態で説明したのと同様に、所定範囲内で一致するか否かの判断は、画像認識により算出された値に対応する曲情報の番号と現在記憶している曲に対応する曲情報の番号との差が８以内であるか否かを判断する。
なお、画像に写っている被写体を認識する場合には、ステップＳ３８の画像認識により海を認識した場合であって、現在記憶している曲に対応する曲情報が山に対応する曲情報である場合には、ジャンルが異なるので所定範囲内で一致していないと判断するようにしてもよい。
そして、所定範囲内で一致していると判断した場合はステップＳ３８に戻り、一致していないと判断した場合にはステップＳ４１に進む。

ステップＳ４１に進むと、ステップＳ３８の画像認識により算出された値に基づいて曲情報を選択する。原則として、所定時間経過前は、一定間隔おきに複数の画像を認識しているので、認識した複数の画像から算出された値の平均値に対応する曲情報を選択するようにしてもよいし、最後に認識した画像により算出された値に対応する曲情報を選択するようにしてもよい。
なお、被写体の動きにより曲情報を選択する場合は、所定時間内又は所定範囲内で一致していないと判断される前に認識した一連の画像により算出された値に基づいて曲情報を選択する。
所定範囲内で一致していないと判断された場合は、所定範囲内で一致していないと判断された値に対応する曲情報を選択する。

次いで、ステップＳ４２に進み、ステップ４１で選択した曲情報と現在ＤＲＡＭ６に録音している曲に対応する曲情報１５が一致するか否かを判断する。一致している場合には、改めて同じ曲を頭から録音し直す必要がないので、現在録音している曲の録音を継続すべく、ステップＳ４７に進む。ユーザが違和感を感じるためである。
一方、現在記録している曲に対応する曲情報１５とステップＳ４１で選択した曲情報が一致していない場合には、ステップＳ４３に進む。
ステップＳ４３に進むと、現在録音している曲の録音を中止し、ステップＳ４４でタイマーをリセットする。

次いで、ステップＳ４５に進み、ステップＳ４１選択した曲情報に対応する曲を直前までに録音していた曲の後に続けて記録する。
ここでは、録音した曲情報１５に対応する曲の後に続けて該選択した曲情報に対応する曲を録音する。
次いで、ステップＳ４６に進み、タイマーをスタートさせる。該選択した曲情報に対応する曲の録音時間を計測するためである。
次いで、ステップＳ４７に進み、シャッターボタンが押下されたか否かを判断し、押下されていない場合はステップＳ３８に戻り、上記した動作を繰り返す。
一方、シャッターボタンが押下された場合は、ＤＲＡＭ６に記憶した動画データと録音した曲とを関連付けてメモリ・カード１３に記録する。
なお、動画データの中に曲を埋め込むようにしてもよい。つまり動画データと曲とを合成してもよい。

Ｊ．ここで、第２の実施の形態で撮影した動画データの再生処理について簡単に説明する。
第２の実施の形態において、被写体の撮影音声も同時に記録している場合には、動画の再生時に、“撮影音声”又は“ＢＧＭ”又は撮影音声及び“ＢＧＭ”の何れかを動画データと共に再生させるのかをユーザに選択させ、撮影音声が選択された場合には動画データと撮影音声を共に再生し、ＢＧＭが選択された場合には動画データとＢＧＭを共に再生させる。また、撮影音声及びＢＧＭが選択された場合には動画データと共に撮影音声及びＢＧＭを再生させる。このとき、ＢＧＭのボリュームを撮影音声のボリュームより小さくするようにする。
なお、ＢＧＭのボリュームを撮影音声のボリュームより大きくするようにしてもよいし、撮影音声及びＢＧＭのボリュームの比率をユーザが任意に設定することができるようにしてもよい。

Ｋ．このように、動画撮影処理が開始されると、ＤＲＡＭ６に記憶された動画フレームの画像を３０フレーム間隔等の一定間隔おきに認識し、曲情報を選択する。しかし、現在録音している曲がある場合には、現在録音している曲の録音時間が所定時間経過した後、又は、所定時間経過前であって画像認識により画像の内容が現在録音している曲と一致していないと判断した場合のみ、曲情報を選択する。
そして、選択した曲情報と現在録音している曲に対応する曲情報とが一致するか否かを判断し、一致している場合には現在録音している曲の録音を継続し、一致していない場合には現在録音している曲の録音を停止して、該選択した曲情報に対応する曲の録音を開始する。
このような、動作をシャッターボタンが押下されるまで行う。

Ｌ．以上のように第２の実施の形態においては、動画の撮影処理が開始されると、撮像したフレーム毎に画像を認識し、認識結果に基づいて適切な曲を選択して、画像データと曲を関連付けて記録するので、再生時に画像認識処理及び曲情報の選択処理を行わなくてすむ。また、記録した動画データを再生することにより、撮影時の状況をより感情的、情緒的に回想することができる。
また、シーン毎に適切な曲を選択してくれるので、ユーザの労力と時間を省くことができる。また、曲に詳しくないユーザであっても、簡単にシーン毎に適切な曲を付加することができる。
また、被写体の動き量（変化量）により画像を認識するので、被写体の動きに対して適切な曲情報を選択することができ、さらに、ユーザの興趣を高めることができる。

また、動画撮影中に現在再生又は録音している曲がある場合には、現在再生又は録音している曲の再生時間又は録音時間が所定時間を経過していなければ、曲を選択して再生又は録音することがないので、曲の頻繁な切り換わりによるユーザが感じる煩わしさ、不快感をなくすことができる。また、所定時間経過前であっても、画像認識により認識した画像と、現在再生又は録音している曲はマッチしていないと判断した場合は、認識した画像にあった曲を選択して再生又は録音するので、ユーザの感じる違和感をなくすことができる。さらに、画像認識した画像と現在再生等している曲がマッチしていないか否かの判断基準をユーザが設定することができるので、ユーザの感じる、煩わしさ、不快感、違和感をさらになくすことができる。

また、曲情報を選択した場合には、選択した曲情報と現在再生又は録音している曲に対応する曲情報とが一致するか否かを判断し、一致する場合には現在再生又は録音している曲を継続して再生又は録音するので、改めて同じ曲を頭から再生又は録音しなおすことがなくなり、ユーザの感じる違和感をなくすことができる。

Ｍ．なお、撮像した動画データとシーン毎に録音した複数の曲とを関連付けて記録するようにしたが、一番多く選択された曲情報に対応する曲のみを動画データと関連付けて記録するようにしてもよい。これにより、動画データの一連の画像に対して最も適切な曲を記録することができる。
また、選択したすべての曲情報を一覧表示させ、ユーザによって指示された曲情報に対応する曲のみを動画データと関連付けて記録するようにしてもよい。これにより、動画データの一連の画像に対して適切、且つ、ユーザ好みの曲を記録することができる。

また、スルー画像表示のときにも同様に画像を認識し、選択した曲情報に対応する曲を再生するようにしてもよい。また、動画撮影時にも、録音している曲をそのまま再生するようにしてもよい。これにより、撮影時の興趣、その場のムードを高めることができる。
さらに、曲の録音を停止するときにはフェードアウトで終わらせるようにし、曲の録音を開始するときはフェードインで始めるようにしてもよい。これにより、ユーザは違和感、不快感を感じることがない。
また、第２の実施の形態における撮像装置は、上記実施の形態に限定されるものではなく、撮影機能を有した携帯電話及びＰＤＡ、デジタルカメラ、ＣＣＤ付のパソコン等でもよく、要は動画を撮影することができる機器であれば何でもよい。
さらに、動画撮影時のみに限定されず、動画撮影後の任意のタイミング（撮影直後、動画撮影モード解除時、電源オフ時、曲の付加を指示するためのキー操作時等）に動画データに対して画像認識を行い、対応する曲を動画データと関連付けて記録するようにしてもよい。更に、この任意のタイミングにおいて、一番多く選択された曲情報に対応する曲、或いは選択したすべての曲情報を一覧表示させ、ユーザによって指示された曲情報に対応する曲を動画データと関連付けて記録するようにしてもよい。この場合は動画を撮影する機能は必ずしも必要ではなく動画を処理することができる機器であればよい。

本発明の実施の形態のデジタルカメラのブロック図である。 曲情報テーブルを示す図である。 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。 第２の実施の形態のデジタルカメラの動作を示すフローチャートである。 第２の実施の形態のデジタルカメラの動作を示すフローチャートである。

符号の説明

１ デジタルカメラ
２ ＣＣＤ
３ ＤＳＰ／ＣＰＵ
４ ＴＧ
５ ユニット回路
６ ＤＲＡＭ
７ フラッシュメモリ
８ ＲＯＭ
９ キー入力部
１０ 画像表示部
１１ 音声処理部
１２ カードＩ／Ｆ
１３ メモリ・カード

Claims (24)

1. 動画データを再生する動画再生手段と、
   前記動画再生手段により再生された動画データの画像を認識する画像認識手段と、
   前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、
   前記選択手段によって選択された曲情報に対応する曲を再生する曲再生手段と、
   を備えたことを特徴とする動画再生装置。
2. 前記画像認識手段は、
   前記動画再生手段により再生された動画データの画像を一定間隔おきに認識することを特徴とする請求項１記載の動画再生装置。
3. 前記画像認識手段は、
   前記動画再生手段により再生される動画データの画像の動き量（変化量）を認識することを特徴とする請求項１又は２記載の動画再生装置。
4. 前記曲再生手段により再生している曲の再生時間が所定時間を経過したか否かを判断する判断手段と、
   前記判断手段により所定時間を経過していないと判断した場合に、前記選択手段による曲情報の選択を禁止する禁止手段と、
   を備えたことを特徴とする請求項１乃至３の何れかに記載の動画再生装置。
5. 前記判断手段により所定時間経過していないと判断した場合でも、前記画像認識手段により認識された画像が前記曲再生手段により再生されている曲と所定範囲内で一致していないと判断した場合には、前記禁止手段による曲情報の選択の禁止を解除し、
   前記選択手段は、
   前記画像認識手段によって認識された画像に基づいて曲情報を選択することを特徴とする請求項１乃至４の何れかに記載の動画再生装置。
6. 前記選択手段により選択された曲情報と、前記曲再生手段により再生されている曲に対応する曲情報とが一致するか否かを判断する一致判断手段を備え、
   前記曲再生手段は、
   前記一致判断手段により曲情報が一致していないと判断された場合には、再生している曲を停止して前記選択手段により選択された曲情報に対応する曲の再生を開始し、
   前記一致判断手段により曲情報が一致していると判断された場合には、
   再生している曲を継続して再生することを特徴とする請求項１乃至５の何れかに記載の動画再生装置。
7. 前記曲再生手段は、
   前記選択手段によって一番多く選択された曲情報に対応する曲を再生する請求項１記載の動画再生装置。
8. 前記選択手段により選択された複数の曲情報を表示させる表示手段と、
   前記表示手段により表示された複数の曲情報の中からユーザに曲情報を選択させるための曲情報選択手段とを備え、
   前記曲再生手段は、
   前記曲情報選択手段により選択された曲情報に対応する曲を再生することを特徴とする請求項１記載の動画再生装置。
9. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像された動画データの画像を認識する画像認識手段と、
   前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、
   を備えたことを特徴とする撮像装置。
10. 前記画像認識手段は、
    前記撮像手段により撮像された動画データの画像を一定間隔おきに認識することを特徴とする請求項９記載の撮像装置。
11. 前記画像認識手段は、
    前記撮像手段により撮像される動画データの画像の動き量（変化量）を認識することを特徴とする請求項９又は１０記載の撮像装置。
12. 前記選択手段により選択された曲情報に対応する曲を再生する曲再生手段を備えたことを特徴とする請求項９乃至１１の何れかに記載の撮像装置。
13. 前記選択手段により選択された曲情報又は該曲情報に対応する曲と前記撮像手段により撮像された動画データとを関連付けて記録手段に記録する記録制御手段を備えたことを特徴とする請求項９乃至１２の何れかに記載の撮像装置。
14. 前記選択手段により選択された曲情報に対応する曲を録音する録音手段を備え、
    前記記録制御手段は、
    前記録音手段により録音された曲と前記撮像手段により撮像された動画データとを関連付けて前記記録手段に記録することを特徴とする請求項１３記載の撮像装置。
15. 前記曲再生手段により再生している曲の再生時間又は前記録音手段により録音している曲の録音時間が、所定時間を経過したか否かを判断する判断手段と、
    前記判断手段により所定時間経過していないと判断した場合に、前記選択手段による曲情報の選択を禁止する禁止手段と、
    を備えたことを特徴とする請求項９乃至１４の何れかに記載の撮像装置。
16. 前記判断手段により所定時間経過していないと判断した場合でも、前記画像認識手段により認識された画像が、前記曲再生手段により再生している曲又は前記録音手段により録音している曲と所定範囲内で一致していないと判断した場合には、前記禁止手段による曲情報の選択の禁止を解除し、
    前記選択手段は、
    前記画像認識手段によって認識された画像に基づいて曲情報を選択することを特徴とする請求項１５記載の撮像装置。
17. 前記選択手段により選択された曲情報と、前記曲再生手段により再生している曲に対応する曲情報又は前記録音手段により録音している曲に対応する曲情報とが一致するか否かを判断する一致判断手段を備えたことを特徴とする請求項９乃至１６の何れかに記載の撮像装置。
18. 前記曲再生手段により曲を再生している場合において、
    前記曲再生手段は、
    前記一致判断手段により曲情報が一致していないと判断された場合には、再生している曲を停止して前記選択手段により選択された曲情報に対応する曲の再生を開始し、
    前記一致判断手段により一致と判断された場合には、
    再生している曲を継続して再生することを特徴とする請求項１７記載の撮像装置。
19. 前記録音手段により曲を録音している場合において、
    前記録音手段は、
    前記一致判断手段により曲情報が一致していないと判断された場合には、録音している曲を停止して前記選択手段により選択された曲情報に対応する曲の録音を開始し、
    前記一致判断手段により一致と判断された場合には、
    録音している曲を継続して録音することを特徴とする請求項１７又は１８記載の撮像装置。
20. 前記記録制御手段は、
    前記選択手段によって一番多く選択された曲情報又は該曲情報に対応する曲と前記撮像手段によって撮像された動画データとを関連付けて前記記録手段に記録することを特徴とする請求項１３記載の撮像装置。
21. 前記選択手段により選択された複数の曲情報を表示させる表示手段と、
    前記表示手段により表示された複数の曲情報の中からユーザに曲情報を選択させるための曲情報選択手段とを備え、
    前記記録制御手段は、
    前記曲情報選択手段により選択された曲情報又は該曲情報に対応する曲と前記撮像手段により撮像された動画データとを関連付けて前記記録手段に記録することを特徴とする請求項１３記載の撮像装置。
22. 動画データを記録する記録手段と、
    前記記録手段に記録されている動画データの画像を認識する画像認識手段と、
    前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、
    前記選択手段により選択された曲情報又は該曲情報に対応する曲を、前記記録手段に記録されている動画データと関連付けて記録する記録制御手段と、
    を備えたことを特徴とする撮像装置。
23. 動画データを再生する処理と、
    この処理により再生された動画データの画像を認識する処理と、
    この処理によって認識された画像に基づいて曲情報を選択する処理と、
    この処理によって選択された曲情報に対応する曲を再生する処理と、
    を含み、上記各処理をコンピュータで実行させることを特徴とするプログラム
24. 被写体を撮像する処理と、
    この処理により撮像された動画データの画像を認識する処理と、
    この処理によって認識された画像に基づいて曲情報を選択する処理と、
    を含み、上記各処理をコンピュータで実行させることを特徴とするプログラム。
    
    

Images