JP2012093919A - 電子機器、合成画像の出力方法 - Google Patents

Abstract

【課題】デジタルカメラ等で作成された画像素材は、例えばフラッシュ光が使用されたり使用されなかったり等、撮影条件が異なることがある。これらの画像素材をそのまま合成動画に用いるとユーザは違和感を覚えやすいことが課題となっていた。
【解決手段】実施形態の電子機器は、複数の画像素材から予め決められた設定に基づいて画像素材を選択する画像素材選択部を備える。また、前記選択された画像素材の明るさに係る情報を用い、各画像素材の明るさの目標値を算出する目標値算出部を備える。また、前記算出された明るさの目標値と前記選択された各画像素材の明るさを比較し、画像素材の明るさと前記明るさの目標値の差が所定の基準を超えた場合は前記所定の基準を超えた画像素材の明るさを修正する修正部を備える。また、前記明るさが修正された画像素材を含む複数の画像素材を用いた合成動画を生成して出力する合成出力部を備える。
【選択図】 図３

Description

本発明の実施形態は、複数の画像素材から合成された合成画像を出力する電子機器に関する。

近年、例えば、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等の普及に伴い、ユーザが画像素材（写真（静止画）やビデオ（動画）等）を作成し、ＤＶＤレコーダ、ハードディスクレコーダ、パーソナルコンピュータ等に記録する機会が増えている。

そして、ユーザによって作成された複数の画像素材は合成され、合成画像として出力され、画像素材そのものの視聴以外の楽しみ方が提案されている。
しかし、上記ユーザによって作成された画像素材は例えば撮影条件が異なり、必ずしも明るさが同程度ではなくばらつきがあり、合成画像として出力された場合に、ユーザは違和感を覚えることがあるという問題があった。

また、画像素材候補が潤沢でない場合に、明るさが同程度等、撮影条件が近い画像素材だけを使用すると、画像素材が不足する可能性があるという問題があった。

特開２００９−１８８４９４号公報 特開２０１０−１７７７３１号公報

デジタルカメラやデジタルビデオカメラ等を用い、ユーザによって作成され、記録された複数の画像素材は、例えばフラッシュ光が使用されたり使用されなかったり、日光の角度が異なったり等、撮影条件が異なることがある。

これらの画像素材を用いて合成画像を出力表示する場合に、画像素材毎の明るさが異なると、ユーザは違和感を覚えることがある。
特に、画像素材候補が潤沢でない場合に、例えば撮影条件が近い画像素材だけを使用すると画像素材が不足する可能性がある。
また、撮影条件が近い画像素材と撮影条件が異なる画像素材の両者を用いて合成画像を出力表示すれば画像素材不足を解消することができるが、上記のようにユーザは違和感を覚えてしまうという、相反する問題が起こっていた。

このため、画像素材不足とユーザが感じる違和感を低減することという、相反する問題を解消することが課題となっていた。

実施形態の電子機器は、複数の画像素材から予め決められた設定に基づいて画像素材を選択する画像素材選択部を備える。
また、前記選択された画像素材の明るさに係る情報を用い、各画像素材の明るさの目標値を算出する目標値算出部を備える。
また、前記算出された明るさの目標値と前記選択された各画像素材の明るさを比較し、画像素材の明るさと前記明るさの目標値の差が所定の基準を超えた場合は前記所定の基準を超えた画像素材の明るさを修正する修正部を備える。

また、前記明るさが修正された画像素材を含む複数の画像素材を用いた合成動画を生成して出力する合成出力部を備える。

実施形態に係わる電子機器の外観図。 実施形態に係わる電子機器の構成を示すブロック図。 実施形態に係わる電子機器において、合成画像出力に係わる構成の概略を示すブロック図。 実施形態に係わる電子機器において、素材データベースに登録される画像素材の分析情報の一例を示す図。 実施形態に係わる電子機器において、画像素材の明るさを、画像素材の明るさの近似曲線を用いて調整する例を説明する図。 実施形態に係わる電子機器において、画像素材の明るさを、画像素材の明るさの平均値を用いて調整する例を説明する図。 実施形態に係わる電子機器において、画像素材をシーン毎にグループ化し、画像素材を選択する例を説明する図。 実施形態に係わる電子機器において、画像素材を、撮影日時を用いてグループ化し、画像素材を選択する例を説明する図。 実施形態に係わる電子機器において、第１の実施形態に係る動作を説明するフローチャート。 実施形態に係わる電子機器において、第２の実施形態に係る動作を説明するフローチャート。 実施形態に係わる電子機器において、第３の実施形態に係る動作を説明するフローチャート。 実施形態に係わる電子機器において、第４の実施形態に係る動作を説明するフローチャート。 実施形態に係わる電子機器において、第５の実施形態に係る動作を説明するフローチャート。 実施形態に係わる電子機器において、第６の実施形態に係る動作を説明するフローチャート。

以下、図面を参照し、実施の形態を説明する。
図１は、実施形態に係わる電子機器の外観図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ（ノートＰＣ）１０として実現されている。

なお、この実施の形態はパーソナルコンピュータに限られず、ＴＶや携帯電話、携帯型の電子機器に適用することも可能である。
図１に示すように、本電子機器（ノートＰＣ）１０は、コンピュータ（ノートＰＣ）本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。

ディスプレイユニット１２は、コンピュータ（ノートＰＣ）本体１１の上面が露出される開放位置とコンピュータ（ノートＰＣ）本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ（ノートＰＣ）本体１１に取り付けられている。

コンピュータ（ノートＰＣ）本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本電子機器（ノートＰＣ）１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。

また、コンピュータ（ノートＰＣ）本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。

さらに、コンピュータ（ノートＰＣ）本体１１の背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子（図示せず）が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。

図２は、実施形態に係わる電子機器（ノートＰＣ）の構成を示すブロック図である。
本電子機器（ノートＰＣ）１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ（記憶装置））１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。

ＣＰＵ１０１は、本電子機器（ノートＰＣ）１０内の各部の動作を制御するプロセッサである。
ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳを実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本電子機器（ノートＰＣ）１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。
このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ１にデジタル映像信号を送出することもできる。

ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ１にデジタル映像信号を、ＨＤＭＩ端子２を介して送出するためのインタフェースである。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。

さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。

例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ（ノートＰＣ）本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。

ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて本電子機器（ノートＰＣ）１０を電源オン／電源オフする機能を有している。

この実施の形態における表示制御は、例えばＣＰＵ１０１が主メモリ１０３やＨＤＤ１０９等に記録されたプログラムを実行させることにより行われる。
図３は、実施形態に係わる電子機器において、合成画像出力に係わる構成の概略を示すブロック図である。
符号２１は例えばＨＤＤ（記憶装置）１０９で構成される素材供給部である。素材供給部２１には実施の形態に係る合成画像出力に係わる画像素材が記憶され供給される。なお、素材供給部２１は電子機器に内蔵されず、その外部に構成することも可能である。

符号２２は素材分析部である。ここでは、例えばＣＰＵ１０１に構成される。符号２３は例えば主メモリ１０３に構成される素材データベースである。
符号２４はＣＰＵ１０１に制御される素材選択部である。符号２５はＧＰＵ１０５等で構成される合成動画生成部である。符号２６は例えば外部ディスプレイ等で構成される合成動画出力部１である。

この実施の形態において合成動画は、画像素材を使用した例えばスライドショー、ムービー、アルバム、コラージュ等である。
そして、この実施の形態においては、上記素材供給部２１から上記素材分析部２２へ、ユーザが生成または収集した動画や静止画等の合成動画の画像素材が供給される。

素材分析部２２は素材供給部２１から供給された合成動画の画像素材を分析し、図４に示すように、分析した結果を例えば素材データベース２３に格納する。
図４は、実施形態に係わる電子機器において、素材データベースに登録される画像素材の分析情報の一例を示す図である。
ここでは、画像素材の分析情報が素材データベースに登録される。例えば、画像素材１は画像素材URLは「C:\photo\001.jpeg」、画像素材の明るさは「128」、撮影日時は「2010年01月03日10:03:27」である。

同様に、画像素材２は画像素材URLは「C:\photo\002.jpeg」、画像素材の明るさは「90」、撮影日時は「2010年01月03日10:12:03」である。

画像素材３は画像素材URLは「C:\photo\003.jpeg」、画像素材の明るさは「32」、撮影日時は「2010年01月03日10:12:14」。画像素材４は画像素材URLは「C:\photo\004.jpeg」、画像素材の明るさは「101」、撮影日時は「2010年01月03日11:57:42」。画像素材５は画像素材URLは「C:\photo\005.jpeg」、画像素材の明るさは「200」、撮影日時は「2010年01月10日08:37:29」。画像素材６は画像素材URLは「C:\photo\006.jpeg」、画像素材の明るさは「68」、撮影日時は「2010年01月10日08:52:51」。画像素材７は画像素材URLは「C:\photo\007.jpeg」、画像素材の明るさは「78」、撮影日時は「2010年01月10日08:53:53」である。

そして、素材選択部２４は、素材データベース２３から取り出した画像素材の分析情報を用い、合成動画に使用する画像素材を選択する。そして、選択結果を合成動画生成部２５に通知する。

ここで、上記画像素材の選択とは例えば、作成又は修正された時刻が近い画像をグループ化し、時刻を考慮した検索を行い画像素材の選択を行うことである。また、画像の大きさ、分類属性、注目度等を検索キーとして画像を検索し、選択を行うことができる。

合成動画生成部２５は、画像素材の選択結果を受け付けると、例えば、合成動画で使用する全ての画像素材の明るさの情報を、素材データベース２４から取り出す。ここで、画像素材の明るさは、例えば最小値０から最大値２５５というようにデジタルデータの程度で表される。

＜実施例１＞
図５は、実施形態に係わる電子機器において、画像素材の明るさを、画像素材の明るさの近似曲線を用いて調整する例を説明する図である。
この実施の形態においては、素材データベース２４から取り出された各画像素材の明るさの情報を用い、例えば図５に示すように、１つの合成画像に同時に、または合成画像に連続して使用される画像素材の明るさの近似曲線を作成する。この近似曲線は例えば最小二乗法を用い、作成される。

符号２０は、近似曲線で表現される、再生位置毎の明るさの目標値である。ここでは、この作成された近似曲線を用い、各画像素材の再生位置における明るさの目標値とする。

この算出された各画像素材の再生位置における明るさの目標値に対し、予め設定された割合（例えば２０）以上離れた点に示される画像素材の明るさを、明るさの目標値２０に近づけるように、予め設定された割合の範囲（例えば５０）内で調整し、合成動画を生成する。そして、生成された合成動画を、合成動画出力部２６に送出する。

ここでは、例えば、符号４４を付した画像N（再生位置N）は予め設定された割合（例えば２０）以上離れているためこの目標値に近づける。
符号４１を付した画像N-3（再生位置N-3）、符号４２を付した画像N-2（再生位置N-2）、符号４３を付した画像N-1（再生位置N-1）、符号４５を付した画像N+1（再生位置N+1）、符号４６を付した画像N+２（再生位置N+2）は予め設定された割合（例えば２０）以上離れていないため、特に目標値に近づける動作は行わない。

この合成動画出力部２６は、上記生成され、入力された合成動画を電子機器の表示画面（ＬＣＤ）１７やファイルへ出力する。なお、再生位置毎の値は、必ずしも異ならず、全ての再生位置で等しい場合がある。

＜実施例２＞
図６は、実施形態に係わる電子機器において、画像素材の明るさを、画像素材の明るさの平均値を用いて調整する例を説明する図である。
上記と同様の構成については同一の符号を付し、説明を省略する。
上記と同様に、素材供給部２１から素材分析部２２へ合成動画の画像素材が供給される。そして、素材分析部２２は、分析結果を図４に示す素材データベース２３に格納する。素材選択部２４は、素材データベース２３から取り出した画像素材の分析情報を用い、合成動画に使用する画像素材を選択し、選択結果を合成動画生成部２５に通知する。

合成動画生成部２５は、上記画像素材の選択結果を受け付けると、合成動画で使用する画像素材の明るさの情報を素材データベース２４から取り出し、例えば図６に示すように、上記のように合成画像で使用される画像素材の明るさの平均値を算出する。

符号３０は、平均値で表現される、再生位置毎の明るさの目標値である。ここでは、この作成された平均値を用い、各画像素材の再生位置における明るさの目標値とする。

ここでも上記と同様に、この算出された各画像素材の再生位置における明るさの目標値に対し、予め設定された割合（例えば５０）以上離れた点に示される画像素材の明るさを、明るさの目標値３０に近づけるように、予め設定された割合の範囲（例えば２０）内で調整し、合成動画を生成する。そして、生成された合成動画を、合成動画出力部２６に送出する。

この算出された各画像素材の再生位置における明るさの目標値に対し、予め設定された割合（例えば２０）以上離れた点に示される画像素材の明るさを、目標値に近づけるように、予め設定された割合の範囲（例えば５０）内で調整し、合成動画を生成する。そして、生成された合成動画を、合成動画出力部２６に送出する。

ここでも同様に、例えば、符号４４を付した画像N（再生位置N）は予め設定された割合（例えば２０）以上離れているためこの目標値に近づける。
符号４１を付した画像N-3（再生位置N-3）、符号４２を付した画像N-2（再生位置N-2）、符号４３を付した画像N-1（再生位置N-1）、符号４５を付した画像N+1（再生位置N+1）、符号４６を付した画像N+２（再生位置N+2）は予め設定された割合（例えば２０）以上離れていないため、特に目標値に近づける動作は行わない。

＜実施例３＞
図７は、実施形態に係わる電子機器において、画像素材をシーン毎にグループ化し、画像素材を選択する例を説明する図である。
ここでも上記と同様の構成については同一の符号を付し、説明を省略する。
また上記と同様に、素材供給部２１から素材分析部２２へ合成動画の画像素材が供給される。そして、素材分析部２２は、分析結果を図４に示す素材データベース２３に格納する。素材選択部２４は、素材データベース２３から取り出した画像素材の分析情報を用い、合成動画に使用する画像素材を選択し、選択結果を合成動画生成部２５に通知する。

この実施の形態においては、合成動画生成部２５は、画像素材の選択結果を受け付けると、例えば図７に示すように、各画像素材を合成動画のいずれのシーンで使用するかを決定する。ここでは、符号５１はシーンＮ、ここでは「クラッカーから複数の写真が出てくるシーン」である。このシーンで使用される画像素材は図に示される１、２、３、４である。

また、符号５２はシーンＮ＋１、ここでは「花火から複数の写真が出てくるシーン」である。このシーンで使用される画像素材は図に示される１、２、３である。符号５３はシーンＮ＋２、ここでは「複数の写真が飛び出してくるシーン」である。このシーンで使用される画像素材は図に示される１、２、３である。

次に、合成動画生成部２５は、上記決定された合成動画のシーン毎に、画像素材の明るさの情報を素材データベース２４から取り出す。
そして、例えば上記図５と同様に、画像素材の明るさの近似曲線と再生位置毎の値から再生位置毎の明るさの目標値を算出し、算出された再生位置毎の明るさの目標値から予め設定された割合以上離れた点を予め設定された割合の範囲内で、目標値に近づけるように合成動画を生成し、生成した合成動画を、合成動画出力部２６に送出する。そして、合成動画出力部２６は、シーン毎に入力された合成動画を、電子機器の表示画面１７やファイルへ出力する。

＜実施例４＞
図８は、実施形態に係わる電子機器において、画像素材を、撮影日時を用いてグループ化し、画像素材を選択する例を説明する図である。
ここでも上記と同様の構成については同一の符号を付し、説明を省略する。
また上記と同様に、素材供給部２１から素材分析部２２へ合成動画の画像素材が供給される。そして、素材分析部２２は、分析結果を図４に示す素材データベース２３に格納する。素材選択部２４は、素材データベース２３から取り出した画像素材の分析情報を用い、合成動画に使用する画像素材を選択し、選択結果を合成動画生成部２５に通知する。

この実施の形態においては、合成動画生成部２５は、画像素材の選択結果を受け付けると例えば図８に示すように、各画像素材を撮影日時の近いものが同じグループとなるようにグループに分割する。

次に、合成動画生成部２５は撮影日時グループ毎に、画像素材の明るさの情報を素材データベース２４から取り出し、上記図５と同様に、撮影日時が同時または撮影日時が連続する画像素材の明るさの近似曲線と再生位置毎の値から、再生位置毎の明るさの目標値を算出する。そして上記と同様に、再生位置毎の明るさの目標値から予め設定された割合以上離れた点を目標値に近づけるように、該当する画像素材の明るさを予め設定された割合の範囲内で調整した上で合成動画を生成し、生成した合成動画を合成動画出力部２６に送出する。

上記と同様に、合成動画２６は入力された合成動画を、電子機器の表示画面１７やファイルへ出力する。
＜実施例５＞
この実施の形態においては、図７と同様に画像素材をシーン毎にグループ化し、画像素材を選択する。また、図５と同様に、シーン毎にグループ化された画像素材の明るさの平均値と再生位置毎の値から再生位置毎の明るさの目標値を算出する。

ここでも上記と同様の構成については同一の符号を付し、説明を省略する。
また上記と同様に、素材供給部２１から素材分析部２２へ合成動画の画像素材が供給される。そして、素材分析部２２は、分析結果を図４に示す素材データベース２３に格納する。素材選択部２４は、素材データベース２３から取り出した画像素材の分析情報を用い、合成動画に使用する画像素材を選択し、選択結果を合成動画生成部２５に通知する。

上記と同様に、合成動画生成部２５は、画像素材の選択結果を受け付けると、図７と同様に、各画像素材を合成動画のいずれのシーンで使用するかを決定する。
次に、合成動画生成部２５は、合成動画のシーン毎に、画像素材の明るさの情報を、素材データベース２４から取り出し、図６と同様に、同時または連続して使用される画像素材の明るさの平均値から各画像素材の目標値を算出し、目標値から予め設定された割合以上離れた点に相当する画像素材の明るさを目標値に近づけるように、予め設定された割合の範囲内で調整し、合成動画を生成して合成動画出力部２６に送出する。

上記と同様に、合成動画２６は入力された合成動画を合成動画生成装置の表示画面やファイルへ出力する。
＜実施例６＞
この実施の形態においては、図８と同様に画像素材を、撮影日時を用いてグループ化し、選択する。また、図６と同様に、撮影日時を用いてグループ化された画像素材の明るさの平均値と再生位置毎の値から再生位置毎の明るさの目標値を算出する。

ここでも上記と同様の構成については同一の符号を付し、説明を省略する。
また上記と同様に、素材供給部２１から素材分析部２２へ合成動画の画像素材が供給される。そして、素材分析部２２は、分析結果を図４に示す素材データベース２３に格納する。素材選択部２４は、素材データベース２３から取り出した画像素材の分析情報を用い、合成動画に使用する画像素材を選択し、選択結果を合成動画生成部２５に通知する。

上記と同様に、合成動画生成部２５は、画像素材の選択結果を受け付けると、例えば図８と同様に、各画像素材を、撮影日時の近いものが同じグループとなるように、グループに分割する。

次に、合成動画生成部２５は、画像素材の明るさの情報を素材データベース２４から取り出し、例えば図６と同様に、合成動画に連続して使用される画像素材の明るさの平均値から、各画像素材の目標値を算出し、目標値から予め設定された割合以上離れた点に相当する画像素材の明るさを目標値に近づけるように、予め設定された割合の範囲内で調整し、合成動画を生成し、合成動画出力部２６に送出する。

合成動画２６は、入力された合成動画を、合成動画生成装置の表示画面やファイルへ出力する。
上記のように構成することにより、この実施の形態に係る電子機器は、合成動画で、明るさがチグハグな画像素材が連続表示されることによる不均一観を低減することが可能になる。

また、この実施の形態に係る電子機器は、画像素材の切り捨てを目的にしておらず、むしろ選択された画像素材をできるだけ良い常態で表示できるようにしているので画像素材の不足を防止することが可能となる。

また、例えば合成動画生成装置が、合成動画の、撮影日時が近い画像素材の明るさを使用し、目標値から予め設定された割合以上離れている画像素材の明るさを目標値に近づくように、調整するので、例えばストロボ使用有無や撮影モード設定にミスがある画像素材を、適切に補正し、合成動画に使用することが可能となる。

図９は、実施形態に係わる電子機器において、第１の実施形態に係る動作を説明するフローチャートである。
符号Ｓ１００は、ここでの開始ステップである。続いて符合Ｓ１０１を付したステップへ進む。
符号Ｓ１０１は、素材供給部２１から素材分析部２２に合成動画の画像素材を供給するステップである。続いて符合Ｓ１０２を付したステップへ進む。
符号Ｓ１０２は、素材分析部２２が画像素材を分析するステップである。続いて符合Ｓ１０３を付したステップへ進む。
符号Ｓ１０３は、分析結果（図４）を素材データベース２３に格納するステップである。続いて符合Ｓ１０４を付したステップへ進む。
符号Ｓ１０４は、素材選択部２４は、素材データベース２３に格納された分析結果を用いて画像素材を選択し、選択結果を合成動画生成部２５に通知するステップである。続いて符合Ｓ１０５を付したステップへ進む。

符号Ｓ１０５は、合成動画生成部２５は、通知結果に基づいて合成動画で使用する全ての画像素材の明るさ情報を素材データベース２３から取り出し、画像再生位置毎の明るさの目標値を算出（図５の近似曲線）するステップである。続いて符合Ｓ１０６を付したステップへ進む。

符号Ｓ１０６は、明るさの目標値から予め設定された程度以上離れた明るさの再生位置の画像の明るさの値を、明るさの目標値に近づくように修正し、記録するステップである。続いて符合Ｓ１０７を付したステップへ進む。

符号Ｓ１０７は、修正された明るさの値に基づいて合成画像を生成するステップである。続いて符合Ｓ１０８を付したステップへ進む。
符号Ｓ１０８は、合成動画出力部２６に明るさが修正された合成画像を出力表示するステップである。続いて符合Ｓ１０９を付したステップへ進む。
符号Ｓ１０９は、終了ステップであり、ここでの処理は終了する。
図１０は、実施形態に係わる電子機器において、第２の実施形態に係る動作を説明するフローチャートである。
符号Ｓ２０１は、素材供給部２１から素材分析部２２に合成動画の画像素材を供給するステップである。続いて符合Ｓ２０２を付したステップへ進む。
符号Ｓ２０２は、素材分析部２２は画像素材を分析するステップである。続いて符合Ｓ２０３を付したステップへ進む。
符号Ｓ２０３は、各画像素材の明るさ情報を含む分析結果（図４）を素材データベース２３に格納するステップである。続いて符合Ｓ２０４を付したステップへ進む。

符号Ｓ２０４は、素材選択部２４は、素材データベース２３に格納された分析結果を用いて画像素材を選択し、選択結果を合成動画生成部２５に通知するステップである。続いて符合Ｓ２０５を付したステップへ進む。

符号Ｓ２０５は、合成動画生成部２５は、通知結果に基づいて合成動画で使用する全ての画像素材の明るさ情報を素材データベース２３から取り出し、画像再生位置毎の明るさの目標値を算出（図６の平均値）するステップである。続いて符合Ｓ２０６を付したステップへ進む。

符号Ｓ２０６は、明るさの目標値から予め設定された程度以上離れた明るさの再生位置の画像の明るさの値を、明るさの目標値に近づくように修正し、記録するステップである。続いて符合Ｓ２０７を付したステップへ進む。

符号Ｓ２０７は、修正された明るさの値に基づいて合成画像を生成するステップである。続いて符合Ｓ２０８を付したステップへ進む。
符号Ｓ２０８は、合成動画出力部２６に明るさが修正された合成画像を出力表示するステップである。続いて符合Ｓ２０９を付したステップへ進む。
符号Ｓ２０９は、終了ステップであり、ここでの処理は終了する。
図１１は、実施形態に係わる電子機器において、第３の実施形態に係る動作を説明するフローチャートである。
符号Ｓ３００は、ここでの開始ステップである。続いて符合Ｓ３０１を付したステップへ進む。
符号Ｓ３０１は、素材供給部２１から素材分析部２２に合成動画の画像素材を供給するステップである。続いて符合Ｓ３０２を付したステップへ進む。
符号Ｓ３０２は、素材分析部２２は画像素材を分析するステップである。続いて符合Ｓ３０３を付したステップへ進む。
符号Ｓ３０３は、各画像素材の明るさ情報を含む分析結果（図４）を素材データベース２３に格納するステップである。続いて符合Ｓ３０４を付したステップへ進む。

符号Ｓ３０４は、素材選択部２４は、素材データベース２３に格納された分析結果を用いて画像素材を選択し、選択結果を合成動画生成部２５に通知するステップである。続いて符合Ｓ３０５を付したステップへ進む。

符号Ｓ３０５は、合成動画生成部２５は、各画像素材を、合成画像のどのシーンで使用するか決定するステップである（図７）。続いて符合Ｓ３０６を付したステップへ進む。

符号Ｓ３０６は、シーン毎に画像素材の明るさ情報を素材データベース２３から取り出し、画像再生位置毎の明るさの目標値を算出（図５の近似曲線）するステップである。続いて符合Ｓ３０７を付したステップへ進む。

符号Ｓ３０７は、明るさの目標値から予め設定された程度以上離れた明るさの再生位置の画像の明るさの値を、明るさの目標値に近づくように修正し、記録するステップで

ある。続いて符合Ｓ３０８を付したステップへ進む。
符号Ｓ３０８は、修正された明るさの値に基づいて合成画像を生成するステップである。続いて符合Ｓ３０９を付したステップへ進む。
符号Ｓ３０９は、合成動画出力部２６に明るさが修正された合成画像を出力表示するステップである。続いて符合Ｓ３１０を付したステップへ進む。
符号Ｓ３１０は、終了ステップであり、ここでの処理は終了する。
図１２は、実施形態に係わる電子機器において、第４の実施形態に係る動作を説明するフローチャートである。
符号Ｓ４００は、ここでの開始ステップである。続いて符合Ｓ４０１を付したステップへ進む。
符号Ｓ４０１は、素材供給部２１から素材分析部２２に合成動画の画像素材を供給するステップである。続いて符合Ｓ４０２を付したステップへ進む。
符号Ｓ４０２は、素材分析部２２は画像素材を分析するステップである。続いて符合Ｓ４０３を付したステップへ進む。
符号Ｓ４０３は、各画像素材の明るさ情報を含む分析結果（図４）を素材データベース２３に格納するステップである。続いて符合Ｓ４０４を付したステップへ進む。

符号Ｓ４０４は、素材選択部２４は、素材データベース２３に格納された分析結果を用いて画像素材を選択し、選択結果を合成動画生成部２５に通知するステップである。続いて符合Ｓ４０５を付したステップへ進む。

符号Ｓ４０５は、合成動画生成部２５は、撮影日時の近いものが同じグループとなるようにグループに分割するステップである（図８）。続いて符合Ｓ４０６を付したステップへ進む。

符号Ｓ４０６は、グループ毎に画像素材の明るさ情報を素材データベース２３から取り出し、画像再生位置毎の明るさの目標値を算出するステップである（図５の近似曲線）。続いて符合Ｓ４０７を付したステップへ進む。

符号Ｓ４０７は、明るさの目標値から予め設定された程度以上離れた明るさの再生位置の画像の明るさの値を、明るさの目標値に近づくように修正し、記録するステップである。続いて符合Ｓ４０８を付したステップへ進む。

符号Ｓ４０８は、修正された明るさの値に基づいて合成画像を生成するステップである。続いて符合Ｓ４０９を付したステップへ進む。
符号Ｓ４０９は、合成動画出力部２６に明るさが修正された合成画像を出力表示するステップである。続いて符合Ｓ４１０を付したステップへ進む。
符号Ｓ４１０は、終了ステップであり、ここでの処理は終了する。
図１３は、実施形態に係わる電子機器において、第５の実施形態に係る動作を説明するフローチャートである。
符号Ｓ５００は、ここでの開始ステップである。続いて符合Ｓ５０１を付したステップへ進む。
符号Ｓ５０１は、素材供給部２１から素材分析部２２に合成動画の画像素材を供給するステップである。続いて符合Ｓ５０２を付したステップへ進む。
符号Ｓ５０２は、素材分析部２２は画像素材を分析するステップである。続いて符合Ｓ５０３を付したステップへ進む。
符号Ｓ５０３は、各画像素材の明るさ情報を含む分析結果（図４）を素材データベース２３に格納するステップである。続いて符合Ｓ５０４を付したステップへ進む。

符号Ｓ５０４は、素材選択部２４は、素材データベース２３に格納された分析結果を用いて画像素材を選択し、選択結果を合成動画生成部２５に通知するステップである。続いて符合Ｓ５０５を付したステップへ進む。

符号Ｓ５０５は、合成動画生成部２５は、各画像素材を、合成画像のどのシーンで使用するか決定するステップである（図７）。続いて符合Ｓ５０６を付したステップへ進む。

符号Ｓ５０６は、シーン毎に画像素材の明るさ情報を素材データベース２３から取り出し、画像再生位置毎の明るさの目標値を算出するステップである（図６の平均値）。続いて符合Ｓ５０７を付したステップへ進む。

符号Ｓ５０７は、明るさの目標値から予め設定された程度以上離れた明るさの再生位置の画像の明るさの値を、明るさの目標値に近づくように修正し、記録するステップである。続いて符合Ｓ５０８を付したステップへ進む。

符号Ｓ５０８は、修正された明るさの値に基づいて合成画像を生成するステップである。続いて符合Ｓ５０９を付したステップへ進む。
符号Ｓ５０９は、合成動画出力部２６に明るさが修正された合成画像を出力表示するステップである。続いて符合Ｓ５１０を付したステップへ進む。
符号Ｓ５１０は、終了ステップであり、ここでの処理は終了する。
図１４は、実施形態に係わる電子機器において、第６の実施形態に係る動作を説明するフローチャートである。
符号Ｓ６０１は、ここでの開始ステップである。続いて符合Ｓ６０１を付したステップへ進む。
符号Ｓ６０１は、素材供給部２１から素材分析部２２に合成動画の画像素材を供給するステップである。続いて符合Ｓ６０２を付したステップへ進む。
符号Ｓ６０２は、素材分析部２２は画像素材を分析するステップである。続いて符合Ｓ６０３を付したステップへ進む。
符号Ｓ６０３は、各画像素材の明るさ情報を含む分析結果（図４）を素材データベース２３に格納するステップである。続いて符合Ｓ６０４を付したステップへ進む。

符号Ｓ６０４は、素材選択部２４は、素材データベース２３に格納された分析結果を用いて画像素材を選択し、選択結果を合成動画生成部２５に通知するステップである。続いて符合Ｓ６０５を付したステップへ進む。

符号Ｓ６０５は、合成動画生成部２５は、撮影日時の近いものが同じグループとなるようにグループに分割するステップである（図８）。続いて符合Ｓ６０６を付したステップへ進む。

符号Ｓ６０６は、グループ毎に画像素材の明るさ情報を素材データベース２３から取り出し、画像再生位置毎の明るさの目標値を算出するステップである（図５の近似曲線）。続いて符合Ｓ６０７を付したステップへ進む。

符号Ｓ６０７は、明るさの目標値から予め設定された程度以上離れた明るさの再生位置の画像の明るさの値を、明るさの目標値に近づくように修正し、記録するステップである。続いて符合Ｓ６０８を付したステップへ進む。

符号Ｓ６０８は、修正された明るさの値に基づいて合成画像を生成するステップである。続いて符合Ｓ６０９を付したステップへ進む。
符号Ｓ６０９は、合成動画出力部２６に明るさが修正された合成画像を出力表示するステップである。続いて符合Ｓ６１０を付したステップへ進む。
符号Ｓ６１０は、終了ステップであり、ここでの処理は終了する。
すなわち、上記実施の形態においては、実施形態の電子機器は、複数の画像素材（図４）から予め決められた設定に基づいて画像素材を選択する画像素材選択部（図３）を備える。例えば、作成又は修正された時刻が近い画像をグループ化し、時刻を考慮した検索を行い、画像素材を選択する。また、画像の大きさ、分類属性、注目度等を検索キーとして画像を検索し、選択することも可能である。

また、前記選択された画像素材の明るさに係る情報（図４）を用い、各画像素材の明るさの目標値を算出する目標値算出部を備える（図３）。
また、前記算出された明るさの目標値と前記選択された各画像素材の明るさを比較し、画像素材の明るさと前記明るさの目標値の差が所定の基準を超えた場合は前記所定の基準を超えた画像素材の明るさを修正する修正部を備える（図３）。

また、前記明るさが修正された画像素材を含む複数の画像素材を用いた合成動画を生成して出力する合成出力部を備える（図３）。
上記のように構成することによって、この発明の実施の形態においては、撮影条件が異なる画像素材を用いて合成画像を出力し、画像素材不足の解消とユーザが感じる違和感の低減を両立させた電子機器を提供することが可能になる。

なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。

２１…素材供給部、２２…素材分析部、２３…素材データベース、２４…素材選択部、２５…合成動画生成部、２６…合成動画出力部。

Claims (7)

1. 複数の画像素材から予め決められた設定に基づいて画像素材を選択する画像素材選択部と、
   前記選択された画像素材の明るさに係る情報を用い、各画像素材の明るさの目標値を算出する目標値算出部と、
   前記算出された明るさの目標値と前記選択された各画像素材の明るさを比較し、画像素材の明るさと前記明るさの目標値の差が所定の基準を超えた場合は前記所定の基準を超えた画像素材の明るさを修正する修正部と、
   前記明るさが修正された画像素材を含む複数の画像素材を用いた合成動画を生成して出力する合成出力部を備える電子機器。
2. 前記所定の基準を超えた画像素材の明るさの修正は、電子機器内部に設けられた記憶部にこの修正に係る修正値を記憶し、この修正値に基づいて明るさの修正が行われる請求項１に記載の電子機器。
3. 前記明るさの目標値は前記画像素材の明るさに係る情報に基づく近似曲線である請求項１に記載の電子機器。
4. 前記明るさの目標値は前記画像素材の明るさに係る情報に基づく平均値である請求項１に記載の電子機器。
5. 前記画像素材の選択は、画像素材をシーン毎にグループ化する手段を含み、前記グループ毎に画像素材の明るさが修正される請求項１に記載の電子機器。
6. 前記画像素材の選択は、画像素材を撮影日または時間毎にグループ化する手段を含み、前記グループ毎に画像素材の明るさが修正される請求項１に記載の電子機器。
7. 複数の画像素材から予め決められた設定に基づいて画像素材を選択するステップと、
   前記選択された画像素材の明るさに係る情報を用い、各画像素材の明るさの目標値を算出するステップと、
   前記算出された明るさの目標値と前記選択された各画像素材の明るさを比較し、画像素材の明るさと前記明るさの目標値の差が所定の基準を超えた場合は前記所定の基準を超えた画像素材の明るさを修正するステップと、
   前記明るさが修正された画像素材を含む複数の画像素材を用いた合成動画を生成して出力するステップを備える合成画像の出力方法。

Images