JP2013042214A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】 平易な操作によって、フラッシュバックやフラッシュフォワードなどの編集を行う。
【解決手段】 映像を選択する選択手段と、前記選択手段によって選択された映像から特徴シーン、目の開くシーン、目の閉じるシーンを検出する検出手段と、前記検出された特徴シーンを、前記検出された目の閉じるシーンあるいは目の開くシーンの後に挿入する挿入手段とを備える。
【選択図】 図１

Description

本発明は、フラッシュバック、フラッシュフォワードなどの画像の編集を行う技術に関する。

従来、ビデオカメラで撮影した映像を編集する場合、時間軸に沿って不要・冗長なシーンをカットする編集方法が一般的である。一方、時間軸を変更した編集方法として、劇や映画等で用いられているフラッシュバック、フラッシュフォワードなどがある。フラッシュバックとは映像に過去の場面を挿入する手法であり、フラッシュフォワードは未来の場面を挿入する手法である。ただ、これらの手法を使った編集では、前後の映像との対応関係に基づいた編集をおこなう必要があり、一般ユーザによる編集では不自然さを感じることがあった。なお、フラッシュバック効果を用いた編集方法としては、あらかじめ撮影した動画の途中から、撮影した動画データを入力する方法（特許文献１）や、既に記録されている画像を撮影中の動画に組み合わせるなどの方法（特許文献２）が知られている。

特開２００６−３４０３８１号公報 特開２００８−２８８８３０号公報

従来、フラッシュバックやフラッシュフォワードなどの編集手法を用いて、時間順に基づかない映像を作成するためには、煩雑な操作が必要であった。
本発明は上記従来例に鑑みてなされたものであり、平易な操作によって、フラッシュバックやフラッシュフォワードなどの編集が行えることを主な目的とする。

上記課題を解決するために、本発明の画像処理装置によれば、映像を選択する選択手段と、前記選択手段によって選択された映像から特徴シーン、目の開くシーン、目の閉じるシーンを検出する検出手段と、前記検出された特徴シーンを、前記検出された目の閉じるシーンあるいは目の開くシーンの後に挿入する挿入手段とを備えることを特徴とする。

本発明によれば、平易な操作によって、フラッシュバックやフラッシュフォワードなどの編集が行える。

システムの構成を示すブロック図 処理の概要を示すフローチャート 画像処理装置を説明する図 映像の指定を説明する図 特徴的シーンと目の開閉シーンの検出処理を示すフローチャート 映像の検出結果を示す図 フィードバック映像、フィードフォワード映像を作成するフローチャート フィードバック映像、フィードフォワード映像の例

以下、図面を用いて本発明を具体的に説明する。

＜実施例１＞
図１は、本実施例に適用可能な画像処理装置のブロック図である。撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサなどから構成され、被写体の光量を検知する。Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、上記デジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、デジタル画像を生成する。Ｄ／Ａ変換部１０４は、上記デジタル画像に対しアナログ変換を行う。エンコーダ部１０５は、上記デジタル画像をＪＰＥＧ・ＭＰＥＧ・Ｈ．２６４などのファイルフォーマットに変換する処理を行う。メディアインターフェース１０６は、ＰＣその他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。ＣＰＵ１０７は、各構成の処理全てに関わり、ＲＯＭ１０８やＲＡＭ１０９に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０７に提供する。撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、ＣＰＵ１０７から指示された撮像系の制御を行う。操作部１１１は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。キャラクタージェネレーション１１２は、文字やグラフィックなどを生成する。表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１１０やＤ／Ａ変換部１１１から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部１０９の入力として扱うことも可能である。なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

まず、本実施例における画像処理装置の概要について説明する。本実施例で説明する画像処理装置は、映像をユーザに指定させて編集時にフラッシュバック効果、フラッシュフォワード効果を用いた映像の生成を行う。以下、図面を用いて上記の機能について説明する。

図２は、本実施例における画像処理装置が行う基本的な処理の流れを示すフローチャートである。なお、図２以降のフローチャートで示す各処理は、図１の画像処理装置に含まれる各処理部がハードウェア処理として実行しても良い。また、コンピュータプログラムを用いてＣＰＵや記憶媒体などが協働してソフトウェア処理として実行しても良い。図２がハードウェア処理として実行される場合には、それを実行する画像処理装置には各種手段が内在すると解釈でき、ソフトウェア処理として実行される場合には、各種工程が内在すると解釈できる。

まず、ステップＳ２０１で処理を開始する。次に、ステップＳ２０２で映像の選択指定をおこなう。次に、ステップＳ２０３で選択指定された映像の解析をおこなう。次に、ステップＳ２０４で映像の編集を行う。最後に、ステップＳ２０５で処理を終了する。
まず、ステップＳ２０１の処理の開始について、図３を用いて説明する。図３はビデオカメラの概観である。３０１は撮影開始・終了ボタンであり、ユーザがボタンを押すと撮影を開始し、もう一度押すと撮影を終了する。３０２はフラッシュバック、フラッシュフォワード編集モードの開始ボタンである。ユーザがボタンを押すとフラッシュバック、フラッシュフォワード編集を開始する。３０３は表示部であり、撮影画像や文字の表示を行い、タッチスクリーン機能も有している液晶ディスプレイであり、ユーザ指示を入力することが可能である。処理はボタン３０２を押して開始する。

次に、ステップＳ２０２で映像の選択指定の方法について、図４を用いて説明する。図４はすでに撮影された映像一覧を示し、ユーザはこの一覧から１つまたは複数の映像を選択し、所定の入力デバイスを用いて指定する。この映像の指定は３０３の表示部のタッチスクリーン機能を用いて行う。図４（ａ）は、図中Ａ、Ｂ、Ｃで示した３つの映像を指定した例を表示している
次に、ステップＳ２０３で編集対象の映像の解析方法について図５のフローチャートを用いて説明する。まず、ステップＳ５０１で処理を開始する。次に、ステップＳ５０２で、Ｓ２０２で選択された映像の中で最も特徴的なシーン（特徴シーン）を検出する。ここで特徴的なシーンとは、笑顔が検出されたシーン、音量が最も大きかったシーンや、被写体の動きが最も大きかったシーンなどをあらわし、その検出には笑顔検出や音量検出などの公知技術を用いる。次に、ステップＳ５０３では、目の閉じるシーンを検索する。次に、ステップＳ５０４では、目の開くシーンを検索する。ここで、目の開閉を検出する技術として目開閉検出アルゴリズムを用いる。ここで必要となる目検出技術や目の開閉検知技術については公知技術を用いる。次に、ステップＳ５０５において、指定された映像から目の閉じるシーン、目の開くシーンを全て検出できたらステップＳ５０６に進み、検出できていなければステップＳ５０２に戻る。最後に、ステップＳ５０５で処理を終了する。以上のようにして、ステップＳ２０３でシーンの解析を終了し、図６のように各シーンを分類する。図６は、図４で指定した３つの映像について、シーンの解析をおこなった結果を示す。シーンＡでは特徴的シーン、目の閉じたシーン、目の開いたシーンが抽出される。シーンＢでは特徴的シーンが抽出される。シーンＣでは特徴的シーン、目の閉じたシーン、目の開いたシーンが抽出される。

ステップＳ２０４では、分類されたシーンをフラッシュバック、フラッシュフォワード効果に基づいて編集する。この編集方法を図７のフローチャートを用いて説明する。まず、ステップＳ７０１で処理を開始する。次に、ステップＳ７０２で、ステップＳ２０３で解析された映像の中で特徴的なシーンを時間順に並べる。次に、ステップＳ７０３で、フラッシュバック効果かフラッシュフォワード効果かをユーザに選択させる。フラッシュバック効果であればステップＳ７０４へ、フラッシュフォワード効果であればステップＳ７０５に進む。フラッシュバック効果であれば、ステップＳ７０４で、選択した映像から時間的に最後に撮影された目の開閉シーンを選択する。次に、ステップＳ７０６で、ステップＳ７０２で時間順に並べた特徴的シーンの一番後にステップＳ７０４で選択した目を閉じるシーン・開くシーンを並べる。一方、フラッシュフォワード効果であれば、ステップＳ７０５で、選択した映像から時間的に最初の目の開閉シーンを選択する。次に、ステップＳ７０７で、ステップＳ７０２で時間順に並べた特徴的シーンの一番前にステップＳ７０５で選択した目を閉じるシーン・開くシーンを並べる。次に、ステップＳ７０８で、目の開閉シーンのうち、目を閉じるシーンの後に最も特徴的なシーンを挿入する。ここで、最も特徴的なシーンとは選択した映像の中で、最も音量が大きかった映像や、動きが大きかった映像などである。次に、ステップＳ７０９で、挿入前後の目の開閉シーンにフラッシュバック、フラッシュフォワード効果を表現できるようなディゾルブ効果（前の画面に後の画面がダブって出てきて、しだいに前の画面が薄くなって、やがて後の画面に変わる表示効果）を付与する。ステップＳ７１０で、以上のように編集した結果を保存する。ここで、場合によってはレンダリングをおこなう。ステップＳ７１１で、処理を終了する。

以上の結果から、撮影した映像から対象となる映像を選択するだけで、自動的に図８（ａ）に示すようなフィードフォワード映像と図８（ｂ）に示すようなフィードバック映像が得られる。

本実施例では、フィードバック映像とフィードフォワード映像とをユーザに選択させたが、自動的に両方の映像を作っても良い。また、フラッシュバック、フラッシュフォワードに挿入する映像を最も特徴量の多い映像としたが、特徴的シーンの中からユーザが指定しても良い。

［変形例］
なお、本発明の構成要素は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。

また、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。

Claims (6)

1. 映像を選択する選択手段と、
   前記選択手段によって選択された映像から特徴シーン、目の開くシーン、目の閉じるシーンを検出する検出手段と、
   前記検出された特徴シーンを、前記検出された目の閉じるシーンあるいは目の開くシーンの後に挿入する挿入手段とを備えることを特徴とする画像処理装置。
2. 前記検出手段は、顔検出、音量検出、笑顔検出の何れかを用いて特徴シーンを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記挿入手段は、前記挿入前後の映像に表示効果を付与することを特徴とする請求項１に記載の画像処理装置。
4. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１に記載の画像処理装置として機能させるコンピュータプログラム。
5. 請求項４に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
6. 画像処理装置の制御方法であって、
   選択手段により、映像を選択する工程と、
   検出手段により、前記選択手段によって選択された映像から特徴シーン、目の開くシーン、目の閉じるシーンを検出する工程と、
   挿入手段によって、前記検出された特徴シーンを、前記検出された目の閉じるシーンあるいは目の開くシーンの後に挿入する挿入手段とを備えることを特徴とする制御方法。

Images