JP2009245406A - 画像処理装置およびそのプログラム - Google Patents

Abstract

【課題】静止画像中の注目する画像部分を中心に動画のような表示効果を与える。
【解決手段】注目領域抽出手段１１により、オリジナル画像Ｐの色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像Ｐ中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域をオリジナル画像Ｐの中から抽出する。動画像作成手段１４で抽出された注目領域を含む範囲の画像を複数枚切り出して、これら複数枚の画像を用いて動画Ｍを作成する。
【選択図】図１

Description

本発明は、静止画像を表示する際に動画のような表示効果を与えることができる画像処理装置およびそのプログラムに関するものである。

従来、スライドショーやフォトムービーのように、静止画の一部の領域にズームイン・ズームアウトして表示される画像に動きを与えて楽しむことが行われている。このような動きを与えるためには、画像を映し出す部分を変えながら表示することによって行われている。

そこで、このように静止画を動画のように表示する表示効果をユーザが面倒な設定操作を行なうことなく与えるために、画像データとともにＥｘｉｆなどで撮影時の情報を記録しておき、再生時に撮影時の情報に従ってズーム位置や倍率などを決定して、画像を表示すること方法を提案したものがある（例えば、引用文献１）。

あるいは、画像の内容を解析して、主要被写体が人物であるか、風景であるか、あるいは、構図がどのようになっているかに応じて、ズームやパンなどの効果の種類やズームポイントを決定して、それに従ったフォトムービーを作成する方法を提案したものがある（例えば、特許文献２）。
特開２００５−１２６７４号公報 特開２００５−３０３９０８号公報

しかしながら、上述の特許文献１の方法では、撮影時の情報が記録されていなければならず、この撮影時の情報を応じてズームなどの表示効果が与えられるため、画像上に存在する視覚的に注目される部分に自動的にズームできるわけではない。

また、特許文献２の方法では、特定のオブジェクトを検出して表示効果を与えているため、特定のオブジェクトが検出できたときには上手くいくが、特定のオブジェクトが検出できないような画像では表示効果を与えることができない。そこで、いろんな画像に含まれる主要なオブジェクトを検出できるようにするには、オブジェクトに対応して複数の検出器を用意しなければならなくなる。また、特定のオブジェクトを検出する検出器を用いた場合には、画像中に用意した検出器のオブジェクト以外に視覚的に注目を引くような画像部分が存在していたとしても、用意した検出器の検出対象となるオブジェクトしか探すことができないため、注目を引く画像部分に表示効果を与えることができない。

本発明は、上記事情に鑑みてなされたものであり、静止画像中の注目する画像部分を中心に動画のような表示効果を与えることができる画像処理装置、および、そのプログラムを提供することを目的とするものである。

本願発明の画像処理装置は、オリジナル画像を記憶するオリジナル画像記憶手段と、前記オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域を前記オリジナル画像の中から抽出する注目領域抽出手段と、該注目領域抽出手段により抽出された注目領域を含む範囲の画像を複数枚切り出して、これら複数枚の画像を用いて動画を作成する動画像作成手段とを備えることを特徴とするものである。

また、本願発明のプログラムは、コンピュータを、オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域を前記オリジナル画像の中から抽出する注目領域抽出手段と、該注目領域抽出手段により抽出された注目領域を含む範囲の画像を複数枚切り出して、これら複数枚の画像を用いて動画を作成する動画像作成手段として機能させることを特徴とするものである。

「動画」とは、所定の時間間隔で複数枚の画像（静止画）を切り替えて表示することで、あたかも動いているように見せる画像をいう。

「複数枚の画像を用いて動画を作成する」とは、所定の動画再生用のソフトウェアやハードウェアを用いて、複数枚の画像を動画として再生できるようなフォーマットで記憶することをいう。

前記動画像作成手段が、前記切り出す複数枚の画像のうちの少なくとも２枚は前記オリジナル画像中の異なる注目領域が含まれるように切り出し、該切り出した複数枚の画像を用いて動画を作成するものであることを特徴とするものであってもよい。

前記動画像作成手段が、前記切り出す複数枚の画像のうちの少なくとも２枚が前記オリジナル画像中の同一注目領域を含みつつも切り出す範囲を変えて切り出し、該切り出した複数枚の画像を用いて動画を作成するものであってもよい。

前記注目領域抽出手段が、前記オリジナル画像の色、明度、前記オリジナル画像に現れた直線成分の方向それぞれの異なる度合いと、各異なる度合いそれぞれに重み付けした重み付け度合いに応じて前記注目領域を抽出するものであれば、前記重みを変える重み変更手段をさらに備えるようにするのが望ましい。

前記注目領域抽出手段が抽出した注目領域およびその周辺を含む画像部分中に存在するオブジェクトの種類を判定するオブジェクト判定手段をさらに備えるものであれば、前記動画像作成手段が、前記判定されたオブジェクトの種類に応じて動画の作成方法を変更するものであってもよい。

本発明によれば、オリジナル画像より、画像中の各部分の特徴がその部分の周囲に位置する部分の特徴と異なる度合いを求めて注目領域を抽出して、抽出した注目領域を含む範囲の画像を複数枚切り出して、これら複数枚の画像を用いて動画を作成することにより、顔のような特定のオブジェクトがなくとも、視覚的に注目される注目領域に対して、自動的に動画のような効果を与えることができる。

また、切り出す複数枚の画像のうちの少なくとも２枚は異なる注目領域が含まれるように切り出して動画を作成することによって、カメラでパン・チルトをしたときのように視線を移動させたような動画を作成することができる。

また、同一注目領域を含みつつも切り出す範囲を変えながら切り出して動画を作成するようにすれば、ズームイン・ズームアウトしたような動画を作成することができる。

さらに、注目領域を抽出するときに、色、明度、オリジナル画像に現れた直線成分の方向のそれぞれの異なる度合いと、各異なる度合いそれぞれに重み付けした重み付け度合いに応じて注目領域を抽出するようにして、重みを変える手段を設けるようにすれば、様々なタイプの注目領域を抽出することができる。

さらにまた、注目領域およびその周辺を含む画像部分中に存在するオブジェクトの種類を判定するようにして、判定されたオブジェクトの種類に応じて動画の作成方法を変更するようにすれば、自動的に視覚的な効果の高い動画を作成することができる。

以下、図面を参照しつつ、本発明の第１の実施の形態について説明する。図１に、本発明の画像処理装置の概略構成図を示す。

画像処理装置１は、補助記憶装置に読み込まれたアプリケーションプログラムがコンピュータ（例えば、ワークステーション等）上で実行されることにより実現される。画像処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体として配布され、記録媒体からコンピュータにインストールされても良いし、インターネット等のネットワーク経由で接続されたサーバからダウンロードされた後にインストールされてもよい。

画像処理装置１は、オリジナル画像Ｐを記憶するオリジナル画像記憶手段１０と、オリジナル画像Ｐの色、明度、および、このオリジナル画像Ｐに現れた直線成分の方向に基づいて、オリジナル画像Ｐの中から注目領域を抽出する注目領域抽出手段１１と、注目領域抽出手段１１で注目領域を抽出するときに、オリジナル画像Ｐの色、明度、オリジナル画像Ｐに現れた直線成分の方向の影響を変えるように重み付けを変える重み変更手段１２と、注目領域およびその周辺を含む画像部分中に存在するオブジェクトの種類を判定するオブジェクト判定手段１３と、注目領域を含む範囲の画像を複数枚切り出して、これら複数枚の画像を用いて動画を作成する動画像作成手段１４と、作成した動画を記憶する動画像記憶手段１５とを備える。

オリジナル画像記憶手段１０は、ハードディスクなどの大容量記憶装置や画像処理装置１に接続された記録媒体である。オリジナル画像記憶手段１０には、デジタルスチールカメラやデジタルビデオカメラによって撮影された撮影画像、あるいは、イラストレーターなどの画像作成用ソフトなど用いて作成したイラスト画像などがオリジナル画像Ｐとして多数記憶されている。このオリジナル画像Ｐは、静止画像のことをいう。以下、オリジナル画像Ｐは静止画像として説明する。

動画像記憶手段１５は、ハードディスクなどの大容量記憶装置や、ＤＶＤなどの記録媒体である。動画像作成手段１４で作成された動画Ｍが動画再生用のソフトウェアやハードウェアで再生できるようなフォーマットで記憶される。

注目領域抽出手段１１は、オリジナル画像Ｐを目視で確認したときに注目される部分を注目領域として抽出する。例えば、オリジナル画像Ｐ上の一部の色が周囲の色と異なる部分、オリジナル画像Ｐ上の一部が周囲に比べて非常に明るい部分、平坦な画面上に現れた直線部分などが画像を見たとき注目される領域となる。そこで、オリジナル画像Ｐの色、明度、および、オリジナル画像Ｐに現れた直線成分の方向に基づいて、オリジナル画像Ｐ中の各部分の特徴がその部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの異なる度合いが大きいところを注目領域として抽出する。

このように視覚的に注目される注目領域は、色、明度、画像中に現れた直線成分などの画像を構成する要素が周囲と異なる特徴を持っている。そこで、オリジナル画像Ｐの色（Color）、オリジナル画像Ｐの明度（Intensity）、オリジナル画像Ｐに現れた直線成分の方向（Orientation）を用いて、画像中の各部分の特徴が、その部分の周囲に位置する部分の特徴と異なる度合いを求め、異なる度合いが大きい部分が視覚的に注目される注目領域であると考えられる。具体的には、IttiやKoch達によって提案された手法を用いて、視覚的に注目される注目領域を自動的に抽出することができる（例えば、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 20, NO. 11, NOVEMBER 1998 “A Model of Saliency-Based Visual Action for Rapid Scene Analysis”, Laurent Itti, Christof Koch and Emst Neiburを参照）。

図２に従って、この手法を用いて注目領域を抽出する処理の流れについて説明する。

まず、オリジナル画像Ｐにフィルタリング処理を施して明度をあらわす画像と複数の色成分に分けた色成分の画像とをそれぞれ生成する（Ｓｔｅｐ１）。

まず、オリジナル画像Ｐから明度の画像Ｉを生成して、さらに、明度の画像ＩのGaussian pyramidを生成する。このGaussian pyramidの各階層の画像をI（σ）（σは画素のスケールを表し、σ∈[0..8]とする）とする。

次に、オリジナル画像Ｐを４つの色成分の画像Ｒ（赤），Ｇ（緑），Ｂ（青），Ｙ（黄）に分ける。さらに、これらの画像Ｒ，Ｇ，Ｂ，Ｙから４種類のGaussian pyramidを生成して、各階層の画像をＲ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）とする。

そこで、これらの画像I（σ）、Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）からオリジナル画像Ｐ上の各部分の特徴がその周囲の部分とどの程度異なるかを表す特徴量マップを生成する（Ｓｔｅｐ２）。

画面上のある部分の明度がその周囲の明度とは違うと感知される場所は、周囲が明るいところに暗い部分が存在する場所、あるいは、周囲が暗いところに明るい部分が存在する場所である。そこで、周囲の明度に比べて中心部分の明度がどの程度異なるかは、細かい画素で表された画像Ｉ（ｃ）と、荒い画素で表された画像Ｉ（ｓ）とを用いて求める。荒い画像Ｉ（ｓ）の画素１個の値は、細かい画像Ｉ（ｃ）の画素を複数個分まとめた値を表しているので、画像Ｉ（ｃ）の画素の値（中心部の明度）と、この画素に対応する位置にある画像Ｉ（ｓ）の画素の値（周囲の明度）の差を求める（center-surroundと呼ばれる）ことによって、画像上の各部分が周囲とどの程度異なるかを求めることができる。例えば、細かい画素で表された画像Ｉ（ｃ）のスケールをｃ∈｛２，３，４｝とし、荒い画素で表された画像Ｉ（ｓ）のスケールをｓ＝ｃ＋δ（δ∈｛３，４｝）として明度の特徴マップＭ_Ｉ（ｃ，ｓ）を求める。この明度の特徴マップＭ_Ｉ（ｃ，ｓ）は下式（１）のように表される。

各色成分についても同様に、Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）から特徴マップを生成する。画面上のある部分の色がその周囲の色と違うと感知される場所は、色相環で正反対に位置する色（反対色）の組み合わせから見つけることができる。例えば、赤/緑と緑/赤の組み合わせから特徴マップＭ_ＲＧ（ｃ，ｓ）を取得し、青/黄と黄/青の組み合わせから特徴マップＭ_ＢＹ（ｃ，ｓ）を取得する。この色の特徴マップは下式（２）（３）のように表される。

さらに、画像上に表れた直線成分の方向について、各部分に現れた直線成分の方向とその周囲の直線成分との違いが感知される部分は、明度の画像Ｉから直線成分の方向を検出するGaborフィルターなどを利用して見つけることができる。Ｉ（σ）の各階層の画像に対してGaborフィルターを用いて、θ∈｛0°,45°,90°,135°｝の各方向の直線成分を検知して特徴マップＭ_Ｏ（ｃ，ｓ,θ）を取得する。この方向の特徴マップは下式（４）のように表される。

ｃ∈｛２，３，４｝とし、ｓ＝ｃ＋δ（δ∈｛３，４｝）とした場合には、明度の特徴マップは６個、色の特徴マップは１２個、方向に関する特徴マップは２４個得られ、これらのマップを総合的にみて、視覚的に注目される注目領域を抽出する。

これらの４２個の特徴マップＭ_Ｉ，Ｍ_ＲＧ，Ｍ_ＢＹ，Ｍ_Ｏは、ダイナミックレンジの違いや抽出する情報の違いなどにより、各部分とその周囲の違いが大きく表れるものとあまり大きく表れないものがある。そのため、４２個の特徴マップＭ_Ｉ，Ｍ_ＲＧ，Ｍ_ＢＹ，Ｍ_Ｏの値をそのまま用いて判定を行ったのでは、違いが大きい特徴マップに影響されて、違いが少ない特徴マップの情報が反映されない場合がある。そこで、これらの４２個の特徴マップＭ_Ｉ，Ｍ_ＲＧ，Ｍ_ＢＹ，Ｍ_Ｏを規格化した後に組み合わせて、注目領域を抽出するようにするのが好ましい。

具体的には、例えば、明度の特徴マップＭ_Ｉ（ｃ，ｓ）の６個を規格化して組み合わせた明度の要素別注目度マップＭ^Ｃ _Ｉを取得し、色の特徴マップＭ_ＲＧ（ｃ，ｓ）、Ｍ_ＢＹ（ｃ，ｓ）の１２個を規格化して組み合わせた色の要素別注目度マップＭ^Ｃ _Ｃを取得し、方向に関する特徴マップＭ_Ｏ（ｃ，ｓ,θ）の２４個を規格化して組み合わせた方向の要素別注目度マップＭ^Ｃ _Ｏを取得する（Ｓｔｅｐ３）。さらに、要素別注目度マップＭ^Ｃ _Ｉ、Ｍ^Ｃ _Ｃ、Ｍ^Ｃ _Ｏを線形結合して、オリジナル画像Ｐの各部分の注目度の分布を表した注目度マップＭ^Ｓを取得する（Ｓｔｅｐ４）。この注目度が所定の閾値を越えた領域を注目領域として抽出する（Ｓｔｅｐ５）。

上述で説明したように、オリジナル画像Ｐの色、明度、オリジナル画像Ｐに現れた直線成分の方向それぞれの度合いを総合的にみて注目領域を抽出するが、各度合いそれぞれに重み付けした重み付け度合いに応じて注目領域を抽出するようにすれば、重みを変えることによって、抽出される注目領域を変えることができる。

重み変更手段１２は、この重みを変更する。例えば、要素別注目度マップＭ^Ｃ _Ｉ、Ｍ^Ｃ _Ｃ、Ｍ^Ｃ _Ｏを線形結合するときの重みを変えることによって抽出される注目領域を変えることができる。あるいは、要素別注目度マップＭ^Ｃ _Ｉ、Ｍ^Ｃ _Ｃ、Ｍ^Ｃ _Ｏを取得するときに、各明度の特徴マップＭ_Ｉ（ｃ，ｓ）、色の特徴マップＭ_ＲＧ（ｃ，ｓ）、Ｍ_ＢＹ（ｃ，ｓ）、方向に関する特徴マップＭ_Ｏ（ｃ，ｓ,θ）のそれぞれのマップの影響を変えるように、各特徴マップＭ_Ｉ（ｃ，ｓ）、Ｍ_ＲＧ（ｃ，ｓ）、Ｍ_ＢＹ（ｃ，ｓ）、Ｍ_Ｏ（ｃ，ｓ,θ）に対する重みを変えるようしてもよい。

オブジェクト判定手段１３は、オブジェクトを判別するための判別器を用いて、注目領域およびその周辺を含む画像部分中に存在するオブジェクトの種類を判定する。具体的には、例えば、オリジナル画像Ｐから判定する特定のオブジェクトに対応した特徴量を抽出して、特定のオブジェクトであるか否かを判別する判別器を複数の種類用意し、注目領域およびその周辺にはどのような種類のオブジェクトが存在しているかを判定するものである。注目領域は、色、明度、および直線成分の方向に基づいて判定されるため、注目領域として抽出された部分にはオブジェクト全体がはいっていないことがある。そこで、注目領域だけではなくその周辺の領域を含めた範囲の画像に対してオブジェクトの判定を行うのが好ましい。判別器として、例えば、オブジェクトが人物であるか否か、動物であるか否か、花であるか否か、山であるか否かなどの判別を行うものをそれぞれ用意する。

動画像作成手段１４は、注目領域を含む画像を複数フレーム分切り出して、これらの一連の画像を所定の時間間隔で順次切り替えて動画Ｍとして表示できるようなフォーマットでハードディスクなどの記憶装置（動画像記憶手段１５）やＤＶＤなどの記憶媒体（動画像記憶手段１５）に記憶する。具体的には、スライドショーやフォトムービーなどのソフトウェアを用いて表示できるフォーマットでハードディスクに記憶する。あるいは、ＤＶＤ再生装置などのハードウェアを用いて再生可能なフォーマットでＤＶＤなどの記録媒体に記憶してもよい。

動画Ｍに用いられる各フレームの画像が切りだされる範囲は、作成する動画Ｍの表示方法によって異なり、例えば、ズームイン・ズームアウトを行う場合には、図３Ａに示すように（図３Ｂは、図３Ａの画像の注目度マップ）、同じ注目領域ＲＯＩを含むように切り取る画像範囲（矩形の範囲）を徐々に大きくした画像Ｑを複数枚、あるいは、徐々に小さくした画像Ｑを複数枚切り出す。

オリジナル画像Ｐから複数の注目領域ＲＯＩが抽出され、１つの注目領域ＲＯＩから別の注目領域ＲＯＩに次々と視点を移していくように表示する場合には、図４Ａに示すように（図４Ｂは、図４Ａの画像上の注目度マップ）、１つの注目領域ＲＯＩを中心とした範囲（矩形の範囲）の画像Ｑから他の注目領域ＲＯＩを中心とした範囲に切り出す範囲を徐々に移動させるようにして複数の画像Ｑを作成する。このとき、切り出した複数枚の画像Ｑのうち少なくとも２枚はオリジナル画像Ｐ中の異なる注目領域ＲＯＩが含まれるように切り出すが、切り出した画像Ｑの中間あたりの画像Ｑには注目領域ＲＯＩを含まない画像Ｑがあってもよい。また、視点を移動させるときにはカメラでパン・チルトをするように画像を切り出してもよい。上述のようなズームイン・ズームアウトと視点の移動などを組み合わせることによって様々な動画を作成することができる。

さらに、オブジェクト判定手段１３で判定されたオブジェクトの種類に応じて画像を切り出す方法を変えて、そのオブジェクトに応じた動画Ｍを作成するのが好ましい。例えば、オリジナル画像Ｐの注目領域ＲＯＩ（および、その周辺の領域）のオブジェクトが顔であると判定された場合には、顔の領域がズームインされるように動画Ｍを作成する。

あるいは、動画Ｍをどのような表示方法にするかは、ユーザが指示できるように表示方法の入力部を用意して、その入力された指示にしたがって動画を作成する。入力部は、例えば、表示方法を選択できるような入力画面を用意して、「ズーム」「チルト（上下移動）」「パン（左右移動）」などの表示方法から選択入力できるようにする。

あるいは、オリジナル画面上に注目領域ＲＯＩの位置を画面上に表示して、どの順番で注目領域ＲＯＩを表示するかを指定させてもよい。

また、注目領域ＲＯＩを抽出する際に、重み変更手段１２で重みを変更して、オリジナル画像Ｐの色、明度、オリジナル画像Ｐに現れた直線成分の方向が周囲と異なる度合いの影響を変えて様々な注目領域ＲＯＩを抽出できるようにするのが好ましい。このように抽出される注目領域ＲＯＩが変わることにより、様々な動画Ｍを自動的に生成することができる。

次に、図５のフローチャートを用いて、本発明の画像処理装置１で動画Ｍを作成する処理の流れについて説明する。

まず、画像処理装置１では、撮影画像やイラスト画像などのオリジナル画像Ｐを読み込んでハードディスク（オリジナル画像記憶手段１０）に一旦記憶する（Ｓ１００）。

注目領域抽出手段１１では、ハードディスクに記憶されているオリジナル画像Ｐから、明度を表す画像Ｉと各色成分に分けた画像Ｒ，Ｇ，Ｂ，Ｙを生成し、さらに、これらからGaussian pyramid画像Ｉ（σ），Ｒ（σ），Ｇ（σ），Ｂ（σ），Ｙ（σ）を生成する。これらのGaussian pyramid画像を用いて、色、明度、オリジナル画像Ｐ上の直線成分の方向に基づいて、オリジナル画像Ｐの各部分の注目度を算出した注目度マップＭ^Ｓを生成する（Ｓ１０１）。注目度マップＭ^Ｓの注目度が所定の閾値以上の領域を注目領域ＲＯＩとして抽出する（Ｓ１０２）。このとき、抽出された注目領域ＲＯＩの位置がオリジナル画像Ｐ上のどこであるかをユーザが確認できるように表示画面上に表示してもよい。

次に、動画像作成手段１４は、注目領域ＲＯＩに応じた表示方法を表示方法の選択入力用の画面を表示して、ユーザから指示された情報を受け取る（Ｓ１０３）。指示された情報に従って、動画像作成手段１４でオリジナル画像Ｐから注目領域ＲＯＩを含む画像Ｑを切り出す（Ｓ１０４）。例えば、「ズーム」が選択された場合には、まず、注目度が最も高い注目領域ＲＯＩにズームインするようにオリジナル画像Ｐから画像Ｑを切り出す。次に、所定の時間が経過すると、ズームしたまま２番目に注目度が高い注目領域ＲＯＩに視点が移動するようにオリジナル画像Ｐから画像Ｑを切り出す。再度、所定の時間が経過するとズームしたまま３番目に注目度が高い注目領域ＲＯＩに視点が移動するようにオリジナル画像Ｐから画像Ｑを切り出す。注目度が所定の閾値以上の注目領域ＲＯＩがなくなったらズームインを解除するようにオリジナル画像Ｐから画像Ｑを切り出す。さらに、重み変更手段１２で重みを変更して、注目領域抽出手段１１で、再度、オリジナル画像Ｐから注目領域ＲＯＩ を抽出する。今度は、重みを変更して抽出された始めに抽出した注目領域ＲＯＩ とは異なる注目領域ＲＯＩにズームをするようにオリジナル画像Ｐから画像Ｑを切り出す。

これらの切り出した画像Ｑを所定の動画のフォーマットで動画像記憶手段１５に記憶する（Ｓ１０５）。

あるいは、図６のフローチャートに示すように、オブジェクト判定手段１３で注目領域ＲＯＩとその周辺の画像からオブジェクトの種類を判定して（Ｓ１０３ａ）、自動的に表示方法を決めてオリジナル画像Ｐを切り取る範囲を決定してもよい（Ｓ１０４ａ）。例えば、注目領域ＲＯＩとその周辺に存在するオブジェクトが顔であれば、ズーム時間を長めにする。あるいは、注目領域ＲＯＩ とその周辺の画像のオブジェクトが山のような風景シーンであった場合には、穏やかに左右に視線を移動させるように画像Ｑを切り取る。

さらに、オブジェクトの種類に応じた表示方法とユーザによって指示された表示方法とを組み合わせて表示してもよい。

以上、詳細に説明したように、オリジナル画像から色、明度および直線成分の方向に基づいて、視覚的に注目される注目領域を抽出して、その注目領域を含む領域を複数切り出した画像を用いて、自動的に動画を作成することができる。

画像処理装置の概略構成図 注目領域の抽出方法を説明するための図 オリジナル画像から動画用の画像を切り出す範囲を表す図（その１） 注目度マップの一例（その１） オリジナル画像から動画用の画像を切り出す範囲を表す図（その２） 注目度マップの一例（その２） 動画像の作成するときの処理の流れを表すフローチャート（その１） 動画像の作成するときの処理の流れを表すフローチャート（その２）

符号の説明

１ 画像処理装置
１０ オリジナル画像記憶手段
１１ 注目領域抽出手段
１２ 重み変更手段
１３ オブジェクト判定手段
１４ 動画像作成手段
１５ 動画像記憶手段
Ｐ オリジナル画像
ＲＯＩ 注目領域
Ｍ 動画

Claims (6)

1. オリジナル画像を記憶するオリジナル画像記憶手段と、
   前記オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域を前記オリジナル画像の中から抽出する注目領域抽出手段と、
   該注目領域抽出手段により抽出された注目領域を含む範囲の画像を複数枚切り出して、これら複数枚の画像を用いて動画を作成する動画像作成手段とを備えることを特徴とする画像処理装置。
2. 前記動画像作成手段が、前記切り出す複数枚の画像のうちの少なくとも２枚は前記オリジナル画像中の異なる注目領域が含まれるように切り出し、該切り出した複数枚の画像を用いて動画を作成するものであることを特徴とする請求項１記載の画像処理装置。
3. 前記動画像作成手段が、前記切り出す複数枚の画像のうちの少なくとも２枚が前記オリジナル画像中の同一注目領域を含みつつも切り出す範囲を変えて切り出し、該切り出した複数枚の画像を用いて動画を作成するものであることを特徴とする請求項１または２記載の画像処理装置。
4. 前記注目領域抽出手段が、前記オリジナル画像の色、明度、前記オリジナル画像に現れた直線成分の方向それぞれの異なる度合いと、各異なる度合いそれぞれに重み付けした重み付け度合いに応じて前記注目領域を抽出するものであり、
   前記重みを変える重み変更手段をさらに備えることを特徴とする請求項１から３いずれか記載の画像処理装置。
5. 前記注目領域抽出手段が抽出した注目領域およびその周辺を含む画像部分中に存在するオブジェクトの種類を判定するオブジェクト判定手段をさらに備え、
   前記動画像作成手段が、前記判定されたオブジェクトの種類に応じて動画の作成方法を変更するものであることを特徴とする請求項１から４いずれか記載の画像処理装置。
6. コンピュータを、
   オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域を前記オリジナル画像の中から抽出する注目領域抽出手段と、
   該注目領域抽出手段により抽出された注目領域を含む範囲の画像を複数枚切り出して、これら複数枚の画像を用いて動画を作成する動画像作成手段として機能させるプログラム。

Images