JP2012532355A

JP2012532355A - 複数の画像のシーケンスを生成するための方法及び装置

Info

Publication number: JP2012532355A
Application number: JP2012519091A
Authority: JP
Inventors: マルクアンドレペテルズ
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2009-07-06
Filing date: 2010-06-30
Publication date: 2012-12-13
Also published as: CN102473184A; EP2452278A1; US20120113131A1; RU2012103833A; WO2011004289A1

Abstract

アンビエント照明とともに表示されるべき複数の画像のシーケンスを生成する方法は、複数の画像のそれぞれの少なくとも１つの特徴を抽出するステップ２０１と、抽出された少なくとも１つの特徴に基づいて前記複数の画像のそれぞれとともに表示されるべきアンビエント照明を選択するステップ２０３と、前記複数の画像の表示のための順序に従って、前記複数の画像の表示の間、前記アンビエント照明の変化の滑らかな遷移を与えるために、選択されたアンビエント照明に基づいて前記順序を決定するステップ２０５，２０７，２０９，２１１，２１３とを有する。

Description

本発明は、複数の画像のシーケンスを生成するための方法及び装置に関する。詳細には、これは、アンビエント照明とともに表示されるべき複数の画像のシーケンスを生成するための方法及び装置に関する。

静止デジタル画像のシーケンスは、提示のため、又は、趣のある表示のためにしばしば用いられる。時々、これらの画像の順序は物語のようなものになり、他の場合においては、画像は、雰囲気にマッチするように順序付けられる。一例は、（LivingColorsランプのような）アンビエント光源に接続されたデジタルフォトフレームである。即ち、各画像に関して、アンビエント照明が、表示されている現在の画像にマッチするように自動的に調節される。このマッチングは、画像の最も支配的な色、又は、画像において反射された光源若しくはアンビエント照明の色に基づくものであり、魅力的なアンビエント照明をもたらす。

例えば、画像の最も支配的な色は、紺青色（２５％）であり、次に支配的な色は、１３％未満の寄与をもつ。しかしながら、画像において反射された光源又はアンビエント照明、例えばシーン上で反射する太陽は、画像内における特徴の色を変え得る。それ故、太陽反射の色は、LivingColorsランプに関する色として用いられる場合があり、これが画像の最も支配的な色ではない場合であっても、部屋内の雰囲気を強化する。光源の色を決定することについて、これが白色表面上に反射される場合には、反射された色は、光源の色に対応するだろう。しかしながら、光源が明らかではない、例えば白色光源が色表面上で反射している場合において、光源検出は、より明るい支配的な色の一つをもたらし、これは、画像の表示の間、非常に自然な効果を与える。

しかしながら、画像の表示の順序は、これが物語になり得るか、又は、これらが取得された順序で順序付けられ得る等のようになる。アンビエント照明が各画像の表示の変化とともに自動的に変化するので、これは、アンビエント光源の光出力の劇的な変化をしばしばもたらし、ちらつくディスコ効果等のような非常に激しく不愉快な効果をもたらす。

本発明は、観察者の体験が強化されるようにアンビエント照明との表示のための画像の順序付けを提供することを目的とする。

これは、アンビエント照明とともに表示されるべき複数の画像のシーケンスを生成する方法であって、複数の画像のそれぞれの少なくとも１つの特徴を抽出するステップと、抽出された少なくとも１つの特徴に基づいて前記複数の画像のそれぞれとともに表示されるべきアンビエント照明を選択するステップと、前記複数の画像の表示のための順序に従って、前記複数の画像の表示の間、前記アンビエント照明の変化の滑らかな遷移を与えるために、選択されたアンビエント照明に基づいて前記順序を決定するステップとを有する、方法による、本発明の第１の態様に従って実現される。

また、これは、アンビエント照明とともに表示されるべき複数の画像のシーケンスを生成するための装置であって、複数の画像のそれぞれの少なくとも１つの特徴を抽出するための抽出部と、抽出された少なくとも１つの特徴に基づいて前記複数の画像のそれぞれとともに表示されるべきアンビエント照明を選択するための選択部と、前記複数の画像の表示のための順序に従って、前記複数の画像の表示の間、前記アンビエント照明の変化の滑らかな遷移を与えるために、選択されたアンビエント照明に基づいて前記順序を決定する処理部とを有する、装置による、本発明の第２の態様に従って実現される。

画像を順序付けるときには、アンビエント照明の変化の間の滑らかな遷移は、非常に魅力的な効果を与え、邪魔をして観察者を不愉快にし得る、光の過度のちらつき、及び、光の劇的な変化を回避する。

一実施形態において、抽出された少なくとも１つの特徴は、色を有し、前記複数の画像のそれぞれとともに表示されるべきアンビエント照明は、前記複数の画像のそれぞれの最も支配的な色に対応する色をもつか、又は、代わりに、前記画像中に反射された光源の色に対応する色をもつように選択される。

この手法において、既存の技術は、表示の間に用いられるべきアンビエント照明を選択するように利用され得る。

一実施形態において、前記複数の画像の表示のための順序は、選択されたアンビエント照明の色をＨＳＶ色空間に変換し、選択されたアンビエント照明の色の変化が色相環に従うように前記複数の画像の表示のための第１の順序を決定し、決定された第１の順序に従って前記複数の画像を順序付けることにより決定される。

任意の色の色相は、色相値をもつ。色相値は、間隔[0, 360]の数として通常表される角度値である。これは、各色相値を表す色相環を規定する。任意の恣意的な開始ポイントを用いて、アンビエント光源の色及びそれ故に画像は、色相環に従うように順序付けられる。

この手法において、各画像は、色によって表され、その色の色相に基づいて順序付けられる。これは、アンビエント照明の色の変化の滑らかな遷移を与え、より魅力的なものにすることについて表示を強化する。

加えて、複数の画像の表示の順序は、選択されたアンビエント照明の色の変化が、予め決められた条件に合う彩度及び／又は値をもつ画像の色相環に従うように、複数の画像の表示の順序を少なくとも１回再順序付けすること、例えば、選択されたアンビエント照明の色の変化が第１の予め決められた値よいも大きな彩度及び値をもつ画像の色相環に従うように再順序付けすること、及び／又は、選択されたアンビエント照明の色の変化が第１の予め決められた値及び第２の予め決められた値の範囲内の彩度及び値をもつ画像の色相環に従うように再順序付けすること、に基づいて決定され得る。第１の予め決定された値は、第２の予め決定された値よりも大きくなり得る。

第２のレベルでは、彩度及び値が考慮され、ＨＳＶ色空間を通じて空間的効果を生成する。この結果は、画像の非常に魅力的な順序付けである。

観察効果は、予め決められた閾値よりも少ない彩度及び値をもつ表示のための画像、即ち、アンビエント照明とともに表示されたときにあまり関心を示さない非常に低い彩度をもつ画像又は暗い画像を除外することにより更に向上し得る。

本発明のより完全な理解に関して、添付図面と組み合わせて考慮される以下の説明について述べる。

本発明の一実施形態の表示のための画像のシーケンスを生成するための装置の簡素化された概略図である。本発明の一実施形態の表示のための画像のシーケンスを生成する方法のフローチャートである。

図１に関して、装置１００は、抽出部１０３の入力部に接続された第１の入力端子１０１を有する。抽出部１０３の出力部は、選択部１０５の入力部に接続される。選択部１０５の出力部は、処理部１０７の入力部に接続される。処理部１０７の出力部は、制御部１１３の入力部に接続される。制御部１１３の第２の入力部は、装置１００の第２の入力端子１１０に接続される。制御部１１３の出力部は、装置１００の出力端子１０９に接続される。

装置１００の第１及び第２の入力端子１０１，１１０は、格納手段１１１に接続される。格納手段１１１は装置１００の外部装置としてここに示されているが、代替実施形態において、格納手段１１１が装置と一体化されてもよい。格納手段１１１は、ＲＯＭ／ＲＡＭドライブ、ＣＤのような、コンピュータシステムのメモリデバイス、装置１００に接続されたカメラ、デジタルフォトフレーム若しくは同様のデバイスのメモリデバイス、又は、リモートサーバであり得る。これは、有線又は無線接続を介してアクセスされ得るか、及び／又は、インターネットのような広域ネットワークを介してアクセスされ得る。格納手段１１１は複数の画像を格納する。リモートサーバに格納された画像は、例えば、装置１００のローカル格納手段（ここでは図示省略）にアップロードされ、一時的に格納され得る。

装置１００の出力端子１０９は、ディスプレイ１１５及びアンビエント光源１１７に接続される。ディスプレイ１１５は、ＰＣのディスプレイ、デジタルフォトフレーム、デジタルカメラのディスプレイ及び／若しくはプロジェクタ、プロジェクタスクリーン若しくはテレビジョンスクリーン又は同様のものであり得る。アンビエント光源１１７は、LivingColorsランプ若しくは結合された光源のアレイ又は同様のものであり得る。

図１の装置の動作は、図２を参照して説明されるだろう。

表示のための複数の画像は、格納手段１１１から検索され、入力端子１０１を介して抽出部１０３に入力される。各画像に関して、抽出部は、各画像内の色又は画像中の光源の反射によりもたらされた色によりなされた寄与率のような少なくとも１つの特徴を抽出する（ステップ２０１）。最も支配的な色に基づいて、例えば、最も高い寄与率をもつ色が、又は、光源の反射によりもたらされた色に基づいて、画像に付随するためのアンビエント照明の色が、選択部１０５により選択される（ステップ２０３）。

主成分分析（ＰＣＡ；principal component analysis）と呼ばれる既知の技術が、シーンに入る光源を決定するための方法で用いられ得る。（アンビエント照明とともに表示されるべき複数の画像のシーケンスを生成するのとは異なる目的のために用いられ得る）光推定手順の裏にある思想は、画像に入る光が画像の白色部分で反射されることにある。画像中の全ての画素は、輝度に応じて、光源の色で着色されるだろう。本方法は、画像の全ての画素を取得し、（線形）ＲＧＢ空間の３次元立方体においてこれらを見る。ＰＣＡは以下のことを行う。起点としての平均ＲＧＢ値から開始して、軸は、第１の軸（主成分）が画素のセットの変化の大部分に関与するような態様で、３つの新たな軸に変換される。主軸も最小二乗推定の結果と見なされ得る。最後のステップは、実際の光源に対応する主軸上の点を推定することである。これは、主軸上に画素を投射し、寄与が大きい場所を確認する（即ち、符号化のためにここにあるかもしれない単一の画素をとることを回避する）ことにより行われる。この結果は、画像中のシーンに入る光源である。光源自身は、画像中で可視ではない。利用可能な光源がない場合において、アルゴリズムは、画像の最も支配的な色を生じさせ、これは、非常に合理的であり、非常に自然に見える。これは、関心領域に対する光源を見つけるのと同様に画像の部分に対して行われ得る。

表示のための画像のそれぞれに関して、処理部１０７は、選択されたアンビエント照明の色をＨＳＶ色空間、即ち、その色に関するＨＳＶ色空間（Hue Saturation Value）により規定された色相に変換する（ステップ２０５）。

任意の色の色相は、色相値をもつ。色相値は、間隔[0, 360]の数として通常表される角度値である。これは、各色相値を表す色相環を規定する。任意の恣意的な開始点を用いて、アンビエント光源の色及びそれ故に画像は、色相環に従うように順序付けられる（ステップ２０７）。雰囲気（LivingColorsランプ）が画像に従うときには、その雰囲気は、色相環にもゆっくりと従い、アンビエント照明の変化の滑らかな遷移を与える。

アンビエント光源の色の変化の間の遷移を更に向上させるために、色の三次元の性質が考慮される。そして、色の値及び彩度の成分を用いて、画像が記録される（ステップ２０９）。

結果として、画像のシーケンスは、予め決められた回数記録され得る。本実施形態は、２回記録することを示しているが（ステップ２０９，２１１）、これは、要求される滑らかな遷移を与えるために、異なる値及び範囲に関する任意の回数実行されてもよい。各記録サイクルにおいて、彩度及び／又は値に対する条件が与えられる。例えば、双方が間隔[0, 1]にある彩度及び値によれば、全ての画像に関する色相環を介した第１の記録サイクルは、彩度＋値＞１．７の条件をもち得る。

結果として、高い彩度及び値をもつ画像が一緒にグループ化される。

ステップ２１１において、画像は、１．７≧彩度＋値＞１．４の条件もつ全ての画像に関する色相環を介して記録される。

そして、より多くの反復が続き得る。結果として、前記記録は、数回繰り返されるが成分の彩度及び／又は値に合理的にマッチする色をもつ。結果として、アンビエント照明の色の変化の滑らかな遷移は、更に向上され、雰囲気は、非常に僅かで且つ魅力的な態様で表示にマッチするように調節される。記録は、提示の順序が変えられることを意味する。画像が格納される順序又は画像を参照する格納されたリストの順序は、必ずしも変えられる必要はない。一実施形態において、画像を参照する格納されたリストは、色相値に基づいて順序付けられ、格納されたリストは、その後、彩度及び値に基づいて複数回循環される。

これは、各色相が表示の間に数回現れるという点で、より劇的な画像の表示をもたらし、画像が色相環のみに従って順序付けされた前の場合においては、画像がこれらの色相に従ってグループ化されるので、色は或る時間間隔の間に１回現れる。

その根拠が、遷移が色相環に従うことにある場合には、勿論、彩度及び値に対するより洗練された条件、例えば、min(彩度、値)＞０．７及びmax(彩度、値)＜０．９が、最終的な結果を向上させるために用いられ得る。

加えて、本方法は、あまり関心を示さない画像を除外するために用いられ得る。この場合において、あまり関心を示さない画像は、雰囲気を強化するために容易に用いられ得る色にマッチしない画像として見なされる。例えば、暗い画像又は非常に低い彩度をもつ画像である（ステップ２１３）。例えば、彩度＋値＜１をもつ画像である。

そして、画像の順序は、処理部１０７により制御部１１３に出力される（ステップ２１５）。そして、制御部１１３は、第２の入力端子１１０を介して格納手段から画像を取り出し、前記順序に従って画像及び照明の表示を与えるように、ディスプレイ１１５及びアンビエント光源１１７を制御する。アンビエント照明の色は、照明効果における使用に対して非常に魅力的であり、色の間の遷移は比較的滑らかになる。

これは、スライドショープレゼンテーション、フォトフレーム又は同様のものにおいて用いられ得る。

本発明の実施形態は、添付図面において示され、前述の詳細な説明において述べられたが、本発明は、開示された実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の範囲から逸脱することなく多くの変更が可能であることが理解されるだろう。

"手段"は、当業者にとって明らかなように、単独で又は他の機能と組み合わせにおいて、単独で又は他の要素と協働して、動作において再生するか、又は、特定された機能を再生するように設計された（別個の又は一体化された回路又は電子要素のような）ハードウェア又は（プログラム又はプログラムの部分のような）ソフトウェアを含むことを意味する。本発明は、幾つかの別個の要素を有するハードウェアにより、及び、適切にプログラムされたコンピュータにより実装され得る。幾つかの手段を列挙している、装置に係る請求項において、これらの手段の幾つかは、一のハードウェア及びハードウェアの同一のアイテムにより具現されてもよい。"コンピュータプログラムプロダクト"とは、フロッピーディスク、インターネット等のネットワークを介したダウンロード可能物、又は、任意の他の態様の市場性のあるもののような、コンピュータ読み取り可能な媒体上に格納された任意のソフトウェアプロダクトを意味することが理解されるべきである。

Claims

アンビエント照明とともに表示されるべき複数の画像のシーケンスを生成する方法であって、
複数の画像のそれぞれの少なくとも１つの特徴を抽出するステップと、
抽出された少なくとも１つの特徴に基づいて前記複数の画像のそれぞれとともに表示されるべきアンビエント照明を選択するステップと、
前記複数の画像の表示のための順序に従って、前記複数の画像の表示の間、前記アンビエント照明の変化の滑らかな遷移を与えるために、選択されたアンビエント照明に基づいて前記順序を決定するステップとを有する、方法。
抽出された少なくとも１つの特徴は、色を有する、請求項１に記載の方法。
前記複数の画像のそれぞれとともに表示されるべきアンビエント照明を選択するステップは、前記複数の画像のそれぞれの最も支配的な色に対応する色をもつアンビエント照明を選択するステップを有する、請求項２に記載の方法。
前記複数の画像のそれぞれとともに表示されるべきアンビエント照明を選択するステップは、前記画像において反射された光源の色に対応する色をもつアンビエント照明を選択するステップを有する、請求項２に記載の方法。
前記複数の画像の表示のための順序を決定するステップは、
選択されたアンビエント照明の色をＨＳＶ色空間に変換するステップと、
選択されたアンビエント照明の色の変化が色相環に従うように前記複数の画像の表示のための第１の順序を決定するステップと、
決定された第１の順序に従って前記複数の画像を順序付けるステップとを有する、請求項２に記載の方法。
前記複数の画像の表示のための順序を決定するステップは、
選択されたアンビエント照明の色の変化が予め決められた条件に合う彩度及び／又は値をもつ画像に関する色相環に従うように、決定された第１の順序における前記複数の画像の表示のための少なくとも１つの他の順序を決定するステップを更に有する、請求項５に記載の方法。
前記複数の画像の表示のための少なくとも１つの他の順序を決定するステップは、
選択されたアンビエント照明の色の変化が第１の予め決められた値よりも大きい彩度及び値をもつ画像に関する色相環に従うように、決定された第１の順序における前記複数の画像の表示のための第２の順序を決定するステップと、
決定された第２の順序に従って前記複数の画像を順序付けるステップとを更に有する、請求項６に記載の方法。
前記複数の画像の表示のための少なくとも１つの他の順序を決定するステップは、
選択されたアンビエント照明の色の変化が前記第１の予め決められた値及び第２の予め決められた値の範囲内にある彩度及び値をもつ画像に関する色相環に従うように、決定された第２の順序における前記複数の画像の表示のための第３の順序を決定するステップと、
決定された第３の順序に従って前記複数の画像を順序付けるステップとを更に有する、請求項７に記載の方法。
前記第１の予め決められた値は、前記第２の予め決められた値よりも大きい、請求項８に記載の方法。
前記複数の画像の表示のための順序を決定するステップは、予め決められた閾値よりも小さい彩度及び値をもつ画像を表示のための前記順序から除外するステップを有する、請求項５に記載の方法。
請求項１〜１０のうちいずれか一項に記載の方法を実行するための複数のプログラムコード部分を有する、コンピュータプログラム。
アンビエント照明とともに表示されるべき複数の画像のシーケンスを生成するための装置であって、
複数の画像のそれぞれの少なくとも１つの特徴を抽出するための抽出部と、
抽出された少なくとも１つの特徴に基づいて前記複数の画像のそれぞれとともに表示されるべきアンビエント照明を選択するための選択部と、
前記複数の画像の表示のための順序に従って、前記複数の画像の表示の間、前記アンビエント照明の変化の滑らかな遷移を与えるために、選択されたアンビエント照明に基づいて前記順序を決定する処理部とを有する、装置。
決定された順序に従って前記複数の画像を表示するためのディスプレイ、及び、決定された順序に従って選択されたアンビエント光源を生成するためのアンビエント光源を制御するための制御部を更に有する、請求項１２に記載の装置。