JP2017517818A

JP2017517818A - デジタル画像の色を処理するための方法及びシステム

Info

Publication number: JP2017517818A
Application number: JP2016571388A
Authority: JP
Inventors: シャマレット，クリステル; クゾフキン，ドゥミトリー; ポウリ，タニア
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2014-06-12
Filing date: 2015-06-11
Publication date: 2017-06-29
Also published as: EP3155593A1; KR20170017911A; EP3155593B1; WO2015189343A1; CN106462986A; US10204432B2; US20170116765A1

Abstract

デジタル画像に再着色するシステム及び方法を開示する。プロセッサ及びメモリを含むシステムは、第１の画像、例えばグレースケール原画像の輝度情報を取得し（９０１）、第２の画像、例えばグレースケール原画像の着色画像の色情報を取得する（９０２）ための記憶済み命令を実行することができる。第１の画像の輝度情報に基づいて複数の分割画像領域を決定することができる（９０３）。第２の画像の色情報に基づいて分割画像領域ごとにカラーシードを決定することができる（９０４）。分割画像領域のカラーシードを拡散させることに基づいて第３の画像、例えば再着色画像を決定することができる（９０５）。

Description

技術分野
本開示は、一般にデジタル画像の色を処理するための方法及びシステムに関し、より詳細には、前に画像処理を施されたデジタル画像に再着色する方法及びシステムに関する。

背景
グレースケール画像に着色し、カラー画像に再着色するための従来のプロセスは、結果として生じる画像内の視覚的アーティファクトを引き起こす場合がある。例えば従来の着色プロセス、とりわけ色転写や色調和等の自動のカラー画像処理／マッピング方法は、原画像内で色及び／又は輝度値が滑らかに変化する領域内の色の不整合を発生させる場合がある。従って、原画像内には存在しない強い人為的な色エッジ（artificial color edge）が結果として生じる画像内で作り出され得る。加えて、色を直接修正しない他の種類の画像処理も画像の色に影響を及ぼす視覚的アーティファクトを作り出す場合がある。

概要
本明細書では、従来の着色、再着色、又は画像の色に影響を及ぼす他の画像処理が施された画像内の視覚的アーティファクトをなくし又は減らし得る、デジタル画像に再着色するための様々なシステム及び方法を記載する。例えば、グレースケール原画像（又はカラー原画像）を着色プロセス（又は再着色プロセス）にかけて着色画像（又は再着色画像）をもたらすことができる。様々な実施形態において、第１の画像（例えばグレースケール又はカラー原画像）の輝度情報を得ることができ、第２の画像（例えば第１の画像の画像処理から生じる着色画像又は再着色画像）の色情報を得ることができる。第１の画像の輝度情報に基づいて複数の分割画像領域を決定することができる。第２の画像の色情報に基づいて分割画像領域ごとにカラーシードを決定することができる。カラーシードは、例えば第２の画像（例えば着色画像又は再着色画像）内の分割画像領域の主色を表すことができる。分割画像領域のカラーシードを拡散させることに基づいて第３の画像（例えば色補正された画像）を決定することができる。この点に関して、様々な実施形態は、任意のカラー画像処理方法の表示品位を改善するための後処理として実施可能な正則化法と見なすことができる。このようにして、例えば着色、再着色、又は他の画像処理から生じる視覚的アーティファクトを減らし又はなくすことができる。

図面の簡単な説明
様々な実施形態による画像収集装置のブロック図である。様々な実施形態による方法の一例の流れ図である。様々な実施形態による、着色しようとする入力グレースケール画像の図である。様々な実施形態による、グレースケール画像を分割することによって生じる分割画像領域を含む分割画像を示す。様々な実施形態による、分割画像領域ごとに決定されたモルフォロジカルスケルトンを含む分割画像を示す概念図である。様々な実施形態による、カラーシード済みのモルフォロジカルスケルトンを示す概念図である。様々な実施形態による、カラーシード済みのモルフォロジカルスケルトンからの色拡散を示す概念図である。様々な実施形態による、入力グレースケール画像の着色画像の概念図である。様々な実施形態による別の方法の一例の流れ図である。様々な実施形態による、グレースケール原画像の着色画像に再着色するための図９の方法の一実装形態例の概念図を示す。様々な実施形態による、グレースケール原画像の着色画像に再着色するための図９の方法の一実装形態例の概念図を示す。様々な実施形態による機器の別の例を示す。

図面は本開示の概念を示すためのものであり、必ずしも本開示を示すためのあり得る唯一の構成ではないことを理解すべきである。

詳細な説明
グレースケール画像の着色、カラー画像の再着色、及び他の種類の画像処理のためのプロセスは、結果として生じる画像の色の視覚的アーティファクトを発生させる場合がある。本明細書で説明するのは、視覚的アーティファクトがより少ない又はない、結果として生じる画像を作成することができる着色及び再着色のための様々なシステム及び方法である。様々な実施形態において、それらの技法はデジタル画像を着色及び／又は再着色するための独立型の方法として使用することができる。様々な実施形態において、それらの技法は、他の着色又は再着色プロセスから生じ得る視覚的アーティファクトの補正を助けるための後処理として実施することができる。従来の一部の方法は、例えば原画像内で色及び／又は輝度値が滑らかに変化する領域内の色の不整合を発生させる場合がある。従って、原画像内には存在しない強い人為的な色エッジが結果として生じる画像内で作り出され得る。この点に関して、様々な実施形態は、任意のカラー画像処理方法の表示品位を改善するための後処理技法と見なすことができる正則化法として実装することができる。色転写や色調和等のアルゴリズムをまず使用することができ、本明細書に記載の技法を実施するプロセスを後処理として後で適用することができる。

本明細書に記載の技法は、画像処理ソフトウェアを実行するパーソナルコンピュータ、画像処理機能を含む画像収集装置、例えばカメラやビデオカメラ等、スマートフォン、タブレットコンピュータ等、画像処理を行うことができる任意の種類の装置によって実装することができる。例えば図１は、様々な実施形態による画像収集装置１００のブロック図である。図１では、風景から反射される光１０２を光学素子１０４が収集し、合焦することができる。合焦光１０６は、例えば電荷結合デバイスや他の種類の光検出システムであり得る検出器１０８上に投影することができる。合焦光１０６は、検出器１０８によって電気信号に変換することができ、その後、信号線１１０上で検出器コントローラ１１２に転送され得る。検出器コントローラ１１２内で、検出器１０８からの個々の信号をデジタル画像へと変換することができる。次いでそのデジタル画像を、更に処理するためにプロセッサ１１４によってバス１１６上でランダムアクセスメモリ（ＲＡＭ）１１８に転送することができる。ＲＡＭ１１８は、ダイナミックＲＡＭ（ＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、フラッシュメモリモジュール、又は他の種類のコンピュータメモリとすることができる。

光学素子１０４がプロセッサ１１４によって制御されることを可能にするために、光学素子１０４をバス１１６に接続することができる。例えばプロセッサ１１４は、バス１１６によって光学素子１０４のフォーカス、絞り、又は他の特性を調節することができる。

プロセッサ１１４は、バス１１６からアクセス可能であり得る読取専用メモリ（ＲＯＭ）１２０内に含まれる画像収集及び処理プログラムによって制御され得る。プログラムはＲＯＭ内になくても良いが、とりわけディスクドライブ、フラッシュカード、電気的消却・プログラム可能型読取専用メモリ（ＥＥＰＲＯＭ）等の任意の種類の長期記憶域内に含まれ得る。概して、ＲＯＭ１２０内のプログラムは、図２〜図１０に関して論じる画像の着色、再着色、及び色補正手続きを含み得る。

デジタル画像は、デジタルビデオテープ、追記型光ディスク、ハードドライブ等、別個のデジタル画像記憶域１２２内に処理前又は処理後に記憶することができる。デジタル画像記憶域１２２は、プログラム記憶域と組み合わせることもできる。例えば、プログラム及びデジタル画像の両方を何れも記憶するためにディスクドライブを使用することができる。

画像は、バス１１６に接続され得るディスプレイユニット１２４上に表示することができる。プロセッサ１１４による画像の収集及び処理を制御するために、制御部１２６もバス１１６に接続することができる。かかる制御部１２６は、キーパッド、選択ノブ、及びズーム、フォーカス、画像の収集開始等の機能用の別個のボタンを含み得る。

画像は、バス１１６に接続され得るネットワークインタフェースコントローラ（ＮＩＣ）１２８を介して画像収集装置１００から転送することができる。ＮＩＣ１２８は、外部のローカルエリアネットワーク（ＬＡＮ）１３０に接続することができ、ＬＡＮ１３０は、ＬＡＮ１３０上にある外部装置１３２に画像を転送するために使用され得る。

上記に示した機能ブロックの構成はあり得る１つの構成に過ぎず、他の任意の数の構成を使用することができる。例えば、デジタル収集装置のＲＡＭ１１８との間で直接メモリアクセス、即ちＤＭＡ転送を直接行えるようにするために、ＮＩＣ１２８をＲＡＭ１１８の領域に直接結合することができる。この形態は、高精細デジタルビデオカメラにおいて等、大量のデータが関与する場合にデータの転送を加速することができる。更に、他の構成では、制御部１２６及びディスプレイ１２８を単一のユニットへと組み合わせることができる。更に他の組合せでは、プロセッサ１１４から表示機能を肩代わりさせるために、ディスプレイ１２８を検出器コントローラ１１２に直接接続することができる。

図２は、様々な実施形態による方法の一例の流れ図である。一部の実施形態では、この方法はグレースケール画像に着色するために実施することができる。一部の実施形態では、この方法はカラー画像に再着色するために実施することができる。同様に一部の実施形態では、この方法は、他の着色又は再着色プロセスから生じ得る視覚的アーティファクトの補正を助けるための後処理ステップとして使用することができる。図３〜図８は、様々な実施形態による、グレースケール画像に着色するために図２の方法を実施する一例を示すための概念図である。図２の方法についての以下の説明の間、ある特定の実施形態に従って図２の方法をどのように実施できるのかを示すために図３〜図８を参照する。

図２を参照し、例えば画像収集装置１００のデジタル画像記憶域１２２等の画像処理装置のメモリから、処理される画像（例えば着色しようとするグレースケール画像や再着色しようとするカラー画像）を得ることができる。例えば、図３は着色しようとする入力グレースケール画像３００の図である。この画像は、分割画像領域を得るために分割することができる（２０１）。例えば図４は、グレースケール画像３００を分割することによって生じる分割画像領域４０１を含む分割画像４００を示す。

分割は、ピクセルを知覚的に有意味の領域へとグループ化することによって整合領域を推定することができるスーパーピクセル分割を含み得る。ピクセルのグループ化は、画像冗長性を捕捉し、画像特徴の計算元となる便利な原形を提供し、その後の画像処理タスクの複雑さを下げることができる。場合によっては、スーパーピクセルアルゴリズム自体が、更なるカラーアーティファクトを引き起こし得る過度な分割又は不十分な分割を作り出す可能性がある。様々な実施形態において、分割は、更なるアーティファクトの作成を軽減することができる修正されたスーパーピクセル分割を含み得る。修正されたスーパーピクセル分割は、画像を過度に分割し、その後、空間的に近く同様の統計（例えば同様の輝度平均及び分散）を有するスーパーピクセルをマージすることを含み得る。例えば、スーパーピクセルアルゴリズムの適用後、

が成立する場合、隣接するスーパーピクセルＳ１及びＳ２をマージすることができ、μ_Ｓ２、μ_Ｓ１及びσ_Ｓ２、σ_Ｓ１は、検討するスーパーピクセルの平均及び分散のそれぞれである。Ｔは、２．５に設定することができる閾値である。

スーパーピクセル分割は、使用可能な分割の一種に過ぎないことに留意すべきである。但し、当業者なら容易に理解するように画像を分割するための他の方法を実装することもできる。様々な実施形態において、分割はグレースケール画像３００等の着色しようとする入力画像の輝度情報、例えば輝度成分に基づくことができる。カラー画像に（例えば着色プロセスによって引き起こされたアーティファクトを除去するために）再着色する一部の実施形態では、分割がカラー画像自体の輝度情報に基づき得るのに対し、他の実施形態では、分割が、着色され着色画像がもたらされたグレースケール原画像の輝度情報に基づき得る（グレースケール原画像の輝度情報が得られる場合）。

様々な実施形態において、図２及び図３〜図８の方法は、画像に施されている可能性がある過去の如何なる画像処理にも関係なく、即ち過去の如何なる画像処理とも無関係にグレースケール画像及びカラー画像に適用することができる。様々な実施形態において、これらの方法は、過去の画像処理から生じ得るアーティファクトを補正するための画像の後処理に使用することができる。

画像の分割後、分割画像領域ごとにモルフォロジカルスケルトン（例えば中心軸表現）を決定することができる（２０２）。即ち、分割画像領域はモルフォロジカルスケルトンを決定するための基礎を与えることができる。モルフォロジカルスケルトンは、色拡散プロセスにおける色の開始位置として使用することができる。モルフォロジカルスケルトンは、他の種類のストロークを使用すること又は開始位置の点を使用することに比べ、より優れた色拡散結果をもたらすことができる。具体的には、モルフォロジカルスケルトンは、分割画像領域の全体を通して色がより均等に拡散され得るように分割画像領域により良く及ぶことができる。このことは、とりわけ各分割画像領域内の単一点が開始位置として使用される場合、分割画像領域のエッジ付近で生じ得る不所望の彩度低下を減らすことができる。

図５は、分割画像領域４０１ごとに決定されたモルフォロジカルスケルトン５０１を含む分割画像を示す概念図５００である。

各モルフォロジカルスケルトンに色を関連付けることができる（２０３）。即ち、各モルフォロジカルスケルトンに色をシードすることができる。様々な実施形態において、各モルフォロジカルスケルトンに関連付けられた色は、例えば再着色しようとする入力カラー画像、カラーテンプレート画像、ユーザ入力等に基づき得る。

上記で説明したように、分割画像領域はモルフォロジカルスケルトンを決定するための基礎を提供することができる。様々な実施形態において、分割画像領域はモルフォロジカルスケルトンに関連付けられた色を決定するための基礎を提供することもできる。例えば、入力カラー画像に再着色することを目的とする様々な実施形態において、各モルフォロジカルスケルトンに関連付けられた色は様々な方法で決定することができる。例えば一部の実施形態では、各モルフォロジカルスケルトンに関連付けられた色は、入力カラー画像内の分割画像領域内の色に基づき得る。例えば、各モルフォロジカルスケルトンに色を関連付けることは、入力カラー画像内の分割画像領域の最多色を決定することを含み得る。様々な実施形態において、各モルフォロジカルスケルトンに関連付けられた色は、入力カラー画像内の分割画像領域の平均色や中央色等に基づいて決定することができる。各モルフォロジカルスケルトンに関連付けられた色を決定するための他の方法は、例えば入力カラー画像内の色調をクラスタリングし、当業者なら容易に理解する様々な投票方式の１つ又は複数を使用して最も近い色調を各分割画像領域に割り当てることを含み得る。

入力グレースケール画像に着色することを目的とする様々な実施形態において、各モルフォロジカルスケルトンに関連付けられた色は様々な方法で決定することができる。例えば一部の実施形態では、分割画像領域の境界を示す入力グレースケール画像を利用者に表示することができ、利用者は分割画像領域ごとに所望の色を入力することができる。所望の色は対応するモルフォロジカルスケルトンに関連付けることができる。他の実施形態では、モルフォロジカルスケルトンに関連付けられた色を決定するためのテンプレートとしてカラー画像を使用することができる。例えば、カラーテンプレート画像も分割することができ、例えばテクスチャマッピング等に基づき、カラーテンプレート画像の分割画像領域を入力グレースケール画像の分割画像領域にマッチさせることができる。色は、例えば入力グレースケール画像内の分割画像領域にマッチするカラーテンプレート画像内の分割画像領域の最多色、平均色、中央色等に基づいてモルフォロジカルスケルトンに関連付けることができる。

図６は、モルフォロジカルスケルトン５０１に色を関連付けることによって得られるカラーシード済みのモルフォロジカルスケルトン６０１を示す概念図６００である。

各モルフォロジカルスケルトンから色を拡散させることができる（２０４）。様々な実施形態において、モルフォロジカルスケルトンからの色拡散は、例えば近くのピクセルの輝度を考慮に入れることができるレヴィンアルゴリズムに基づくことができ、そのため輝度が同様の場合は近くのピクセルに色を拡散させ、輝度が同様でない場合は色を拡散させない。所与の任意のピクセルにおいて、或るモルフォロジカルスケルトンからの色拡散がことによると１つ又は複数の他のモルフォロジカルスケルトンからの色拡散と重複する場合がある。その場合、ピクセルに割り当てる最終的な色を決定するために様々な方法を使用することができる。例えば様々な実施形態において、各モルフォロジカルスケルトンからの拡散色の信頼値を決定することができる。信頼値は比較することができ、信頼値が最も高い拡散色をピクセルに割り当てることができる。他の実施形態では、各モルフォロジカルスケルトンからの拡散色に対する重みを決定することができ、その重みに基づいて拡散色を組み合わせ、ピクセルに割り当てる最終的な色値を得ることができる。様々な実施形態において、重み及び／又は信頼水準は、例えばモルフォロジカルスケルトンからの距離、モルフォロジカルスケルトンの大きさ、重複する拡散色間の差等を含む因子に基づき得る。当業者なら容易に理解するテクスチャや境界等を考慮に入れる方法等、色を拡散させる他の方法も使用することができる。

図７は、カラーシード済みのモルフォロジカルスケルトン６０１からの色拡散を示す概念図７００である。色拡散は、カラーシード済みのモルフォロジカルスケルトンから延びる小さい矢印によって示されている。明瞭にするために、カラーシード済みのモルフォロジカルスケルトンの一部についてのみ色拡散を示すが、カラーシード済みのモルフォロジカルスケルトンの全てから色が拡散されることを理解すべきである。

拡散色に基づいてカラー画像を得ることができる（２０５）。例えば様々な実施形態において、カラー画像は色拡散の直接的な結果であり得る。一部の実施形態では、色拡散の結果に他の処理を施して最終的なカラー画像を得ることができる。他の処理は、例えばガンマ補正や色飽和度の調節等を含み得る。図８は、カラーシード済みのモルフォロジカルスケルトン６０１の色拡散から生じ得る入力グレースケール画像３００の着色画像８００の概念図である。

図９は、様々な実施形態による別の方法の一例の流れ図である。この方法は、例えば他の着色又は再着色プロセスから生じ得る視覚的アーティファクトの補正を助けるための後処理ステップとして、カラー画像に再着色するために実施することができる。この点に関して、この方法は、色転写、色調和、グレースケール写真の着色等、自動のカラー画像処理／マッピング方法によって引き起こされる典型的なアーティファクトを減らし又はなくすのを助けることができる。とりわけ従来の一部の画像処理方法は、原画像内で色及び／又は輝度値が滑らかに変化する領域内の色の不整合を発生させる場合がある。例えば、従来の一部の着色方法は、原画像内には存在しない空間的不規則性や強い人為的な色エッジ等を作り出すことがある。図９の方法は、任意のカラー画像処理方法の表示品位を改善するための後処理として実施可能な正則化法と見なすことができる。

図１０Ａ〜図１０Ｂは、グレースケール原画像の着色画像に再着色するための図９の方法の一実装形態例の概念図を示す。図９の方法についての以下の説明の間、或る特定の実施形態に従って図９の方法をどのように実施できるのかを示すために図１０Ａ〜図１０Ｂを参照する。

図９を参照し、原画像の輝度情報を得ることができる（９０１）。輝度情報は、例えば各ピクセルにおける輝度チャネル値等、原画像の輝度成分を含み得る。修正画像の色情報を得ることができる（９０２）。色情報は、例えば各ピクセルにおけるカラーチャネル値等、修正画像の色成分を含み得る。修正画像は、原画像の画像処理から生じる画像であり得る。様々な実施形態において、修正画像はグレースケール原画像の着色版とすることができる。例えば図１０Ａ〜図１０Ｂに示す実装形態では、例えば従来の着色方法を使用してグレースケール原画像１０００を着色し、着色画像１００１をもたらしている。一部の実施形態では、修正画像はカラー原画像の再着色版とすることができる。

原画像の輝度情報に基づいて分割画像領域を決定することができる（９０３）。図２の方法に関して上記で説明した方法のように、分割はスーパーピクセル分割を含み得る。場合によっては、スーパーピクセルアルゴリズム自体が、更なるカラーアーティファクトを引き起こし得る過度な分割又は不十分な分割を作り出す可能性がある。様々な実施形態において、分割は、画像を過度に分割し、その後、空間的に近く同様の統計（例えば同様の輝度平均及び分散）を有するスーパーピクセルをマージすることを含み得る、修正されたスーパーピクセル分割を含むことができる。例えば、スーパーピクセルアルゴリズムの適用後、例えば上記の等式（１）に基づいて隣接するスーパーピクセルＳ１及びＳ２をマージすることができる。本明細書ではスーパーピクセル分割を１つの分割方法として記載するが、当業者なら容易に理解するように他の画像分割方法も実施することができる。

図１０Ａは、輝度情報１００３がグレースケール原画像１０００から取得可能であること、及び分割画像領域１００５が輝度情報に基づいて決定可能であることを示す。

修正画像の色情報に基づいて分割画像領域ごとにカラーシードを決定することができる（９０４）。様々な実施形態において、分割画像領域ごとにカラーシードを決定することは、分割画像領域に対応するモルフォロジカルスケルトンや点等の開始位置を決定し、そのモルフォロジカルスケルトンに色を関連付けることを含むことができ、関連付けられた色は修正画像の色情報に基づく。当業者なら容易に理解するように、例えばモルフォロジカルスケルトンを決定し、モルフォロジカルスケルトンに色をシードするために図２の方法に関して上記で説明した技法を適用することができる。開始位置として点や他の形状を決定し、開始位置に色をシードするために同様の技法を使用することができる。例えば、各開始位置は各分割画像領域の中心点として決定することができる。

図１０Ａは、分割画像領域ごとに決定される開始位置１００７を示す。明瞭にするために、図１０Ａでは開始位置１００７を点で図示する。但し、開始位置は例えば点、モルフォロジカルスケルトン、他のストローク等であり得ることを理解すべきである。着色画像１００１から色情報１００９を得ることができ、色情報に基づいて色を開始位置１００７にシードしてカラーシード１０１１を得ることができる。

分割画像領域は、カラーシードの色を決定するための基礎を与えることができることに留意すべきである。例えば様々な実施形態において、各モルフォロジカルスケルトンや点等に関連付けられた色は、修正画像、例えば図１０Ａ〜図１０Ｂの例の着色画像内の分割画像領域の色に基づき得る。例えば、各モルフォロジカルスケルトンや点等に色を関連付けることは、修正画像内の分割画像領域の最多色を決定することを含み得る。様々な実施形態において、各モルフォロジカルスケルトンや点等に関連付けられた色は、修正画像内の分割画像領域の平均色や中央色等に基づいて決定することができる。各モルフォロジカルスケルトンや点等に関連付けられた色を決定するための他の方法は、例えば修正画像内の色調をクラスタリングし、当業者なら容易に理解する様々な投票方式の１つ又は複数等を使用して最も近い色調を各分割画像領域に割り当てることを含み得る。

カラーシードを拡散させることに基づいて再着色画像を決定することができる（９０５）。図２に関して上記で説明したように、様々な実施形態において、色拡散は、例えば近くのピクセルの輝度を考慮に入れることができるレヴィンアルゴリズムに基づくことができ、そのため輝度が同様の場合は近くのピクセルに色を拡散させ、輝度が同様でない場合は色を拡散させない。この場合、各ピクセルの輝度は、原画像内のピクセルの輝度成分等の輝度情報に基づき得る。当業者なら容易に理解するテクスチャや境界等を考慮に入れる方法等、色を拡散させる他の方法も使用することができる。色成分はカラーシードを拡散させることに基づいて決定することができ、再着色画像は色成分を原画像の輝度成分と組み合わせることによって決定することができる。

図１０Ｂでは、カラーシード１０１１から延びる小さい矢印により、シードからの色拡散１０１３を示す。色拡散１０１３に基づいて再着色画像１０１５を決定することができる。図２に関して上記で説明した方法のように、様々な実施形態において、再着色画像は色拡散の直接的な結果であり得る。一部の実施形態では、色拡散の結果に他の処理を施して最終的な再着色画像を得ることができる。他の処理は、例えばガンマ補正や色飽和度の調節等を含み得る。

図１１は、様々な実施形態による機器の別の例を示す。図１１は、デジタル画像に着色し、再着色するための上述の様々な技法を実装するための機器１１００のブロック図である。機器１１００は、例えば汎用計算プラットフォームとして実装することができる。

機器１１００は、上述の様々な技法を実行するコンピュータ実行可能プログラムを実行するためのプロセッサ１１１０を含み得る。プログラムはメモリ１１２０内に記憶することができ、メモリ１１２０は画像データも記憶することができる。バス１１３０が、プロセッサ１１１０及びメモリ１１２０を互いに、及び機器１１００の他のコンポーネントに接続することができる。一部の実施形態では、機器１１００が、プログラムの様々な部分を並列に実行することができる複数のプロセッサ又は複数の処理コアを有するプロセッサを含み得る。

大容量記憶装置１１４０が、ディスクコントローラ１１５０を介してバス１１３０に接続され得る。大容量記憶装置１１４０は、画像データ又は映像データ、並びにオペレーティングシステム、他のプログラム、他のデータ等を含み得る。ディスクコントローラ１１５０は、ＳＡＴＡ（Serial Advanced Technology Advancement）、ＳＣＳＩ（Small Computer System Interface）、又は他の規格に従って動作することができ、複数の大容量記憶装置への接続を与えることができる。

ビデオディスプレイ１１６０が、ビデオコントローラ１１７０を介してバス１１３０に接続され得る。ビデオコントローラ１１７０は、着色、再着色、若しくは色補正プロセスの特定の側面を実施し又は加速する際に使用するために、並びに画像及びＵＩ表示の機能を提供するために、独自のメモリ及びグラフィックス処理能力を備えることができる。

入力装置１１８０が、入出力（Ｉ／Ｏ）コントローラ１１９０を介してバス１１３０に接続され得る。Ｉ／Ｏコントローラ１１９０は、ＵＳＢ、ＩＥＥＥ１３９４ａ、又は他の規格の１つ若しくは複数を利用することができる。キーボード、マウス、トラックパッド等、複数の入力装置が接続され得る。Ｉ／Ｏコントローラ１１９０又は他のＩ／Ｏ規格を実装する追加のＩ／Ｏコントローラにより、画像及び映像捕捉装置もシステムに接続することができる。Ｉ／Ｏコントローラ１１９０又は別個のＩ／Ｏコントローラにより、ネットワーキング機能が与えられ得る。

本開示の方法の様々な側面を複数のシステム上で並列に実行し、より高速の処理を可能にし得ることを当業者なら理解されよう。例えば映像ファイルを処理する場合、数十又は数百の計算システムの間でフレームを分割して並列処理をもたらすことができる。一部の動作環境内では、一部のシステムでビデオディスプレイ１１６０等の特定のコンポーネントを省略することができる。更に、複数のシステムがＩ／Ｏバス又はネットワークによってアクセスされる共用記憶域を利用しても良い。

機器１１００は、デジタルスチルカメラやデジタルビデオカメラ等の画像捕捉装置内に実装できることを当業者なら更に理解されよう。本明細書で開示した様々な技法が、着色、再着色、又は色補正を行うために機器１１００によって画像の捕捉時に実施され得る。

様々な実施形態は、プロセッサと、第１の画像の輝度情報を得ること、第２の画像の色情報を得ることであって、第２の画像は第１の画像の画像処理から生じる画像である、色情報を得ること、第１の画像の輝度情報に基づいて複数の分割画像領域を決定すること、第２の画像の色情報に基づいて分割画像領域ごとにカラーシードを決定すること、及び分割画像領域のカラーシードを拡散させることに基づいて第３の画像を決定することをプロセッサに行わせるように構成される命令を記憶するメモリとを含む、システムを含み得る。様々な実施形態において、分割画像領域を決定することは、第１の画像の輝度情報に基づいてスーパーピクセル分割を行うことを含む。様々な実施形態において、分割画像領域を決定することは、２つ以上のスーパーピクセルをマージすることを更に含み、スーパーピクセルはスーパーピクセル分割を行うことによって生じる。様々な実施形態において、分割画像領域ごとにカラーシードを決定することは、分割画像領域内の点を決定し、その点に色を関連付けることを含み、関連付けられた色は第２の画像の色情報に基づく。様々な実施形態において、分割画像領域ごとにカラーシードを決定することは、分割画像領域に対応するモルフォロジカルスケルトンを決定し、そのモルフォロジカルスケルトンに色を関連付けることを含み、関連付けられた色は第２の画像の色情報に基づく。様々な実施形態において、モルフォロジカルスケルトンに色を関連付けることは、第２の画像内の分割画像領域の最多色を決定し、その最多色をモルフォロジカルスケルトンに関連付けることを含む。様々な実施形態において、カラーシードを拡散させることに基づいて第３の画像を決定することは、輝度情報に基づいてカラーシードを拡散させることを含む。様々な実施形態において、第１の画像の輝度情報は第１の画像の輝度成分を含み、第３の画像を決定することは、カラーシードを拡散させて色成分を取得し、その色成分を第１の画像の輝度成分と組み合わせることを含む。

様々な実施形態は、第１の画像の輝度情報を得ることと、第２の画像の色情報を得ることであって、第２の画像は第１の画像の画像処理から生じる画像である、色情報を得ることと、第１の画像の輝度情報に基づいて複数の分割画像領域を決定することと、第２の画像の色情報に基づいて分割画像領域ごとにカラーシードを決定することと、分割画像領域のカラーシードを拡散させることに基づいて第３の画像を決定することとを含む、方法を含み得る。様々な実施形態において、分割画像領域を決定することは、第１の画像の輝度情報に基づいてスーパーピクセル分割を行うことを含む。様々な実施形態において、分割画像領域を決定することは、２つ以上のスーパーピクセルをマージすることを更に含み、スーパーピクセルはスーパーピクセル分割を行うことによって生じる。様々な実施形態において、分割画像領域ごとにカラーシードを決定することは、分割画像領域内の点を決定し、その点に色を関連付けることを含み、関連付けられた色は第２の画像の色情報に基づく。様々な実施形態において、分割画像領域ごとにカラーシードを決定することは、分割画像領域に対応するモルフォロジカルスケルトンを決定し、そのモルフォロジカルスケルトンに色を関連付けることを含み、関連付けられた色は第２の画像の色情報に基づく。様々な実施形態において、モルフォロジカルスケルトンに色を関連付けることは、第２の画像内の分割画像領域の最多色を決定し、その最多色をモルフォロジカルスケルトンに関連付けることを含む。様々な実施形態において、カラーシードを拡散させることに基づいて第３の画像を決定することは、輝度情報に基づいてカラーシードを拡散させることを含む。様々な実施形態において、第１の画像の輝度情報は第１の画像の輝度成分を含み、第３の画像を決定することは、カラーシードを拡散させて色成分を取得し、その色成分を第１の画像の輝度成分と組み合わせることを含む。

様々な実施形態は、第１の画像の輝度情報を得ることと、第２の画像の色情報を得ることであって、第２の画像は第１の画像の画像処理から生じる画像である、色情報を得ることと、第１の画像の輝度情報に基づいて複数の分割画像領域を決定することと、第２の画像の色情報に基づいて分割画像領域ごとにカラーシードを決定することと、分割画像領域のカラーシードを拡散させることに基づいて第３の画像を決定することとを含む方法を行うために実行可能なコンピュータ実行可能命令を記憶する、非一時的コンピュータ可読媒体を含み得る。様々な実施形態において、分割画像領域を決定することは、第１の画像の輝度情報に基づいてスーパーピクセル分割を行うことを含む。様々な実施形態において、分割画像領域を決定することは、２つ以上のスーパーピクセルをマージすることを更に含み、スーパーピクセルはスーパーピクセル分割を行うことによって生じる。様々な実施形態において、分割画像領域ごとにカラーシードを決定することは、分割画像領域内の点を決定し、その点に色を関連付けることを含み、関連付けられた色は第２の画像の色情報に基づく。様々な実施形態において、分割画像領域ごとにカラーシードを決定することは、分割画像領域に対応するモルフォロジカルスケルトンを決定し、そのモルフォロジカルスケルトンに色を関連付けることを含み、関連付けられた色は第２の画像の色情報に基づく。様々な実施形態において、モルフォロジカルスケルトンに色を関連付けることは、第２の画像内の分割画像領域の最多色を決定し、その最多色をモルフォロジカルスケルトンに関連付けることを含む。様々な実施形態において、カラーシードを拡散させることに基づいて第３の画像を決定することは、輝度情報に基づいてカラーシードを拡散させることを含む。様々な実施形態において、第１の画像の輝度情報は第１の画像の輝度成分を含み、第３の画像を決定することは、カラーシードを拡散させて色成分を取得し、その色成分を第１の画像の輝度成分と組み合わせることを含む。

様々な実施形態の様々な例を本明細書で詳細に図示し説明してきたが、本開示の範囲に依然として含まれる他の改変実施形態を当業者なら容易に考案できることも理解すべきである。

本明細書で挙げた全ての例及び条件付き言語は、当技術分野を促進するために発明者が与える本開示の原理及び概念を読者が理解するのを助ける教示を目的とするものであり、具体的に挙げたかかる例及び条件に限定されないものと解釈すべきである。

更に、本開示並びに本開示の具体例の原理、態様、及び実施形態を挙げる全ての表現は、その構造上の均等物及び機能上の均等物の両方を包含することを意図する。加えて、かかる均等物は、現在知られている均等物並びに将来開発される均等物、即ち構造に関係なく同じ機能を実行する開発される任意の要素の両方を含むことを意図する。

従って、例えば本明細書に示したブロック図は、本開示の原理を具体化する例示的回路、電気部品、光学部品等の概念図を示すことを当業者なら理解されよう。同様に、任意の工程図、流れ図、状態遷移図、疑似コード等は、コンピュータ可読媒体内で実質的に表わすことができ、そのためコンピュータ又はプロセッサによって、かかるコンピュータ又はプロセッサが明確に示されていようがいまいが実行される様々なプロセスを表すことが理解されよう。

図示の様々な要素の機能は、専用ハードウェア並びに適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアを使用することによって与えられ得る。プロセッサによって与えられるとき、それらの機能は単一の専用プロセッサによって、単一の共用プロセッサによって、又はその一部が共用され得る複数の個別のプロセッサによって与えられ得る。更に、「プロセッサ」又は「コントローラ」という用語を明確に使用することは、ソフトウェアを実行可能なハードウェアに排他的に言及するものだと解釈すべきではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読取専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発性記憶域を制限なしに暗に含み得る。

他の従来の及び／又は特注のハードウェアも含まれ得る。同様に、図示の如何なるスイッチも概念上のものに過ぎない。その機能は、プログラムロジックの操作によって、専用ロジックによって、プログラム制御と専用ロジックとの対話によって、又は手動でさえ実行することができ、文脈からより詳細に理解されるように特定の技法が実装者によって選択可能である。

特許請求の範囲では、指定の機能を行うための手段として表わす如何なる要素もその機能を行う任意の方法を包含することを意図し、例えばその機能を行う回路素子の組合せ、その機能を行うためにソフトウェアを実行するための適切な回路と組み合わせられる任意の形式の、従ってファームウェアやマイクロコード等を含むソフトウェア等を含む。かかる特許請求の範囲によって定める本開示は、列挙した様々な手段によって与えられる機能が、特許請求の範囲が必要とする方法で組み合わせられ、まとめられることにある。従って、それらの機能を提供可能な如何なる手段も本明細書に示した手段と均等と見なす。

Claims

プロセッサ（１１４、１１１０）と、
第１の画像の輝度情報を得ること（９０１）、
第２の画像の色情報を得ること（９０２）であって、前記第２の画像は前記第１の画像の画像処理から生じる画像である、色情報を得ること（９０２）、
前記第１の画像の前記輝度情報に基づいて複数の分割画像領域を決定すること（９０３）、
前記第２の画像の前記色情報に基づいて分割画像領域ごとにカラーシードを決定すること（９０４）、及び
前記分割画像領域の前記カラーシードを拡散させることに基づいて第３の画像を決定すること（９０５）
を前記プロセッサに行わせるように構成される命令を記憶するメモリ（１１８、１１２０）と
を含む、システム（１００、１１００）。
前記分割画像領域を決定することは、前記第１の画像の前記輝度情報に基づいてスーパーピクセル分割を行うことを含む、請求項１に記載のシステム。
前記分割画像領域を決定することは、２つ以上のスーパーピクセルをマージすることを更に含み、前記スーパーピクセルは前記スーパーピクセル分割を行うことによって生じる、請求項２に記載のシステム。
分割画像領域ごとに前記カラーシードを決定することは、前記分割画像領域内の点を決定し、前記点に色を関連付けることを含み、前記関連付けられた色は前記第２の画像の前記色情報に基づく、請求項１に記載のシステム。
分割画像領域ごとに前記カラーシードを決定することは、前記分割画像領域に対応するモルフォロジカルスケルトンを決定し、前記モルフォロジカルスケルトンに色を関連付けることを含み、前記関連付けられた色は前記第２の画像の前記色情報に基づく、請求項１に記載のシステム。
前記モルフォロジカルスケルトンに色を関連付けることは、前記第２の画像内の前記分割画像領域の最多色を決定し、前記最多色を前記モルフォロジカルスケルトンに関連付けることを含む、請求項５に記載のシステム。
前記カラーシードを拡散させることに基づいて前記第３の画像を決定することは、前記輝度情報に基づいて前記カラーシードを拡散させることを含む、請求項１に記載のシステム。
前記第１の画像の前記輝度情報は前記第１の画像の輝度成分を含み、前記第３の画像を決定することは、前記カラーシードを拡散させて色成分を取得し、前記色成分を前記第１の画像の前記輝度成分と組み合わせることを含む、請求項７に記載のシステム。
第１の画像の輝度情報を得ること（９０１）と、
第２の画像の色情報を得ること（９０２）であって、前記第２の画像は前記第１の画像の画像処理から生じる画像である、色情報を得ること（９０２）と、
前記第１の画像の前記輝度情報に基づいて複数の分割画像領域を決定すること（９０３）と、
前記第２の画像の前記色情報に基づいて分割画像領域ごとにカラーシードを決定すること（９０４）と、
前記分割画像領域の前記カラーシードを拡散させることに基づいて第３の画像を決定すること（９０５）と
を含む、方法。
前記分割画像領域を決定することは、前記第１の画像の前記輝度情報に基づいてスーパーピクセル分割を行うことを含む、請求項９に記載の方法。
前記分割画像領域を決定することは、２つ以上のスーパーピクセルをマージすることを更に含み、前記スーパーピクセルは前記スーパーピクセル分割を行うことによって生じる、請求項１０に記載の方法。
分割画像領域ごとに前記カラーシードを決定することは、前記分割画像領域内の点を決定し、前記点に色を関連付けることを含み、前記関連付けられた色は前記第２の画像の前記色情報に基づく、請求項９に記載の方法。
分割画像領域ごとに前記カラーシードを決定することは、前記分割画像領域に対応するモルフォロジカルスケルトンを決定し、前記モルフォロジカルスケルトンに色を関連付けることを含み、前記関連付けられた色は前記第２の画像の前記色情報に基づく、請求項９に記載の方法。
前記モルフォロジカルスケルトンに色を関連付けることは、前記第２の画像内の前記分割画像領域の最多色を決定し、前記最多色を前記モルフォロジカルスケルトンに関連付けることを含む、請求項１３に記載の方法。
前記カラーシードを拡散させることに基づいて前記第３の画像を決定することは、前記輝度情報に基づいて前記カラーシードを拡散させることを含む、請求項９に記載の方法。
前記第１の画像の前記輝度情報は前記第１の画像の輝度成分を含み、前記第３の画像を決定することは、前記カラーシードを拡散させて色成分を取得し、前記色成分を前記第１の画像の前記輝度成分と組み合わせることを含む、請求項１５に記載の方法。
第１の画像の輝度情報を得ること（９０１）と、
第２の画像の色情報を得ること（９０２）であって、前記第２の画像は前記第１の画像の画像処理から生じる画像である、色情報を得ること（９０２）と、
前記第１の画像の前記輝度情報に基づいて複数の分割画像領域を決定すること（９０３）と、
前記第２の画像の前記色情報に基づいて分割画像領域ごとにカラーシードを決定すること（９０４）と、
前記分割画像領域の前記カラーシードを拡散させることに基づいて第３の画像を決定すること（９０５）と
を含む方法を行うために実行可能なコンピュータ実行可能命令を記憶する、非一時的コンピュータ可読媒体（１２０、１１４０）。
前記分割画像領域を決定することは、前記第１の画像の前記輝度情報に基づいてスーパーピクセル分割を行うことを含む、請求項１７に記載のコンピュータ可読媒体。
前記分割画像領域を決定することは、２つ以上のスーパーピクセルをマージすることを更に含み、前記スーパーピクセルは前記スーパーピクセル分割を行うことによって生じる、請求項１８に記載のコンピュータ可読媒体。
分割画像領域ごとに前記カラーシードを決定することは、前記分割画像領域内の点を決定し、前記点に色を関連付けることを含み、前記関連付けられた色は前記第２の画像の前記色情報に基づく、請求項１７に記載のコンピュータ可読媒体。
分割画像領域ごとに前記カラーシードを決定することは、前記分割画像領域に対応するモルフォロジカルスケルトンを決定し、前記モルフォロジカルスケルトンに色を関連付けることを含み、前記関連付けられた色は前記第２の画像の前記色情報に基づく、請求項１７に記載のコンピュータ可読媒体。
前記モルフォロジカルスケルトンに色を関連付けることは、前記第２の画像内の前記分割画像領域の最多色を決定し、前記最多色を前記モルフォロジカルスケルトンに関連付けることを含む、請求項２１に記載のコンピュータ可読媒体。
前記カラーシードを拡散させることに基づいて前記第３の画像を決定することは、前記輝度情報に基づいて前記カラーシードを拡散させることを含む、請求項１７に記載のコンピュータ可読媒体。
前記第１の画像の前記輝度情報は前記第１の画像の輝度成分を含み、前記第３の画像を決定することは、前記カラーシードを拡散させて色成分を取得し、前記色成分を前記第１の画像の前記輝度成分と組み合わせることを含む、請求項２３に記載のコンピュータ可読媒体。