JP2019204428A - 画像処理装置、表示システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】印刷物に投影画像を重畳表示して得られる再現画像上の特定領域の色相を時系列に変化させたい場合において、所望の色を好適に再現できるようにする。【解決手段】オブジェクトの色が時系列に変化する動画が重畳して投影される印刷物をプリンタで出力するための印刷画像を生成する画像処理装置であって、前記色が変化するオブジェクトを少なくとも含む画像を取得する取得手段と、取得した前記画像における前記色が変化するオブジェクトの領域に対し、低彩度化処理を行って前記印刷画像を生成する第１の生成手段と、を有することを特徴とする。【選択図】図３

Description

本発明は、印刷物に動画を投影して重畳表示するための画像処理技術に関する。

近年、デジタルカメラ等の画像入力機器において、撮像センサで撮影可能なダイナミックレンジ（以下、「Ｄレンジ」と呼ぶ）の拡大が進んでいる。また、撮影時に露出条件を変えて撮影し、露出条件の異なる複数の画像を合成することにより、Ｄレンジを拡張する技術が実用化されている。一方、プロジェクタやプリンタ等の画像出力機器においても高輝度化・高コントラスト化が進み、再現可能なＤレンジが拡大しているが、一般的に、画像入力機器のＤレンジには及ばないレベルにある。そのため、例えばデジタルカメラで撮影した画像情報は、色域圧縮してプリンタやプロジェクタで出力することが行われている。

この点、例えば特許文献１には、プリンタで出力した印刷物に対し、プロジェクタで画像を重畳させて投影することにより、再現可能なＤレンジや色域を拡張する技術が開示されている。この特許文献１の技術によれば、入力画像をより忠実に再現することができ、サイネージやシミュレーションへの活用が期待されている。

特開２０１０−１０３８６３号公報

印刷物に画像を投影して重畳表示する上記技術において、プロジェクタからの投影画像を時系列で変化させた場合（すなわち、動画を投影した場合）、タイミングによって重畳表示結果の良し悪しが変わることがあった。具体的には、投影画像を時系列に変えることで、重畳表示によって再現される画像（以下、「再現画像」と呼ぶ。）における特定領域の色相を変化させるとき、投影画像の内容によって当該特定領域が目的の色よりも暗い色になってしまうことがあった。

そこで本発明では、印刷物に投影画像を重畳表示して得られる再現画像上の特定領域の色相を時系列に変化させたい場合において、所望の色を好適に再現できるようにすることを目的とする。

本発明に係る画像処理装置は、オブジェクトの色が時系列に変化する動画が重畳して投影される印刷物をプリンタで出力するための印刷画像を生成する画像処理装置であって、前記色が変化するオブジェクトを少なくとも含む画像を取得する取得手段と、取得した前記画像における前記色が変化するオブジェクトの領域に対し、低彩度化処理を行って前記印刷画像を生成する第１の生成手段と、を有することを特徴とする。

本発明によれば、印刷物に画像を投影して重畳表示する技術において、投影画像の時間的変化を考慮して、上記印刷物用の印刷画像を生成する。これにより、再現画像において色変化を生じさせたい部分が暗い色再現になってしまう弊害を抑制することができる。

表示システムの構成の一例を示す図 実施形態１に係る、ＰＣのソフトウェア構成を示す機能ブロック図 実施形態１に係る、印刷画像生成処理の流れを示すフローチャート 入力動画を構成するフレームの一例を示す図 印刷物上に現れる再現画像の一例を示す図 本発明の課題を説明する図 本発明の課題を説明する図 実施形態２に係る、ＰＣのソフトウェア構成を示す機能ブロック図 実施形態２における画像処理全体の流れを示すフローチャート 実施形態３に係る、印刷画像生成処理の流れを示すフローチャート 代表Ｌａｂ値の説明図 実施形態４に係る、ＰＣのソフトウェア構成を示す機能ブロック図 実施形態４に係る、印刷画像生成処理の流れを示すフローチャート ＵＩ画面の一例を示す図 ＵＩ画面の一例を示す図 ＵＩ画面の一例を示す図

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

実施形態１

図１は、壁等に掲示されたポスター等の印刷物に対し、プロジェクタを用いて時系列に異なる内容の投影画像を重畳表示することで、印刷物上の特定領域（特定のオブジェクト）の色を変化させる表示システムの構成の一例を示す図である。図１の表示システムは、画像処理装置（ＰＣ）１００、モニタ１０８、画像形成装置（プリンタ）１０９、画像投影装置（プロジェクタ）１１０、入力装置１１１、外部記憶装置１１２を有する。さらにＰＣ１００は、内部にＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、主記憶装置１０４、メインバス１０５、汎用インターフェース（Ｉ／Ｆ）１０６、出力Ｉ／Ｆ１０７を有する。まず、ＰＣ１００のハードウェア構成について説明する。

ＣＰＵ１０１は、ＰＣ１００内の各部を統括的に制御するプロセッサである。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。ＲＯＭ１０３及び主記憶装置１０４は、以下で説明する印刷画像や投影画像の生成を含む各種処理を実現するためのプログラム群や各種のアプリケーション、各種処理に用いられるデータ等を記憶する。メインバス１０５はＰＣ１００の各部分を接続している。汎用Ｉ／Ｆ１０６はＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。モニタ１０７は、例えば液晶ディスプレイであり、ＰＣ１００のユーザインタフェースとして機能する。プリンタ１０９は、ＰＣ１００で生成された印刷用の静止画像（以下、「印刷画像」と呼ぶ。）に従って、例えばインクジェット方式で用紙に画像を形成し、上記印刷物を出力する。プロジェクタ１１０は、壁等に掲示されたポスター等の印刷物に対して、時系列に異なる内容の投影画像を重畳表示する。入力装置１１１は、ユーザが各種の指示操作を行うためのキーボードやマウスである。外部記憶装置１１２は、外付けＨＤＤ等の大容量記憶装置であり、不図示の撮像装置（デジタルカメラ）で撮影された動画等のデータを記憶し、ＰＣ１００に供給する。

ＰＣ１００は、ＣＰＵ１０１によって制御され、外部記憶装置１１２に格納された動画データを読み出して後述の画像処理を施し、印刷画像データや投影画像データを生成する。生成された印刷画像データはプリンタ１０９に、投影画像データはプロジェクタ１１０に、汎用Ｉ／Ｆ１０６を介して供給される。そして、プリンタ１０９は、供給された印刷画像データに基づいて印刷処理を行い、印刷物を出力する。プリンタ１０９から出力された印刷物がユーザによって所定の位置に掲示され、当該印刷物に対してプロジェクタ１１０から投影画像を重畳表示することにより、Ｄレンジや色域が拡大したより高画質の再現画像が得られる。

＜ＰＣのソフトウェア構成＞
図２は、本実施形態の画像処理に関わる、ＰＣ１００のソフトウェア構成を示す機能ブロック図である。本実施形態のＰＣ１００は、バッファ処理部２０１、データ形式変換部２０２及び印刷画像生成部２０３で構成される。バッファ処理部２０１は、ＲＡＭ１０２内の所定の記憶領域（画像バッファ）を確保し、処理対象の動画データを保持する。データ形式変換部２０２は、画像バッファに保持された動画データを、必要に応じて所定のデータ形式に変換する。例えば、入力動画データの復号（デコード）処理を行う。デジタルカメラ等で撮影された動画は一般的にデータ容量が大きくなりやすいため、データ容量の削減を目的として符号化されていることが多い（例えばＨ．２６４等）。しかし、符号化されたままでは、投影画像として利用できず、また、次の印刷画像生成部２０３での処理に適さないため、復号して処理しやすいデータ形式に変換する。こうした変換処理によって、本実施形態では、入力動画データを構成する各フレームにおける各画素の画素値が、ＲＧＢ色空間で表現されたデータ形式に変換される。つまり、変換後の入力動画Ｖの時刻ｔにおける画素位置（ｘ，ｙ）のＲＧＢ値（ｒ，ｇ，ｂ）が、任意のｔ、ｘ、ｙで既知の状態となる。本実施形態では、ＲＧＢの各値は１６ｂｉｔ（０〜６５５３５）で表され、（Ｒ，Ｇ，Ｂ）＝（０，０，０）が黒を、（Ｒ，Ｇ，Ｂ）＝（６５５３５，６５５３５，６５５３５）が白を示す。なお、例えばＨＤＲ合成（High Dynamic Range imaging）を念頭に準備された露出条件の異なる複数の動画データが入力されることもあり得る。この場合は、各動画データを同一基準の画素値で扱えるようにする処理を、データ形式変換部２０２は行う。さらに、入力動画データの色空間がＲＧＢ以外の色空間であった場合には、必要な色空間変換処理もデータ形式変換部２０２で行われる。そして、本実施形態では、各フレームの各画素値がＲＧＢ色空間で表現された動画データが、プロジェクタ１１０で投影される画像データとして出力される。

印刷画像生成部２０３は、プリンタ１０９での印刷処理に供される印刷画像を入力動画から生成する。印刷画像生成部２０３に向かう破線の矢印は「発色特性ＬＵＴ（ルックアップテーブル）」が印刷画像生成処理において参照されることを表しているが、これについては実施形態３で説明する。

＜印刷画像生成処理＞
図３は、印刷画像生成部２０３による、本実施形態に係る印刷画像生成処理の流れを示すフローチャートである。以下、図３のフローを参照して詳しく説明する。なお、以下の説明において記号「Ｓ」はステップを表す。

Ｓ３０１では、入力動画のデータがバッファ処理部２０１によってＲＡＭ１０２に保持される。本実施形態の入力動画は、投影画像としてそのまま利用する動画であり、各フレームに存在するオブジェクトのうち少なくとも一部の色相が時系列に変化する。続くＳ３０２では、ＲＡＭ１０２に保持された入力動画のデータが読み出され、データ形式変換部２０２によって、上述したような所定のデータ形式に変換する処理が施される。これにより、入力動画を構成する各フレームにおける各画素が、デバイス依存のＲＧＢ色空間で表現された画素値を持つデータ形式に変換される。

Ｓ３０３では、生成する印刷画像の全画素値が初期化される。具体的には、各画素の初期値として、入力動画の時刻ｔ＝０のフレームにおける画素値が設定される。続くＳ３０４では、入力動画を構成するフレームの中から注目するフレームが決定される。通常は、時刻ｔ＝０のフレーム（先頭フレーム）から順に注目フレームとなる。Ｓ３０５では、注目する画素位置（ｘ，ｙ）が決定される。通常は、フレーム左上を原点とする画素位置（ｘ，ｙ）＝（０，０）から順に注目画素位置となる。

Ｓ３０６では、注目画素位置における、現時点の印刷画像の画素値と注目フレームの画素値とが比較される。注目フレームの画素値が印刷画像の画素値よりも大きければ、Ｓ３０７に進む。そうでなければ、Ｓ３０８に進む。

Ｓ３０７では、注目画素位置における印刷画像の画素値が更新される。具体的には、注目画素位置（ｘ，ｙ）における印刷画像の画素値Ｉ（ｘ，ｙ）が、同じ注目画素位置（ｘ，ｙ）における注目フレームの画素値Ｖ（ｔ，ｘ，ｙ）によって置き換えられる。こうして、注目画素位置における印刷画像の画素値が順次更新され、入力動画の全フレーム内での最大画素値が、印刷画像の画素値として残ることになる。そして、この処理は、ＲＧＢのチャンネル毎に実行される。例えば、ある画素位置における印刷画像の初期値として（Ｒ，Ｇ，Ｂ）＝（６５５３５，０，０）が設定され、注目フレームにおける画素値が（Ｒ，Ｇ，Ｂ）＝（６５２８０、２４８、２６０）であるとする。この場合、注目フレームのＧ値とＢ値の方が大きいので、印刷画像の画素値は、（Ｒ，Ｇ，Ｂ）＝（６５５３５、２４８、２６０）に更新される。そして、次の注目フレームにおける画素値が、（Ｒ，Ｇ，Ｂ）＝（６５０２５、４９６、５２０）であるとする。同様に、ＲＧＢ値の大きい方を取って、印刷画像の画素値は、（Ｒ，Ｇ，Ｂ）＝（６５５３５、４９６、５２０）に更新される。こうして、すべての画素位置について、全フレーム中の最大画素値のみが残ることになる。

Ｓ３０８では、印刷画像のすべての画素位置について処理が完了したか判定される。未処理の画素位置があればＳ３０５に戻って次の注目画素位置（ｘ，ｙ）が決定されて、処理が続行される。一方、すべての画素位置について処理が完了していれば、Ｓ３０９に進む。

Ｓ３０９では、入力動画の全フレームの処理が完了したか判定される。未処理のフレームがあればＳ３０４に戻って次の注目フレームが決定されて、処理が続行される。入力動画の全フレームについて処理が完了すると、本処理は終了となる。そして、本処理終了時点のＩ（ｘ，ｙ）が、印刷画像生成部２０３から出力される印刷画像データとなる。

以上が、本実施形態に係る、印刷画像データ生成処理の内容である。このように本実施形態では、投影画像となる入力動画の各フレームを参照し、その時間的変化を考慮して印刷画像が生成される。

（入力動画から印刷画像を生成する意義）
上述のように、投影画像として使用する入力動画の各フレームを参照し、その時間的変化を考慮して、投影先となる印刷物用の静止画像（印刷画像）を生成する意味について説明する。図４は、入力動画を構成するフレームの一例を示す図である。この例では、画像４００が時刻ｔ０のフレーム、画像４０１が時刻ｔ１のフレーム、画像４０２が時刻ｔ２のフレームをそれぞれ示している。この動画シーンには動体のオブジェクトは存在せず、宝石様のオブジェクト４１０の領域における色が、時間経過に伴って変化するものとする。具体的には、オブジェクト４１０の色が、ｔ０では赤色、ｔ１では緑色、ｔ２では青色へと順に変化するものとする。

入力動画を構成する複数フレームの中から、任意のフレームを選択して印刷画像として採用し、その出力結果である印刷物に対して入力動画を投影して重畳表示すると、本来の効果を得られないことがある。例えば、印刷画像としてｔ０のフレームを採用し、その印刷物に対して、時刻ｔ０〜ｔ２の各フレームを順に投影したとする。図５は、この場合の印刷物上に現れる再現画像の一部を示している。図５に示すように、再現画像５０１では、色変化するオブジェクト４１０の色がｔ０〜ｔ２のどのフレームとも異なる暗い色になる（黒に近づく。その彩度が下がり、かつ、明度が下がる。）という現象が起きる。

この理由を、図６を用いて説明する。図６は、ｔ０〜ｔ２の各フレームにおける、宝石様のオブジェクト４１０部分の色のスペクトルを模式的に示した図である。グラフ６０１〜６０７はいずれも、横軸が光の波長、縦軸がスペクトル成分の強度を示している。横軸には波長に応じて、その波長域に対応するおおよその色を、Ｂ（青）、Ｇ（緑）、Ｒ（赤）で示している。グラフ６０１〜６０３は、プロジェクタ１１０が投影する光のスペクトル成分を表しており、ｔ０〜ｔ２の時間変化に応じて、赤から緑、緑から青へと遷移しているのが分かる。他方、グラフ６０４は、印刷画像の反射率のスペクトル成分を表している。いま、印刷画像はｔ０のフレームであって時刻ｔに依らず不変であり、赤のスペクトル成分を有している。ただし、プロジェクタ１１０から投影される光のスペクトル成分よりも幅が広く、両者は完全には一致していない。これは、同じ赤色であっても、プリンタ１０９とプロジェクタ１１０の色再現特性が異なるためである。

さて、印刷画像に投影画像を重畳表示した場合の再現画像におけるスペクトル成分は、プロジェクタ１１０が投影する光のスペクトル成分と、印刷画像の反射率のスペクトル成分の波長ごとの乗算で得られる。グラフ６０５〜６０７は、ｔ０〜ｔ２における、その乗算結果を示している。ｔ０に対応するグラフ６０５は、グラフ６０１のスペクトル成分と、グラフ６０４のスペクトル成分との重なり部分が残っている。グラフ６０１とグラフ６０４のいずれよりもスペクトル成分の幅が狭くなっており、より鮮やかな赤になったことを意味している。このようにして、投影画像の重畳表示によって得られる再現画像では、高彩度化効果が生じ、Ｄレンジや色域の拡大に寄与する。

他方、ｔ１に対応するグラフ６０６、及びｔ２に対応するグラフ６０７では、投影光のスペクトル成分と反射率のスペクトル成分とが重なり合う波長域がほとんどないため、再現画像におけるスペクトル成分は、全波長域でほぼゼロになってしまう。これにより印刷物からの反射光が知覚されにくくなる。これが、時系列に異なる投影画像を重畳表示させてその色を変化させるオブジェクトの色が、どのタイミングの投影画像とも異なる暗い色再現になってしまう理由である。

上記の問題は、時間経過と共に色が比較的大きく変化する部分、すなわち、色相が変わり、且つ、スペクトル成分の波長域が狭い（＝色が鮮やかな）画像領域で起こりやすいことが、図６から分かる。そして、時間経過と共に色が比較的大きく変化する画像領域であっても、印刷画像の彩度が小さい場合や無彩色の場合には、このような問題は起こりにくい。これらの場合、図７に示すように、反射率のスペクトル成分７０１の幅（波長域）が広いために、色相が変化しても、投影光のスペクトル成分との乗算結果（グラフ７０２〜７０４）において投影光のスペクトル成分が残るためである。

以上の事実からは、印刷画像の彩度を抑えることで上記問題の発生を避けることが可能であることが分かる。しかしながら、そうすることによって、投影画像の重畳表示による高彩度化効果が得られなくなってしまうことも避けたい。また、上記問題の発生の回避だけを考えるのであれば、例えば当該色変化する部分を印刷物上で白抜きにするという対処法もある。しかし、このような対処法では、投影画像を重畳表示することによって得られる、解像感を補強するというもう１つの効果が得られなくなってしまう。プロジェクタから画像を投影する場合、本体の位置姿勢の傾きや投影面のズレに起因して、ピントにズレが生じ、画像の解像感が劣化するということが起こりやすい。しかし、印刷物では出力後に解像度が変化することは起こらないので、プロジェクタからの投影画像を印刷物における画像に重畳して表示することによって、再現画像における解像感を補強する効果を得ることができる。さらに、輪郭線など暗い色は、印刷物における画像とプロジェクタからの投影画像とを共に暗く表現することで、コントラスト感を高めよりクッキリとした印象を与えることができる。よって、再現画像において、時間経過と共に色が大きく変化する領域が暗くなってしまうリスクはあるものの、色変化部分のオブジェクト形状や色を表す画像情報を印刷画像に残した方が重畳表示による効果は得られやすい。

以上を踏まえると、投影画像（＝入力動画）から印刷画像を生成する場合の方針の１つとしては、全体的に彩度を落として印刷画像を生成するということが考えられる。この場合、投影色の変化に対して耐性を得つつ、高彩度化などの効果をある程度得ることができる。しかし、次の方針の方がより重畳表示によるメリットを享受することができる。それは、投影する動画における特定オブジェクトなど少なくとも一部の領域に色の変化がある場合、とりわけ色相が大きく変化する領域では、印刷画像における当該領域の彩度を小さく抑え、時刻によって色再現が破綻してしまうのを抑制する。他方、投影する動画中の色相が大きく変化しない領域では彩度を抑えることなく、重畳表示した際のＤレンジや色域の拡大効果を狙う。このようにすれば、その変化による画像破綻（図６を参照）を避けつつ、重畳表示による効果も得ることができる。

本実施形態では、入力動画の全フレームを参照して、各画素位置における最大画素値を採用するという手法によって、印刷物の元になる印刷画像を生成するようにしている。この手法によれば、その色が例えば赤、緑、青と大きく変化する前述の宝石様のオブジェクト４１０の領域では、ＲＧＢ各チャンネルのＩ（ｘ，ｙ）は以下のようになる。いま、赤を示すＲＧＢ値が（６５５３５，０，０）、緑を示すＲＧＢ値が（０，６５５３５，０）、青を示すＲＧＢ値が（０，０，６５５３５）であるとする。全ての時刻ｔについて処理を終えたとき各チャンネルのＩ（ｘ，ｙ）のＲＧＢ値は（６５５３５、６５５３５、６５５３５）となる。つまり、ＲＧＢ値は白を示す。こうして宝石様のオブジェクト４１０の領域では彩度が抑制される。また、赤を示すＲＧＢ値が例えば（５４０００，０，０）などのように、ＲＧＢの各値が最大値である“６５５３５”でなくてもよい。この場合は、Ｉ（ｘ，ｙ）のＲＧＢ値が（５４０００、５４０００、５４０００）となり、白に近いグレーを示すことから、やはり彩度を抑制できる。なお、ＲＧＢの各値が近似していれば低彩度化の効果が得られるので、完全に同じ値でなくてもよい。このように各画素において最大値が残って白に近づくため、最終的に彩度が抑制される。他方、当該オブジェクト４１０以外の部分（その色が時間経過と共にほとんど変化しない画像領域）では、複数フレームを通じてその値がほぼ一定のＲＧＢ値がそのまま残るため、彩度をそのまま維持することができる。

＜変形例＞
本実施形態では、プロジェクタ１１０のＤレンジを（白色スクリーン基準で）そのまま使うことができる白色に近づくようにするため、ＲＧＢのチャンネル毎に各画素位置の最大値を採用したが、例えばグレーに近づくようにしてもよい。すなわち、各画素位置の中間値（１６ｂｉｔの場合は“３２７６８”）に近いものを採用してもよい。また、多くの色を遷移する場合には、その色の平均値は無彩色に近づくと想定できるから、最大値に代えて平均値を採用してもよい。

また、本実施形態では、色変化のあるオブジェクトの全体に対して低彩度化処理を行っているが、当該オブジェクトのエッジ部分を除外して行うようにしてもよい。具体的には、色変化のあるオブジェクトのエッジ成分を抽出して、その内部領域のみを対象として低彩度化処理を行ない、非エッジ成分についてはそのまま残すようにしてもよい。

また、本実施形態では、入力動画から印刷画像を生成したが、これに限定されない。例えば、入力動画と同一シーンを撮影して用意した静止画における色変化のあるオブジェクトを構成する各画素のＲＧＢ値を、各値が同じになるように書き換える処理を行って、印刷画像としてもよい。この際には、ＲＧＢの３つの値のうち、最大値で置き換えることでより白に近い色になる。また、ＲＧＢの３つの値の平均値に置き換えてもよい。このように、低彩度化の方法は入力動画を参照しないで行うこともできる。

以上のとおり本実施形態によれば、投影画像の時間的変化を考慮して印刷画像が生成される。これにより、印刷物に投影画像を重畳表示した際に、再現画像において色変化を生じさせたい部分が暗い色になってしまうのを防ぐことができる。

実施形態２

実施形態１では、投影画像として使用予定の動画から印刷画像を生成し、得られた印刷物に対しその動画を投影して重畳表示する態様を説明した。この態様の場合、再現画像において色変化を生じさせたい部分が暗い色再現になってしまうのを抑制することができるが、同時に再現画像が全体的に明るく鮮やかな色になり過ぎてしまうという側面がある。そこで、再現画像においてこのような弊害が生じないよう、印刷画像に合わせて投影画像を再構築する態様を、実施形態２として説明する。

なお、表示システムの基本構成など実施形態１と共通する内容については説明を省略し、以下では差異点を中心に説明を行うものとする。

図８は、本実施形態の画像処理に関わる、ＰＣ１００のソフトウェア構成を示す機能ブロック図である。本実施形態のＰＣ１００は、バッファ処理部２０１、データ形式変換部２０２、印刷画像生成部２０３に加え、輝度情報導出部８０１、反射率情報導出部８０２、投影画像生成部８０３を有する。図９は、本実施形態における画像処理全体の流れを示すフローチャートである。以下、図９のフローに沿って、図８に示す各機能ブロックにおける処理について説明する。

Ｓ９０１及びＳ９０２は、実施形態１の図３のフローにおけるＳ３０１及びＳ３０２にそれぞれ対応する。つまり、入力動画データが、バッファ処理部２０１によってＲＡＭ１０２に保持された後、データ形式変換部２０２によってフレーム内の各画素がＲＧＢ値を持つ動画データに変換される。

Ｓ９０３では、輝度情報導出部８０１が、データ形式変換後の入力動画から輝度情報を導出する。具体的には、入力動画の各フレームにおける各画素のＲＧＢ値を、輝度を表すデバイス非依存の三刺激値ＸＹＺ（以下、単に「ＸＹＺ」と表記）へと変換する。ここで、入力動画から輝度情報を導出する際の考え方を説明しておく。デジタル方式のカメラでは一般的に、撮影されるシーンの物理的な輝度情報（ＸＹＺ）を、撮像センサによって信号値に変換して記録している。こうして記録される信号値は、変換前の輝度情報と線形な関係を持つ。そして、輝度情報と信号値との具体的な対応関係は、撮像時の露出条件によって変化する。本実施形態では、入力動画を撮影したカメラの撮像センサにおける、輝度情報と信号値との対応関係を記述したＬＵＴを露出条件毎に予め用意・保持しておく。そして、撮影時の露出条件に応じたＬＵＴ（以下、「撮影特性ＬＵＴ」と呼ぶ。）を参照して、輝度情報に対応する信号値が決まるものとする。なお、撮影特性ＬＵＴは、その輝度値が異なり且つ既知である種々のリファレンス被写体を、複数の露出条件で撮像し、輝度値と信号値とを対応付けて記録することで作成することができる。さらに、撮影特性ＬＵＴを参照して決まる信号値に対して、人間の視覚特性を考慮した所定のガンマ特性を掛けることで、画素値（ここではＲＧＢ値）に変換されている。従って、これら変換の経路を逆に辿ることで、ＲＧＢ値から輝度情報へと変換することも可能である。この際の具体的な変換の手順は以下のとおりである。まず、ＲＧＢ値に対し上記ガンマ特性の逆変換を掛けて、信号値に変換する。そして、入力動画の撮影時の露出条件及びその際の撮影特性ＬＵＴを取得・参照して、信号値を輝度情報に変換する。こうして、入力動画の各フレームにおける各画素位置の輝度情報が得られる。なお、予めガンマ特性による演算を考慮した撮像特性ＬＵＴを作成しておき、一度の処理でＲＧＢ値と輝度情報との相互変換が可能なようにしてもよい。いずれにせよこの変換ステップでは、例えば、（Ｒ，Ｇ，Ｂ）＝（１００００，２２０００，１６０００）であれば（Ｘ，Ｙ，Ｚ）＝（２２００，４０００，３５００）、（Ｒ，Ｇ，Ｂ）＝（１７００，３２００，２５００）であれば（Ｘ，Ｙ、Ｚ）＝（５００，６３０，６００）といったように変換が行われる。

Ｓ９０４では、印刷画像生成部２０３によって、入力動画から印刷画像が生成される。この印刷画像の生成の詳細は、実施形態１の図３のフローのＳ３０４〜Ｓ３０９で説明したとおりであるので説明を省く。

次に、Ｓ９０５では、反射率情報導出部８０２が、Ｓ９０４で生成した印刷画像から反射率情報を導出する。ここで、反射率情報とは、印刷画像と同じサイズを持つ画像様のアレイ形式のデータであり、その画素値として、当該印刷画像をプリンタ１０９で出力したときの印刷物の（ＸＹＺに対する）反射率を表す０以上１以下の値を持つ。ここで、印刷画像から反射率情報を導出する際の考え方を説明しておく。いま、プリンタ１０９がインクジェット方式のプリンタであるとする。インクジェット方式の場合、印刷画像データで規定されるＲＧＢ値に従って色材（インク）を記録媒体（用紙）上に吐出し、吐出されたインクが用紙に浸透・定着することで印刷物が得られる。当該印刷物では、用紙に定着したインクに応じて用紙表面の反射率が変化することで、色が表現されている。従って、プリンタ１０９に入力される印刷画像データのＲＧＢ値と、用紙（印刷物）の反射率とは対応している。そして、本実施形態では、印刷画像のＲＧＢ値と印刷物上の反射率との対応関係を記述したＬＵＴ（以下、「印刷特性ＬＵＴ」と呼ぶ。）を予め用意・保持しておき、これを参照することで、印刷画像から反射率情報を得る。印刷特性ＬＵＴは、ある画素について特定のＲＧＢ値をプリンタ１０９が出力したときに、当該画素がＸＹＺに対し特定の反射率を持つことを対応付けて規定した、ＲＧＢ値全域に渡る特性を示したデータである。例えば、入力値が（Ｒ，Ｇ，Ｂ）＝（０，０，０）であれば反射率は（０．０２３，０．０２５，０．０２０）、入力値が（４６２６０、４６２６０、４６２６０）であれば反射率は（０．４０，０．４２，０．３８）といった対応関係が規定されている。なお、印刷特性ＬＵＴは、種々のＲＧＢ値を持つパッチチャートをプリンタ１０９で印刷出力し、測色器を用いて出力パッチの反射率を測定し、ＲＧＢ値と反射率とを対応付けて記録することで作成できる。

Ｓ９０６では、投影画像生成部８０３が、Ｓ９０３で導出された輝度情報及びＳ９０５で導出された反射率情報に基づき、プロジェクタ１１０によって印刷物上に投影される動画（投影画像）を、入力動画から再構築する。ここで、入力動画から投影画像を生成する際の考え方を説明しておく。まず、印刷物に対して投影画像が重畳表示されることで得られる再現画像における輝度は、以下の式（１）で表される。
再現画像における輝度＝再現画像を照らす光の輝度×印刷物の反射率
・・・式（１）

ただし、ここでは環境光を無視し、再現画像を照らす光はプロジェクタ１１０による投影光のみに近似できるものとする。つまり、「再現画像を照らす光の輝度」＝「プロジェクタが投影すべき輝度」である。そして、再現画像において再現すべきターゲットが、入力動画の表すシーンそのもの（忠実再現）であるとする。この場合のターゲットは、Ｓ９０３で導出された輝度情報に等しい。よって、「再現画像における輝度」＝「再現すべきターゲット」＝「導出された輝度情報」の関係が成り立つ。また、印刷物の反射率は、Ｓ９０５において反射率情報として取得している。すると、ターゲットの忠実再現のために、プロジェクタ１１０が投影すべき輝度は、以下の式（２）で表すことができる。
プロジェクタが投影すべき輝度＝輝度情報÷反射率情報 ・・・式（２）

いま、上記式（２）の右辺は既知であるため、左辺を求めることができる。つまり、ターゲットとなる輝度を、印刷物の反射率で除算した結果が、投影すべき動画における輝度となる。こうして、プロジェクタ１１０が投影すべき輝度が分かる。本実施形態では、輝度情報としてＸＹＺ値が得られているので、そのＹ成分を例に示す。例えば、ある画素位置（ｘ、ｙ）における、入力動画のＲＧＢ値＝（１７００，３２００，２５００）から、ＸＹＺ値＝（５００，６３０，６００）が求められたとする。この場合、Ｙ成分の再現すべきターゲットは“６３０”である。次に、上記画素位置（ｘ、ｙ）における、印刷画像のＲＧＢ値Ｉ（ｘ、ｙ）＝（４６２６０、４６２６０、４６２６０）と決定されたとする。このときの印刷画像におけるＹ成分の値に対する反射率は、前述のとおり“０．４２”となる。最終的に再現画像での再現すべきＹ成分の値が“６３０”で、その部分の反射率が“０．４２”なので、プロジェクタが投影すべきＹ成分の値は、６３０÷０．４２＝１５００、と求められる。

そして、プロジェクタ１１０が投影すべき輝度が分かったら、当該輝度から、投影画像の画素値（ＲＧＢ値）を求める。本実施形態では、プロジェクタ１１０に入力される投影画像の画素値と、投影される光の輝度情報（ＸＹＺ）との対応関係を記述したＬＵＴ（以下、「投影特性ＬＵＴ」と呼ぶ。）を予め用意・保持しておく。そして、当該投影特性ＬＵＴを参照することで、投影画像の各フレームのＲＧＢ値を、プロジェクタが投影すべき輝度（ＸＹＺ値）から得る。投影特性ＬＵＴは、プロジェクタ１１０への入力画素値（ＲＧＢ値）と投影画像におけるＸＹＺ値との関係を画素値全域について規定するＬＵＴである。例えば、入力画素値が（Ｒ，Ｇ，Ｂ）＝（１２０００，１２０００，１２０００）ならば（Ｘ，Ｙ、Ｚ）＝（２４０，２５０，２７０）となる。また、（Ｒ，Ｇ，Ｂ）＝（２３０００，２３０００，２３０００）ならば（Ｘ，Ｙ，Ｚ）＝（１４００，１５００，１６００）となる。このような対応関係が規定されている。投影特性ＬＵＴは、種々のＲＧＢ値を持つパッチチャートをプロジェクタ１１０で投影出力し、測色器を用いて出力パッチの輝度（ＸＹＺ値）を測定し、ＲＧＢ値とＸＹＺ値とを対応付けて記録することで作成できる。そして、このような投影特性ＬＵＴを参照し、プロジェクタ１１０が投影すべき輝度を、投影画像の各フレームのＲＧＢ値に変換する。例えばプロジェクタの投影すべき輝度値が（Ｘ，Ｙ，Ｚ）＝（１４００，１５００，１６００）であれば、上述の投影特性ＬＵＴの具体例からは、（Ｒ，Ｇ，Ｂ）＝（２３０００、２３０００、２３０００）に変換すればよいことが分かる。

なお、投影特性ＬＵＴを用いた変換において、入力値である「プロジェクタが投影すべき輝度」が、プロジェクタ１１０の出力可能な輝度を超えていることもあり得る。このような場合には、そのまま投影画像の出力値であるＲＧＢ値への変換はできないため、クリッピング、線形圧縮、ガンマ補正などの処理を「プロジェクタが投影すべき輝度」に施してから変換するとよい。最後に、こうして得られたフレーム単位の画素値の集合を適当な動画形式に符号化して、投影画像が完成する。

以上が、印刷画像の生成に加え、最適な投影画像の再構築をも行う、本実施形態の画像処理の内容である。

＜変形例＞
本実施形態では、入力動画撮影時の露出条件に対応する撮影特性ＬＵＴを参照して、入力動画から輝度情報を得ていた。しかし、Ｓ９０３では入力動画に対応する輝度情報が得られればよいのであり、その方法は上述の例に限定されない。例えば、入力動画の撮影時に、輝度情報が既知のリファレンス被写体を含ませておき、当該リファレンス被写体部分のＲＧＢ値を基準として、入力動画全体のＲＧＢ値からＸＹＺ値を得てもよい。

また、例えば輝度情報を得るために参照する撮影特性ＬＵＴは、通常ではＲＧＢ−ＸＹＺの３対３のＬＵＴとなるがこれに限定されない。ＲＧＢ色空間とＸＹＺ色空間とは、概ね傾向が似ていることを利用し、Ｒ−Ｘ、Ｇ−Ｙ、Ｂ−Ｚの１次元ＬＵＴを３種類用意し、これらを適用してもよい。さらには、白色輝度などの１種類のＬＵＴだけを用意し、Ｒ−Ｘ、Ｇ−Ｙ、Ｂ−Ｚの３系列に適用するようにしてもよい。これにより、撮影特性ＬＵＴの作成や撮影特性ＬＵＴを用いた変換処理を簡素化することができる。

以上のとおり本実施形態によれば、プリンタの印刷特性やプロジェクタの投影特性も考慮しながら、印刷物に重畳表示される投影画像を、生成した印刷画像に基づき再構築する。これにより、入力動画のシーンにより忠実な再現画像が得られるようになる。

実施形態３

実施形態１及び２では、入力動画の各フレームのＲＧＢ値を参照して印刷画像を生成していた。この場合、処理は比較的簡単であるものの、ＲＧＢ値で特定される色と画像の見た目（視覚的印象）とは、必ずしもよく一致するわけではない。そこで、より視覚的印象を考慮した印刷画像を生成する態様を、実施形態３として説明する。なお、実施形態１及び２と共通する内容については説明を省略し、以下では差異点を中心に説明を行うものとする。

本実施形態では、印刷画像生成部２０３が、均等色空間の１つであるＬ＊ａ＊ｂ＊色空間を介した画像処理を行って、入力動画から印刷画像を生成する例を説明する。ただし、簡単のため、以降＊は省略して単に「Ｌａｂ」と表記する。

図１０は、実施形態１の図３のフローに対応する、本実施形態に係る印刷画像生成処理の流れを示すフローチャートである。以下、図１０のフローを参照して詳しく説明する。

Ｓ１００１及びＳ１００２は、実施形態１の図３のフローにおけるＳ３０１及びＳ３０２にそれぞれ対応する。つまり、入力動画データが、バッファ処理部２０１によってＲＡＭ１０２に保持された後、データ形式変換部２０２によってフレーム内の各画素がＲＧＢ値を持つ動画データに変換される。

Ｓ１００３では、入力動画を構成する全フレームの中から注目するフレームが決定される。Ｓ１００４では、注目フレーム内の注目する画素が決定される。通常であれば、フレーム左上の画素から順に注目画素となる。続くＳ１００５では、注目画素のＲＧＢ値がＬａｂ値へ変換される。この変換は、プリンタ１０９の発色特性、すなわち、プリンタ１０９に入力されるＲＧＢ値に対するＬａｂ色空間での値を記述したＬＵＴを予め用意・保持しておき、これを参照することで行う。このＬＵＴが、図２において示す「発色特性ＬＵＴ」である。発色特性ＬＵＴには、ＲＧＢ値が（２５０００，２５０００，２５０００）のときＬａｂ値は（４１．０，０．３３，０．８２）、ＲＧＢ値が（６５５３５、０、０）のときＬａｂ値は（５３．９，６８．９，５２．０）といった関係が規定されている。この発色特性ＬＵＴは、種々のＲＧＢ値のパッチチャートをプリンタ１０９で出力し、出力パッチを測色器で測定し、ＲＧＢ値とＬａｂ値とを対応付けて記録することで得られる。そして、Ｓ１００６では、注目フレーム内のすべての画素について処理が完了したか判定される。未処理の画素があればＳ１００４に戻って次の注目画素が決定されて、処理が続行される。すべての画素が処理されていればＳ１００７に進む。Ｓ１００７では、入力動画の全フレームについて処理が完了したか判定される。未処理のフレームがあればＳ１００３に戻って次の注目フレームが決定されて、処理が続行される。

ここまでの処理が完了し、入力動画の全フレーム全画素のＬａｂ値が得られると、Ｓ１００８へ進む。なお、変換後の各画素のＬａｂ値は、入力動画のフレームそれぞれをプリンタ１０９から印刷出力した場合における、各画素に対応するＬａｂ値を意味する。いま、入力動画の時刻ｔのフレームのＲＧＢ値をＶ（ｔ，ｘ，ｙ）、変換後の時刻ｔのフレームのＬａｂ値をＬ（ｔ、ｘ、ｙ）で表すこととする。

Ｓ１００８では、注目する画素位置（ｘ，ｙ）が決定される。続くＳ１００９では、注目画素位置（ｘ、ｙ）における全フレームを通じての代表Ｌａｂ値が求められる。具体的には、注目画素位置（ｘ、ｙ）の全フレームに渡るＬ（ｔ、ｘ、ｙ）の分布平均を求め、その画素位置における代表Ｌａｂ値とする。以下、代表Ｌａｂ値を、Ｌ＿ｒｅｐ（ｘ、ｙ）で表すこととする。図１１は、代表Ｌａｂ値の説明図であり、Ｌａｂ色空間のａｂ平面上に、２種類の任意の画素位置（ｘ１，ｙ１）及び（ｘ２，ｙ２）のＬａｂ値の時間変化の分布が黒丸のプロット点で示されている。プロット点群１１０１は、比較的色の変化のある画素についてのＬａｂ値の分布例である。そして、白抜きの点１１０２が、プロット点群１１０１の分布平均（平均Ｌａｂ値）を示している。この白抜き点１１０２におけるＬａｂ値が、任意の画素位置（ｘ１，ｙ１）の代表Ｌａｂ値（Ｌ＿ｒｅｐ（ｘ１、ｙ１））として採用される。一方、プロット群１１０４は、比較的色の変化の少ない画素の分布例である。そして、白抜きの点１１０５が、プロット点群１１０４の分布平均（平均Ｌａｂ値）を示している。この白抜き点１１０５におけるＬａｂ値が、任意の画素位置（ｘ２，ｙ２）の代表Ｌａｂ値（Ｌ＿ｒｅｐ（ｘ２、ｙ２））として採用される。

次のＳ１０１０では、注目画素位置（ｘ，ｙ）における全フレームを通じてのＬａｂ値の分布が、ａｂ平面上の所定範囲内に収まっているか判定される。この判定は、注目画素が、色の変化が大きな画素なのか、小さな画素なのかを調べるためのものである。本実施形態では、注目画素位置（ｘ、ｙ）の全フレームを通じてのＬａｂ値（Ｌ（ｔ、ｘ、ｙ））のａｂ平面上の分布範囲が、代表Ｌａｂ値を中心とした所定の半径ｔｈ＿ｒを持つ円の内側に収まるか否かを判定する。図１１の例では、プロット点群１１０１の分布範囲が円１１０３、プロット点群１１０４の分布範囲が円１１０６の内側にそれぞれ収まるか否かが判定されることになる。実際の処理としては、各プロット点におけるＬａｂ値と代表Ｌａｂ値とのａｂ平面上の距離が、所定の閾値ｔｈ＿ｒ以下であるかどうかをチェックすればよい。図１１の例では、プロット点群１１０１については、円１１０３の内側に収まっていないので、色の変化の大きな画素であると判定することになる。一方、プロット点群１１０４については、円１１０６の内側に収まっており、色の変化の小さな画素である判定することになる。この際、円の半径ｔｈ＿ｒをどの程度とするかは任意であるが、色差ΔＥと視覚特性との関係を参考に決定される。例えば、ｔｈ＿ｒ＝１０といった値を設定する。判定の結果、注目画素位置における全フレームを通じてのＬａｂ値の分布が、ａｂ平面上の所定範囲内に収まっていると判定されれば、Ｓ１０１２へ進む。一方、所定範囲内に収まっていないと判定されれば、Ｓ１０１１へ進む。

Ｓ１０１１では、Ｓ１１０９で決定した各画素の代表Ｌａｂ値を、明度、色相は維持しつつ、彩度が小さくなるように調整する処理を行う。本実施形態では、予め彩度の上限値ｔｈ＿Ｃを定めておき、各画素位置（ｘ，ｙ）における代表Ｌａｂ値（Ｌ＿ｒｅｐ（ｘ，ｙ））の彩度が上限値ｔｈ＿Ｃ以下になるように、Ｌ＿ｒｅｐ（ｘ，ｙ）の値を調整する。具体的には、代表Ｌａｂ値のａｂ平面上での原点からの傾きを維持しつつ、原点からの距離が所定の上限値ｔｈ＿Ｃを超えないように、代表Ｌａｂ値を小さくする。これは、図１１の例において、白抜き点１１０２を、原点からの距離が上限値ｔｈ＿Ｃと等しい白抜き点１１０２’へ移動させることと同義である。これにより、入力動画の比較的色の変化の大きい画素に対応する、印刷画像における画素の彩度を、小さくすることができる。なお、代表Ｌａｂ値の彩度が上限値ｔｈ＿Ｃよりも小さい場合には、彩度の調整が行われないことになる。これは、当該画素では色の変化は比較的大きいものの、無彩色付近での変化であるため既に彩度が十分小さく、低彩度化の必要性が低いためである。なお、彩度調整の要否を決定する際の上限値ｔｈ＿Ｃをどの程度とするかは任意であるが、例えば上述の円の半径を規定するｔｈ＿ｒと同じ値に設定すればよい。

Ｓ１０１２では、すべての画素位置について処理が完了したか判定される。未処理の画素位置があればＳ１００８に戻って次の注目画素位置（ｘ，ｙ）が決定されて、処理が続行される。全ての画素位置について処理が完了すると、Ｓ１０１３へ進む。

Ｓ１０１３では、全画素の代表Ｌａｂ値がＲＧＢ値へと変換される。この変換は、前述の発色特性ＬＵＴを用いた逆変換を行えばよい。このようにして、均等色空間であるＬａｂ色空間を介した画像処理を行って得られた、各画素がＲＧＢ値を持つ画像が、印刷画像として出力される。

以上が、本実施形態に係る、印刷画像データ生成処理の内容である。

＜変形例＞
本実施形態では、色の変化が大きいと判定されても（Ｓ１０１０でＹｅｓ）、代表Ｌａｂ値の彩度が予め定めた上限値よりも小さい場合には、既に彩度が十分小さいと見做して彩度調整を行っていない。しかし、色の変化が一定以上あることに鑑みて、所定の低彩度化処理を行ってもよい。例えば、ａｂ平面における分布するＬａｂ値のうち彩度が最小の値と一致するように代表Ｌａｂ値を変更する、或いは代表Ｌａｂ値の彩度に所定の減衰定数（例えば０．５）を乗じる等である。このように、一定以上の色の変化がある全ての画素に対し、彩度を減ずる調整処理を行ってもよい。

また、本実施形態では注目画素が、色の変化が大きな画素なのか、小さな画素なのかを調べるために、Ｌａｂ値の分布が、代表Ｌａｂ値からａｂ平面上の所定の円内に収まっているか否かで判定した。しかし判定方法はこれに限らず、例えばＬａｂ値の分布の色相角を求め、色相角の最大値と最小値の差が所定の範囲に収まるか否かで判定してもよい。

また、本実施形態では、全フレームの全画素値をＬａｂ値に変換した後、各画素位置における代表Ｌａｂ値を決定し、彩度と色相の観点からこれを変更する調整を行っている。しかし、例えば実施形態１の図３のフローのような形で処理してもよい。すなわち、まず、印刷画像の全画素値の初期値として、入力動画の先頭フレームにおける色変換後の全画素値を採用する。次に、入力動画の各時刻ｔのフレームにおいて、各画素のＲＧＢ値をＬａｂ値に変換する。そして、画素毎に、Ｌ成分については大きい方が残るように、ａ成分とｂ成分についてはそれぞれ絶対値の小さい方が残るようにその値を更新していく。これを全ての時刻ｔについて行い、最後に残った各画素のＬａｂ値をＲＧＢ値に変換して、印刷画像とする。このようにしても、本実施形態と同様の印刷画像が得られる。

また、本実施形態では、プリンタの発色特性ＬＵＴを用いて、印刷画像を生成するためのＬａｂ値を導出した。しかし、例えば入力動画の各フレームのＲＧＢ値を、例えばデバイス非依存のｓＲＧＢ色空間の値であるものとして扱い、Ｄ５０等の光源環境を仮定した上で所定の計算式からＬａｂ値を求めてもよい。

本実施形態によれば、人間の感覚により近い均等色空間を介して、各フレームにおける画素の明度、彩度、色相を判断するので、実施形態１と比較して、どのフレームがより高彩度であるのか等をより正確に評価することができる。

実施形態４

ここまでの実施形態では、入力動画を構成するフレームのみに基づいて印刷画像を生成していた。次に、ユーザが指定した情報を加味して印刷画像を生成する態様を、実施形態４として説明する。なお、以下では、実施形態３をベースに説明を行うが、実施形態１及び２との組合せも可能である。先行する実施形態と共通する内容については説明を省略し、以下では差異点を中心に説明を行うものとする。

図１２は、本実施形態の画像処理に関わる、前述の図２をベースとした、ＰＣ１００のソフトウェア構成を示す機能ブロック図である。本実施形態のＰＣ１００は、バッファ処理部２０１、 データ形式変換部２０２、印刷画像生成部２０３及びユーザ指定情報処理部１２０１で構成される。ベースとなっている図２の機能ブロック図と比較すると、ユーザ指定情報処理部１２０１が追加されている点が大きな違いである。ユーザ指定情報処理部１２０１は、印刷画像に対するユーザの意図を反映した静止画像や、画像処理を施す領域を一部に限定する領域指定の指示を、ユーザインタフェースを介して受け付け、印刷画像生成部２０３にユーザ指定情報として渡す。そして、本実施形態の印刷画像生成部２０３は、ユーザ指定情報に従って印刷画像を生成する。図１３は、本実施形態に係る、印刷画像生成処理の流れを示すフローチャートである。以下、図１３のフローに沿って説明する。

Ｓ１３０１及びＳ１３０２は、実施形態３の図１０のフローにおけるＳ１００１及びＳ１００２にそれぞれ対応する。つまり、入力動画データが、バッファ処理部２０１によってＲＡＭ１０２に保持された後、データ形式変換部２０２によってフレーム内の各画素がＲＧＢ値を持つ動画データに変換される。

Ｓ１３０３では、ユーザ指定情報処理部１２０１は、ユーザが指定する静止画像（以下、「ユーザ指定画像」と呼ぶ）のデータを取得する。本実施形態の場合、入力動画を構成する複数フレームの中からユーザが選択した１のフレームを、ユーザ指定画像として取得する。図１４は、ユーザが入力動画の中から任意のフレームを選択する際にモニタ１０８上に表示されるユーザインタフェース画面（ＵＩ画面）の一例である。図１４のＵＩ画面１４００の左側には、入力動画をフレーム単位で表示する表示欄１４０１、及び入力動画の全時間に対応するシークバー１４０２、表示中のフレームが入力動画の全時間に対しどの位置にあるかを示すスライダ１４０３が存在している。スライダ１４０３の位置と表示中のフレームとは連動しており、ユーザはカーソル１４０４をマウス等で操作してスライダ１４０３を動かし、所望のフレームを選択する。さらに、ＵＩ画面１４００の右側には、ユーザ選択に係る表示中のフレームに対して色調補正を行うための指示欄１４０５が存在する。図１４の例では、色調補正の一例としてトーンカーブを調整するためのグラフが指示欄１４０５に表示されている。ユーザはカーソル１４０４をトーンカーブに重ねてマウス等でドラッグ操作することで所望の色調となるように補正することができる。好みの色調のフレームになった時点でユーザが決定ボタン１４０６を押下すると、当該色調補正が施されたフレームがユーザ指定画像として取得される。

Ｓ１３０４では、ユーザ指定情報処理部１２０１は、Ｓ１３０３で取得したユーザ指定画像に対する重みｗを取得する。この重みｗは、０≦ｗ≦１の範囲の実数であるとする。予め定めた規定値を取得してもよいし、ユーザが任意の値を指定してもよい。ここでは、ｗ＝０．５が取得されたものとして以降の説明を行う。

Ｓ１３０５では、実施形態３の図１０のフローにおけるＳ１００５と同様、Ｓ１３０３で取得したユーザ指定画像におけるＲＧＢ値を、発色特性ＬＵＴを参照して、Ｌａｂ値に変換する。

Ｓ１３０６では、ユーザ指定情報処理部１２０１は、入力動画の各フレームに対して処理領域を設定する。図１５は、ユーザが選択中のフレームに対して特定の領域を指定する際のＵＩ画面の一例である（ただし本ステップに関係しない要素は描写を省略）。ユーザは、カーソル１４０４を操作し、対象フレーム内に矩形１５０１を描画する。このとき、一般的な画像処理ソフト（例えばＧＩＭＰ等）が実装するように、オブジェクトの輪郭線成分に沿って選択領域をさらに限定するなどの調整が行われてもよい。任意の領域指定を終えたユーザがＯＫボタン１５０１を押下すると、上述の矩形１５０１で特定される領域が、処理領域として設定されることになる。

Ｓ１３０７では、印刷画像生成部２０３によって、入力動画に対し、実施形態３の図１０のフローのＳ１００３〜Ｓ１０１３の各処理が実行され、各画素がＬａｂ値を持つ印刷画像が生成される。ただし、代表Ｌａｂ値の算出とその彩度調整（Ｓ１００８〜Ｓ１０１３）は、Ｓ１３０６で設定された処理領域内の画素のみを対象として実行される。このように、処理対象の領域を、その必要性がある領域（ユーザの望む領域あるいは色変化の大きな領域）に限定することにより、トータルの処理時間を削減できる。

Ｓ１３０８では、Ｓ１３０４で取得したユーザ指定画像の重みｗを参照し、Ｓ１３０７で生成された印刷画像の各画素のＬａｂ値（処理領域内の画素については代表Ｌａｂ値）を、ユーザ指定画像における対応する画素のＬａｂ値に近づける補正処理を行う。具体的には、印刷画像のＬａｂ値とユーザ指定画像のＬａｂ値それぞれのａｂ平面での座標をｗ：（１−ｗ）に内分する点のＬａｂ値におけるａｂ成分を、新たな印刷画像のＬａｂ値のａｂ成分とする。本実施形態の場合は重みｗ＝０．５であるから、新たな印刷画像のＬａｂ値のａｂ成分は、印刷画像のＬａｂ値とユーザ指定画像のＬａｂ値との平均値になる。もし、重みｗの値が０．５よりも大きければ、印刷画像のＬａｂ値のａｂ成分は、よりユーザ指定画像のＬａｂ値のａｂ成分に近づく。なお、Ｌ成分の値については、ユーザ指定画像のＬａｂ値におけるＬ成分の値を、新たな印刷画像のＬａｂ値におけるＬ成分の値とすればよい。

最後に、Ｓ１３０９では、印刷画像における全画素の補正後Ｌａｂ値がＲＧＢ値に変換される。この変換処理は、実施形態３の図１０のフローにおけるＳ１０１３と同じであり、前述の発色特性ＬＵＴを用いた逆変換を行えばよい。このようにして、よりユーザの意図が反映された画像が、印刷画像として出力される。
以上が、本実施形態に係る、印刷画像データ生成処理の内容である。

＜変形例＞
本実施形態では、処理領域となる矩形をユーザがマウス等で指定したが、入力動画の各フレームにおける色の変化に基づき自動で処理領域を設定してもよい。具体的には、入力動画の各フレームを走査し、時間の経過と共に画素値変化の大きい画素を抽出して、処理領域とすればよい。この際、抽出結果をユーザに提示して、処理領域の設定をユーザに委ねてもよい。また、画素値変化の大きさは、画素値が特定フレームにおけるＲＧＢ値から所定の閾値以上に変化するか否かで決めたり、或いはＲＧＢ色空間での画素値分布が、平均値から所定の距離以内に収まるか否かで決めたり、さらに、両手法を組み合わせるなどすればよい。さらに、フレーム内のオブジェクト毎に処理対象とするかをユーザが直接設定できるようにしてもよい。

また、本実施形態では、生成された印刷画像のＬａｂ値のａｂ成分についてのみ、指定された重みｗに基づいてユーザ指定画像のＬａｂ値に近づける処理を行ない、Ｌ成分についてはユーザ指定画像のＬａｂ値を用いるようにした。これは、印刷画像の明度によって、再現画像の輝度も影響を受けるものの、ａｂ成分（彩度、色相成分）ほど大きな影響ではないために、Ｌ成分に関してはユーザ意図を優先した結果である。しかし、Ｌ成分についてもａｂ成分同様に、ユーザ指定画像のＬａｂ値に近づけてもよい。

また、本実施形態では、全ての画素のａｂ成分について、指定された重みｗに基づいて、印刷画像のＬａｂ値をユーザ指定画像のＬａｂ値に近づける内分点のａｂ成分で書き換えるようにした。しかし、印刷画像のＬａｂ値が示す色とユーザ指定画像のＬａｂ値が示す色とがＬａｂ空間上で近い色であれば書き換える意味は小さく、却ってユーザの意図した色から微妙に変化させる影響の方が大きい可能性がある。そこで、印刷画像のＬａｂ値が示す色とユーザ指定画像のＬａｂ値が示す色との色差ΔＥが、所定の閾値ｔｈ＿Ｅ以下ならば、ユーザの意図を優先し、印刷画像のＬａｂ値をユーザ指定画像のＬａｂ値で書き換えてもよい。この際の閾値ｔｈ＿Ｅは任意であるが、例えばｔｈ＿Ｅ＝５などと設定すればよい。

また、本実施形態では、入力動画を構成するフレームを基にユーザ指定画像を作成した。しかし、このような作成方法に限定されない。例えば、入力動画と同一シーンを撮影した別の静止画像や動画を基に作成してもよい。例えば、投影画像が印刷物の一部へのみ投影するための動画であり、印刷画像の一部を、入力動画に合わせて切り抜いてユーザ指定画像としてもよい。この際、入力動画を取得した後にそのフレームを解析し、所定のデータベースから同一シーンを映していると思われる画像ファイルを類推し、ユーザ指定画像の候補としてユーザにサジェストするようにしてもよい（図１６を参照）。このような解析には画像の類似度を計算する公知の技術を用いることができる。なお、画像サイズが同一でない場合には、必要に応じて解像度変換処理を行えばよい。

本実施形態によれば、ユーザの意図がより直接的に反映された印刷物が得られることになる。これにより例えば、プロジェクタによる投影画像の重畳表示がない状態の印刷物単体でも、ある程度ユーザが意図した色味の印刷物として展示できる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０３ 印刷画像生成部

Claims (18)

1. オブジェクトの色が時系列に変化する動画が重畳して投影される印刷物をプリンタで出力するための印刷画像を生成する画像処理装置であって、
   前記色が変化するオブジェクトを少なくとも含む画像を取得する取得手段と、
   取得した前記画像における前記色が変化するオブジェクトの領域に対し、低彩度化処理を行って前記印刷画像を生成する第１の生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の生成手段は、前記色の変化が所定の閾値より大きい場合に、前記低彩度化処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記色の変化は、色相の変化であることを特徴とする請求項２に記載の画像処理装置。
4. 前記画像は、ＲＧＢ色空間で表現され、
   前記低彩度化処理は、前記色が変化するオブジェクトの領域における、ＲＧＢ各チャンネルの画素値を近似させる処理であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記低彩度化処理は、ＲＧＢ色空間で表現された画素値を均等色空間に変換した画素値を介して行う、ことを特徴とする請求項４に記載の画像処理装置。
6. 前記均等色空間は、Ｌａｂ色空間であり、
   前記低彩度化処理は、Ｌａｂ色空間で表現される画素値のａｂ平面上での原点からの傾きを略維持しつつ、原点からの距離が所定の上限値を超えないように調整する処理である、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記画像は、前記動画を構成する各フレームであり、
   前記低彩度化処理では、前記色が変化するオブジェクトの領域について、前記各フレームを通じての最大画素値をＲＧＢそれぞれのチャンネルについて採用する
   ことを特徴とする請求項４に記載の画像処理装置。
8. 前記画像は、前記動画を構成する各フレームであり、
   前記低彩度化処理では、前記各フレームの前記色が変化するオブジェクトの領域における、ＲＧＢ各チャンネルの画素値を同じ値に書き換える
   ことを特徴とする請求項４に記載の画像処理装置。
9. 前記低彩度化処理は、前記色が変化するオブジェクトの領域のうちエッジ部分を除外して行なう、ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記第１の生成手段で生成された前記印刷画像に基づき、前記動画を生成する第２の生成手段をさらに備えたことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
11. 前記第２の生成手段は、前記印刷物に前記投影がなされた結果におけるターゲットとなる輝度を、前記印刷物の反射率で除算した結果が、投影すべき動画における輝度となるように、前記動画を生成することを特徴とする請求項１０に記載の画像処理装置。
12. 前記印刷画像の生成に関する指定を受け付けるユーザインタフェースをさらに備え、
    前記第１の生成手段は、前記ユーザインタフェースを介して指定された情報に基づいて、前記印刷画像を生成する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記ユーザインタフェースを介してユーザが指定する情報は、前記印刷画像に対するユーザの意図を反映した、前記色が変化するオブジェクトを少なくとも含む静止画像のデータであり、
    前記第１の生成手段は、前記静止画像に近づける処理を行って、前記印刷画像を生成する、
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記ユーザインタフェースを介してユーザが指定する情報は、前記低彩度化処理を施す領域に関する情報であり、
    前記第１の生成手段は、前記情報によって特定される領域に対して、前記低彩度化処理を行う
    ことを特徴とする請求項１２に記載の画像処理装置。
15. 印刷物に対して、プロジェクタを用いて動画を重畳して投影する表示システムであって、
    前記動画の各フレームには、前記印刷物に印刷された画像に存在するオブジェクトと同じオブジェクトであって、時系列に色が変化するオブジェクトが含まれ、
    前記印刷物に印刷された画像における前記色が変化するオブジェクトの領域の彩度は、前記動画を構成する各フレームにおける対応する領域の彩度と比べて小さい
    ことを特徴とする表示システム。
16. オブジェクトの色が時系列に変化する動画が重畳して投影される印刷物をプリンタで出力するための印刷画像を生成する画像処理装置における方法であって、
    前記色が変化するオブジェクトを少なくとも含む画像を取得する取得ステップと、
    生成手段が、前記取得ステップで取得された前記画像における前記色が変化するオブジェクトの領域に対し、低彩度化処理を行って前記印刷画像を生成する生成ステップと、
    を有することを特徴とする方法。
17. 印刷物に対して、プロジェクタを用いて動画を重畳して投影する表示システムにおける方法であって、
    各フレームに、前記印刷物に印刷された画像に存在するオブジェクトと同じオブジェクトであって、時系列に色が変化するオブジェクトを含む前記動画を投影するステップを有し、
    前記印刷物に印刷された画像における前記色が変化するオブジェクトの領域の彩度は、前記動画を構成する各フレームにおける対応する領域の彩度と比べて小さい、
    ことを特徴とする方法。
18. コンピュータを請求項１乃至１４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。