JP2014139701A - 三次元情報を用いたモザイク画像処理装置、方法およびプログラム - Google Patents

Abstract

【課題】 素材画像を任意のポリゴンにマッピングできる三次元モザイク画像生成技術を実現する。
【解決手段】
任意に入力されたポリゴン数に基づいて分割された各ポリゴンに対してテクスチャ画像を割り当て、テクスチャ画像部分の各基本色の平均濃度値を目標濃度値としてそれぞれ算出し、一つの素材画像を配置するポリゴンをテクスチャ画像の色濃度に依存しないで決定し、素材画像内の各基本色の平均濃度値を算出して、素材画像の各基本色の濃度値分布率を保持しながらその素材画像内の基本色の平均濃度値がそれぞれ前記ポリゴン内のテクスチャ画像部分の各基本色の目標濃度値となるようにその素材画像を色補正する。

【選択図】 図１０

Description

本発明は、時系列に利用する数が変化する複数の素材画像で、三次元情報を用いたモザイク画像生成技術に関する。

複数の小さな画像（写真等の元素材画像）をマトリクス状に並べて１つの大きな人物や風景等の画像を生成する技法としてフォトモザイク技術が知られている。

本出願人は、本出願人自身による特開２００９ー１７１１５８号公報（特許文献１）において、対象画像に応じた素材画像に関する制限をなくし、対象画像および素材画像の視認性を向上させるために、複数ブロックに分割した対象画像の基本色の平均濃度を目標濃度値として、素材画像の濃度値分布率を保持しながらこの素材画像内の各基本色の平均濃度値をブロック内の各基本色の目標濃度値になるように色補正することによって、目視による手作業に依存しないモザイク画像の自動生成技術を提案している。

そしてさらに、本出願人自身による特願２０１０ー２８０９３７号（公報未発行、以下、「出願人先行出願」という）において、かかる技術を応用した三次元モザイク画像生成技術を提案している。

この出願人先行出願では、各ポリゴンに対してテクスチャ画像を割り当て、割り当てられたテクスチャ画像部分の各基本色の平均濃度値を目標濃度値としてそれぞれ算出して、素材画像の各基本色の濃度値分布率を保持しながらその素材画像内の基本色の平均濃度値がそれぞれ前記ポリゴン内のテクスチャ画像部分の各基本色の目標濃度値となるようにその素材画像を色補正した素材画像を生成し、この素材画像を３Ｄモデリングデータにマッピングする技術を提案している。
このように、元のテクスチャ画像の色濃度に依存することなく三次元フォトモザイク画像を自動生成するものであった。

特開２００９ー１７１１５８号公報

ところで、本発明者らは上記三次元フォトモザイク画像技術についてさらに研究を重ねた結果、出願人先行出願に記載された技術を用いて生成された三次元フォトモザイク画像を目視した場合に、ポリゴンによっては色濃度に違和感を感じる場合のあることを見いだした。
この要因について研究を重ねた結果、テクスチャ画像とポリゴンの表面積とが必ずしも一致しないことが要因であることがわかってきた。

このことを図１および図２を用いて説明する。図１の左写真は二次元状態のテクスチャ画像、右写真はこれをポリゴンに変換した画像である。このような三次元データを生成する場合、図２に示すように、テクスチャの部分画像１を符号２〜６のように処理する。具体的には、符号２の形状のポリゴンに当てはめ（説明のためテクスチャ部分画像１とポリゴン形状２は同一形状である）、当該ポリゴン内の色濃度の平均値を計算して、その平均値で全面を表示したものが符号６である。
一方、ポリゴンへの当てはめ部位によっては、符号３に示すようにポリゴン部分の各頂点を基準にポリゴン図形を圧縮・伸張する必要がある。このように変形した場合、元の画像も符号５のように表示されるが、この色濃度の平均値を計算して全面を表示すると符号７に示すようになる。
この符号６と符号７との比較から明らかなように、ポリゴンに割り当てる際の図形の圧縮・伸張の仕方によっては平均値の濃度が異なってしまうことがわかる。
このように、元の二次元状態のテクスチャの部分形状がポリゴンの三次元形状に変換される際にその面積が大きく異なったり色濃度の偏り面積が変化した場合、それによって平均濃度値が大きく異なるため、その平均濃度値を目標濃度値として素材画像の色変換を行った場合、ポリゴン毎に違和感のある色濃度での三次元フォトモザイク画像となってしまう可能性のあることが本発明者によって見いだされた。
本発明は、このような点に鑑みてなされたものであり、三次元フォトモザイク画像の自動生成においてもポリゴン毎に違和感のない色濃度を再現することを技術的課題とするものである。

前記課題を解決するために、本発明では、以下の手段を採用した。
本発明の請求項１は、複数の素材画像を用いて三次元モザイク画像を生成・表示する三次元モザイク画像表示装置であって、入力された素材画像数に基づいて、分割されるポリゴン数を決定するポリゴン数決定手段と、前記で決定されたポリゴン数に分割された３Ｄモデリングデータ８を生成する３Ｄモデリングデータ生成手段と、各ポリゴンに対してテクスチャ画像を割り当て、当該分割手段により分割されたポリゴンのテクスチャ画像部分の各基本色の平均濃度値を目標濃度値としてそれぞれ算出するステップと、当該ポリゴンを元の二次元テクスチャ画像に伸張・圧縮した状態で前記目標濃度値を補正して補正目標濃度値を算出する３Ｄ原画像生成手段と、前記複数の素材画像のうちの一つの素材画像を配置すべきポリゴンを、前記テクスチャ画像の色濃度に依存せずに決定する素材画像変換手段と、前記素材画像内の各基本色の平均濃度値を算出する平均濃度値算出手段と、前記素材画像の各基本色の濃度値分布率を保持しながらその素材画像内の基本色の平均濃度値がそれぞれ前記ポリゴン内のテクスチャ画像部分の各基本色の前記補正目標濃度値となるようにその素材画像を色補正する色補正手段と、色補正手段により色補正された素材画像を前記ポリゴンに配置するポリゴン生成手段と、前記で生成された３Ｄモデリングデータ８にテクスチャ画像をマッピングする３Ｄモザイク画像生成手段と、からなる三次元モザイク画像表示装置である。
これによれば、ポリゴンに割り当てられたテクスチャ画像の色濃度をとは無関係に素材画像を自動配置するとともに、目標濃度値の設定されたポリゴンを元の二次元テクスチャ画像に伸張・圧縮した状態で補正するために、ポリゴン毎に違和感のない色濃度を再現することができる。

本発明によれば、三次元フォトモザイク画像の自動生成において、ポリゴン毎に違和感のない色濃度を再現することができる。

色情報を持った画素が電子平面画像を構成していることを示す図 面情報を空間座標に配置することにより構成された三次元画像を示す図 色情報をもったテクスチャ画像を対応させることにより、各面情報に色情報を付与することを示す図 素材画像を各面情報へ対応させたことを示す図 三次元画像の面情報の減数処理により得られた各三次元オブジェクトを記録する処理を示す図 ３点以上の頂点によって各面情報は構成されることを示す図 素材画像を各面情報の形状に合わせて切り取る処理を示す図 面情報の変形に従って、対応する素材画像を同様に変形することを示す図 テクスチャ画像により面情報に付与された色情報に従って、素材画像を画像処理することを示す図 三次元モザイク画像の生成装置の概念的な機能構成を示す機能ブロック図

以下、本発明の最良の実施形態を図面を用いて説明する。
図１は、コンピュータを用いて、平面画像１が色情報をもった個々の画素２がマトリクス状で配置されることにより構成されていることを示している。

一方図２は、情報処理装置（コンピュータ）を用いて三次元画像３を生成する場合について説明している。すなわち、三次元画像３ではポリゴン４と呼ばれる３点以上の頂点を結ぶ線分で区画された平面図形をその線分同士を共有する形で結合した立体形状（３Ｄモデリングデータ）を空間座標上に配置して表現している。

ところで、上記３Ｄモデリングデータを構成する各ポリゴン４は色情報を持たないため、
三次元画像を完成させるには各ポリゴン４に属性としての色情報を持たせる必要がある。
このとき、図３に示すように、テクスチャ画像と呼ばれる原画像（テクスチャ画像６）を各ポリゴン４に対応させて配置することで、前記各ポリゴン４に色情報を付与する。このようにして、テクスチャ画像６を割り当てられたポリゴン４の集合画像を三次元画像を（完成系）として保存している。

以上の説明は、テクスチャ画像６が単一の画像である場合には、ポリゴン毎に光の照射方向や輝度を計算して各ポリゴンの色情報を決定すればよいが、各ポリゴンに配置される素材画像がそれぞれの明度・彩度・色相がそれぞれ異なるため、テクスチャ画像に対してどのように修正するかが問題だった。

本発明では、基本的には三次元モザイク画像を生成するために、図４に示すように、３Ｄ
モデリングデータの１つのポリゴン４に対して１つの素材画像７を対応させる処理を行う。このときに、テクスチャ画像６の特定の画像としての認識性を維持しながら（たとえば、「モナリザの微笑み」の画像であることを認識できるように）、素材画像７の補正を行う必要がある。

三次元モザイク画像を生成するためのハードウエアとしは、汎用の情報処理装置であり、
中央処理装置（ＣＰＵ）およびメインメモリ（ＭＭ）を中心に、バス（ＢＵＳ）で接続された大規模記憶装置としてのハードディスク装置（ＨＤ）、入力装置としてのキーボード（ＫＢＤ）、出力装置としてのディスプレイ装置（ＤＩＳＰ）を有している。前記ハードディスク装置（ＨＤ）には、オペレーティングシステム（ＯＳ）とともに、当該装置を機能させるための三次元モザイク画像生成アプリケーションプログラムがインストールされている。この三次元モザイク画像生成アプリケーションプログラムがバス（ＢＵＳ）およびメインメモリ（ＭＭ）を介して中央処理装置（ＣＰＵ）に読み込まれて順次実行することによって本実施形態の機能が実現される。

図１０は、当該機能をブロック図で示したものであり、素材画像数がキーボード等を通じて入力され、完成される三次元モザイク画像のポリゴン数を決定するポリゴン数決定部１０１を有している。このポリゴン数はオペレータが任意に設定することができるようになっている。たとえば、タレントの顔画像の三次元モザイク画像を生成するキャンペーンを行う場合に、５０００人の参加者を想定した場合、素材画像データが５０００枚集まることになるので、素材画像数も５０００に設定する。これによって５０００個に分割されたポリゴンによる３Ｄモデリングデータが生成される。また、１０００個〜１０個等というように任意の素材画像数を設定することも可能である（図５参照）。このように入力された素材画像数は、当該三次元モザイク画像生成装置の前述のメインメモリ（ＭＭ）に記憶されるとともに、３Ｄモデリングデータ生成部１０２で当該数値に対応した３Ｄモデリングデータ８が生成される（図５参照）。
３Ｄ原画像生成部１０３では、前記のように生成された３Ｄモデリングデータ８と、テクスチャ画像ファイル１０５を入力して、３Ｄモデリングデータ８に対してテクスチャ画像ファイルをマッピングする（貼り付ける）。

次に、３Ｄ原画像生成部１０４では、本発明の特徴的な処理として、３Ｄモデリングデータ８に割り当てられた（マッピングされた）各ポリゴンのテクスチャ画像部分の各基本色の平均濃度値を目標濃度値としてそれぞれ算出する。

一方、参加者より提供された各素材画像７（たとえば個々の参加者の顔写真データ）は、
素材画像ファイル１０６として、素材画像取得部１０７より装置内に入力され、素材画像変換部１０８で前記３Ｄ原画像生成部１０４で算出された目標濃度値に基づいて後述の各構成色（ＲＧＢ）の濃度値が変換処理される。

ここで、素材画像ファイル１０６は、予めハードディスク等に格納されていてもよいし、カメラ付き携帯電話等から受信したものでもよい。また画像はカラーであってもモノクロであってもよい。以下の説明では、各画像ファイル２１及び２８が有する色情報（色空間）としてＲ（ＲＥＤ）、Ｇ（ＧＲＥＥＮ）、Ｂ（ＢＬＵＥ）が利用される場合を例に挙げる。もちろん、本発明は、このような色構成モデルを限定するものではないため、Ｃ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）、Ｋ（Ｋｅｙ ｔｏｎｅ）のモデル等が利用されてもよい。

前記素材画像変換部１０８では、素材画像を各ポリゴンに当てはめるとともに、当該ポリゴンの色濃度値に対応させる画像変換を実行する。このように、ポリゴンに当てはめられた素材画像は、テクスチャ画像ファイルから得られた各ポリゴンの色濃度値に基づいて変換処理されるため、素材画像を手作業でテクスチャ画像の各ポリゴンに当てはめる必要はない。換言すれば、元のテクスチャ画像の色濃度に依存することなく任意のポリゴンに対して素材画像を割り当てて三次元モザイク画像が生成できる点が本発明の利点といえる。これは以下の機能部により実現される。

まず、各ポリゴンに割り当てられた素材画像は、素材画像変換部１０８における平均濃度算出部（図示せず）によって各基本色の平均濃度が算出される。

ここで、基本色とは、画像領域に含まれる各画素の色を構成するための色を意味し、例えばＲＧＢ色モデルでは赤、緑、青であり、ＣＭＹＫ色モデルでは藍色、深紅色、黄色、黒である。濃度値とは、各画素の色を構成する各基本色の比率又は濃淡情報を意味する。また、濃度値分布率とは、その画像内の全画素における各基本色の濃度値の利用率を意味する。

前記平均濃度値算出部では、前記素材画像内の各基本色の平均濃度値を算出する。
具体的には、まず前記素材画像７をグレースケール画像に変換する。以降、変換後の素材画像をグレースケール素材画像と表記する。グレーススケール画像とは、明度情報のみによって表現される画像であり、各画素の各ＲＧＢ値がそれぞれ同一となる。

このように素材画像をグレースケール画像に変換することにより、素材画像の各ＲＧＢ値のばらつきをなくすことができる。よって、素材画像ファイルに対し同じく素材画像変換部１０８内の色補正部（図示せず）による色補正が行われた場合に、各ＲＧＢ値のばらつきによりその素材画像に存在しなかった色が発生するのを防ぐことができ、ひいては、素材画像の視認性を向上させることができる。また、グレースケール素材画像のヒストグラムは、ＲＧＢそれぞれに関し同一情報となる。よって、素材画像をグレースケール画像に変換することにより、次に説明する素材画像の算出処理をＲＧＢのいずれか１つに関してのみ行えばよくなるため計算量を減らすことができる。なお、このグレースケール画像への変換手法については、各ＲＧＢ値の単純平均又は重み付き平均を取る手法等、様々な手法が既に知られているため、ここでは詳細な説明を省略する。

前記平均濃度算出部における処理では、前記グレースケール素材画像に関し、その素材画像に含まれるＲＧＢのうちのいずれか１つの基本色に基づいて所定の統計値を算出する。
以下、例として、基本色としてＲ値が利用される場合について説明する。

グレースケール素材画像に含まれる全画素のＲ値のうち、最小Ｒ値を抽出する。そしてその素材画像の全Ｒ値からこの最小Ｒ値をそれぞれ減算する。言い換えれば、抽出された最小Ｒ値が許容最低濃度値（０（ゼロ））となるようにＲ値分布を濃度値が下がる方向にずらすことを意味する。

次に、このようにシフト変換されたＲヒストグラムに関し、最低濃度値（許容最低濃度値と同一）、最高濃度値、平均濃度値、最低濃度値から平均濃度値までの濃度値と平均濃度値から最高濃度値までの濃度値との割合をそれぞれ算出する。平均濃度値は、変換されたヒストグラムにおける全画素のＲ値の合計を画素数で割った値である。以降、平均濃度値より小さい方向の割合値を暗濃度値、平均濃度値より大きい方向の割合値を明濃度値と表記する。

平均濃度算出部では、全画素のＲ値（全濃度値）から最小Ｒ値としてたとえば１６を抽出する。そして、この抽出値に基づいて全画素のＲ値からそれぞれ１６を減算する。このように変換されたＲ値分布に基づいて、最低濃度値（０）、最高濃度値（２１５）、平均濃度値（９３．６０）、暗濃度値（０．４４、９３．６０）、明濃度値（０．５６、１２１．４０）の各統計値をそれぞれ算出する。以降、これら算出された各統計値は、各ＲＧＢの統計値としてそれぞれ処理される。

前記色補正部では、前記素材画像の各基本色の濃度値分布率を保持しながらその素材画像内の基本色の平均濃度値がそれぞれ前記ポリゴン内のテクスチャ画像部分の各基本色の目標濃度値となるようにその素材画像を色補正する処理を行う。

図９は、この色補正の概念を示したものである。同一の素材画像１２であっても、色補正部において色補正することによって、それぞれが異なった補正済み素材画像１０および１３となり、ポリゴンに割り当てられる。以下説明する。

色補正部では、グレースケール素材画像に関する各統計値をそれぞれ取得し、その素材画像が配置されるポリゴンの位置を示すポリゴンＩＤを取得する。次に、そのポリゴンＩＤで特定されるテクスチャ画像部分のＲ目標値、Ｇ目標値、Ｂ目標値をそれぞれ取得する。
そして、素材画像の平均濃度値が対象ブロック画像のＲ目標値、Ｇ目標値及びＢ目標値となるようにその素材画像７を色補正する。

具体的に説明すると、素材画像７の平均濃度値が９３．６０と算出されていると仮定した場合、その素材画像７を配置すべきでポリゴン画像のＲＧＢの目標値は、Ｒ目標値が１６５、Ｇ目標値が１０５、Ｂ目標値が５４と決定されている。

色補正部１０６は、その素材画像７の全Ｒ値を、その平均濃度値（９３．６０）がブロック画像のＲ目標値（１６５）となるように補正する。同様に、素材画像補正部４８は、その素材画像８２の全Ｇ値を、その平均濃度値（９３．６０）がブロック画像のＧ目標値（１０５）となるように補正し、全Ｂ値をその平均濃度値（９３．６０）がブロック画像のＢ目標値（５４）となるように補正する。

ここで、元の素材画像の平均濃度値を目標濃度値に移動した場合に、元の素材画像の最高濃度値が許容最高濃度値を超える場合とそうでない場合がある。色補正部１０６は、最高濃度値が許容最高濃度値を超えると判断した場合には、平均濃度値を目標濃度値に固定させた状態で最高濃度値が許容最高濃度値となるように、元の素材画像の分布幅を縮小（圧縮）すればよい。

一方、色補正部が最高濃度値が許容最高濃度値を超えないと判断した場合には、最低濃度値を許容最低濃度値に固定させた状態で平均濃度値が目標濃度値となるように、元の素材画像の分布幅を圧縮又は伸張する。元の平均濃度値が目標濃度値よりも大きい場合には、分布幅は縮小され、元の平均濃度値が目標濃度値よりも小さい場合には、分布幅は拡大される。

このように、色補正部は、全体のモザイク画像の視認性を上げるために素材画像をブロック画像の色調に近づけつつ、素材画像の視認性を上げるために素材画像の色調を可能な限り保持するよう処理する。

次に、色補正部の具体的な処理例について説明する。

色補正部は、まず、以下に示すように、ＲＧＢそれぞれについて、目標値を暗濃度値（０．４４）で割った値が許容最高濃度値（２５５）を超えるか否かを判断する。
（Ｒ値）：Ｒ目標値（１６５）／暗濃度値（０．４４）＝３７５
（Ｇ値）：Ｇ目標値（１０５）／暗濃度値（０．４４）＝２３８．６４
（Ｂ値）：Ｂ目標値（５４）／暗濃度値（０．４４）＝１２２．７３
色補正部１０６は、算出された値が許容最高濃度値を超えると判断すると、以下の（数
式Ａ）を用いて、元の素材画像の各画素の濃度値をそれぞれ補正する。なお、２５５は許容最高濃度値を示す。

（数式Ａ）： （元の濃度値−最低濃度値）×Ｈ＋Ｉ
Ｈ＝（２５５−目標値）／明濃度値
Ｉ＝２５５−（最高濃度値×Ｈ）

一方、色補正部１０６が、算出された値が許容最高濃度値を超えないと判断した場合、以下の（数式Ｂ）を用いて、元の素材画像の各画素の濃度値をそれぞれ補正する。

（数式Ｂ）： （元の濃度値−最低濃度値）×Ｊ
Ｊ＝目標値／暗濃度値
素材画像の全Ｒ値を上記（数式Ａ）で補正し、全Ｇ値及び全Ｂ値をそれぞれ上記（数式Ｂ）で補正する。具体的には、Ｒ値については、Ｈが０．７４（=(255ー165)/121.40）でＩが９５．９０（=255ー(215*0.74)）となる。Ｇ値については、Ｊが１．１２（=105/93.60
）となり、Ｂ値については、Ｊが０．５８（=54/93.60）となる。このように、素材画像
補正部４８は、素材画像のＲＧＢそれぞれを色補正する。

このように色補正部で色補正された素材画像データは、ポリゴン生成部においてそれぞれのポリゴンの該当部分にマッピングされて、３Ｄモザイク画像生成部１０９を通じて外部のディスプレイ装置に表示される。

なお、図６に示すように、ポリゴンは多角形で構成されているのに対して、素材画像データ７は四角形状であるため、３Ｄ原画像生成部１０４の処理において、図７に示すようにポリゴンへのマッピング時に除外された画像素材部分９を破棄してよい。

また、ポリゴンが四角形であっても台形、平行四辺形、あるいは不定形四角形である場合には、３Ｄ原画像生成部１０４において、図８に示すように画像変換してもよい。

本発明は、画像情報処理装置を用いてユーザ参加型のキャンペーンを行うプロモーションに利用できる。

１ 平面画像
２ 画素
３ 三次元画像
４ ポリゴン
６ テクスチャ画像
７ 素材画像
８ ３Ｄモデリングデータ
９ 画像破棄部分

Claims (3)

1. 複数の素材画像を用いて三次元モザイク画像を生成・表示する三次元モザイク画像表示装置であって、
   入力された素材画像数に基づいて、分割されるポリゴン数を決定するポリゴン数決定手段と、
   前記で決定されたポリゴン数に分割された３Ｄモデリングデータ８を生成する３Ｄモデリングデータ生成手段と、
   各ポリゴンに対してテクスチャ画像を割り当て、当該分割手段により分割されたポリゴンのテクスチャ画像部分の各基本色の平均濃度値を目標濃度値としてそれぞれ算出する３Ｄ原画像生成手段と、
   前記複数の素材画像のうちの一つの素材画像を配置すべきポリゴンを、前記テクスチャ画像の色濃度に依存せずに決定する素材画像変換手段と、
   前記素材画像内の各基本色の平均濃度値を算出する平均濃度値算出手段と、
   前記素材画像の各基本色の濃度値分布率を保持しながらその素材画像内の基本色の平均濃度値がそれぞれ前記ポリゴン内のテクスチャ画像部分の各基本色の目標濃度値となるようにその素材画像を色補正する色補正手段と、
   色補正手段により色補正された素材画像を前記ポリゴンに配置するポリゴン生成手段と
   前記で生成された３Ｄモデリングデータ８にテクスチャ画像をマッピングする３Ｄモザイク画像生成手段と、
   からなる三次元モザイク画像表示装置。
   
2. 前記３Ｄモデリングデータ生成手段は、初期値として完成される三次元モザイク画像を構成するポリゴン数を設定可能である請求項１記載の三次元モザイク画像表示装置。
   
3. 前記素材画像変換手段は、前記素材画像を前記ポリゴンに配置する際に、前記正多角形を隔成する線分から除外された素材画像部分を破棄する処理を実行する請求項１記載の三次元モザイク画像表示装置。