JP2022092235A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2022092235A JP2022092235A JP2020204919A JP2020204919A JP2022092235A JP 2022092235 A JP2022092235 A JP 2022092235A JP 2020204919 A JP2020204919 A JP 2020204919A JP 2020204919 A JP2020204919 A JP 2020204919A JP 2022092235 A JP2022092235 A JP 2022092235A
- Authority
- JP
- Japan
- Prior art keywords
- compression
- information
- normal
- specular reflection
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims 2
- 238000007906 compression Methods 0.000 claims description 142
- 230000006835 compression Effects 0.000 claims description 127
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 2
- 238000003786 synthesis reaction Methods 0.000 claims 2
- 230000006866 deterioration Effects 0.000 abstract description 9
- 238000000034 method Methods 0.000 description 30
- 238000009877 rendering Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 238000012804 iterative process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011449 brick Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
【課題】 反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減するための処理を提供することを目的とする。【解決手段】 情報処理装置は、物体の表面における法線方向を表す法線情報と、物体における鏡面反射方向への反射に関する鏡面反射情報と、を取得し、鏡面反射情報に基づいて法線情報を圧縮する。【選択図】 図6
Description
本発明は、物体の質感に関するデータを圧縮する技術に関する。
物体の素材や塗装の質感を再現するために、照明方向や観察方向に応じた反射特性の測定データが利用されている。反射特性データには、一般的に、物体における拡散反射や鏡面反射に関する情報や、表面の微細な凹凸に関する情報などが含まれており、静止画像データと比べるとデータ量が大きいという特徴がある。データを圧縮する技術として、特許文献1は、デプス画像を二次元画像圧縮方式により圧縮する技術を開示している。
反射特性データに含まれる各情報は、互いに関連し合って物体の見え方に影響しているため、それぞれに対して別々に特許文献1のような圧縮処理を行うと、反射特性データを用いて表現される物体の質感が大きく劣化してしまうという場合があった。
そこで本発明は、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減するための処理を提供することを目的とする。
上記課題を解決するために、本発明に係る情報処理装置は、物体の表面における法線方向を表す法線情報と、前記物体における鏡面反射方向への反射に関する鏡面反射情報と、を取得する取得手段と、前記鏡面反射情報に基づいて、前記法線情報を圧縮する圧縮手段と、を有することを特徴とする。
本発明によれば、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。
以下、各実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、各実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
[第1実施形態]
本実施形態においては、鏡面反射情報、拡散反射情報、法線情報を含む反射特性データのデータ量削減に関する処理を行う。具体的には、鏡面反射情報に基づいて法線情報の圧縮に用いる圧縮パラメータを決定し、圧縮パラメータに基づいて法線情報を圧縮する。まず、物体の反射特性について図1を用いて説明する。図1は、光源101の方向から、法線方向103に対応する物体表面上の点102に向かって光を照射した場合の反射光の強度104を示している。物体の表面において反射した光は、拡散反射成分105と鏡面反射成分106とに分離できる。拡散反射成分105は、入射光が物体の内部で乱反射し、物体の外部に出射した光に対応する反射成分であり、あらゆる方向において略均一の強度で観測される。一方、鏡面反射成分106は、入射光が物体の表面において鏡面反射した光に対応する反射成分であり、観測者に物体の表面における光沢として視認される。鏡面反射成分106は、法線方向を基準に光源方向101と反対の方向に強度のピークを有する。以下、鏡面反射成分106の強度が最大となる方向の反射強度107を鏡面反射強度と呼ぶ。
本実施形態においては、鏡面反射情報、拡散反射情報、法線情報を含む反射特性データのデータ量削減に関する処理を行う。具体的には、鏡面反射情報に基づいて法線情報の圧縮に用いる圧縮パラメータを決定し、圧縮パラメータに基づいて法線情報を圧縮する。まず、物体の反射特性について図1を用いて説明する。図1は、光源101の方向から、法線方向103に対応する物体表面上の点102に向かって光を照射した場合の反射光の強度104を示している。物体の表面において反射した光は、拡散反射成分105と鏡面反射成分106とに分離できる。拡散反射成分105は、入射光が物体の内部で乱反射し、物体の外部に出射した光に対応する反射成分であり、あらゆる方向において略均一の強度で観測される。一方、鏡面反射成分106は、入射光が物体の表面において鏡面反射した光に対応する反射成分であり、観測者に物体の表面における光沢として視認される。鏡面反射成分106は、法線方向を基準に光源方向101と反対の方向に強度のピークを有する。以下、鏡面反射成分106の強度が最大となる方向の反射強度107を鏡面反射強度と呼ぶ。
<情報処理装置のハードウェア構成>
図2は、情報処理装置1のハードウェア構成を示すブロック図である。情報処理装置1は、CPU201、ROM202、RAM203を備える。また、情報処理装置1は、VC(ビデオカード)204、汎用I/F(インターフェース)205、SATA(シリアルATA)I/F206、NIC(ネットワークインターフェースカード)207を備える。CPU201は、RAM203をワークメモリとして、ROM202、HDD(ハードディスクドライブ)213などに格納されたOS(オペレーティングシステム)や各種プログラムを実行する。また、CPU201は、システムバス208を介して各構成を制御する。尚、後述するフローチャートによる処理は、ROM202やHDD213などに格納されたプログラムコードがRAM203に展開され、CPU201によって実行される。VC204には、表示装置215が接続される。汎用I/F205には、シリアルバス209を介して、マウスやキーボードなどの入力装置210や撮像装置211が接続される。SATAI/F206には、シリアルバス212を介して、HDD213や各種記録メディアの読み書きを行う汎用ドライブ214が接続される。NIC207は、外部装置との間で情報の入力及び出力を行う。CPU201は、HDD213や汎用ドライブ214にマウントされた各種記録メディアを各種データの格納場所として使用する。CPU201は、プログラムによって提供されるUI(ユーザインターフェース)を表示装置215に表示し、入力装置210を介して受け付けるユーザ指示などの入力を受信する。尚、表示装置215は、指などの指示体によるタッチの位置を検出するタッチパネルの機能を有するタッチパネルディスプレイであっても良い。
図2は、情報処理装置1のハードウェア構成を示すブロック図である。情報処理装置1は、CPU201、ROM202、RAM203を備える。また、情報処理装置1は、VC(ビデオカード)204、汎用I/F(インターフェース)205、SATA(シリアルATA)I/F206、NIC(ネットワークインターフェースカード)207を備える。CPU201は、RAM203をワークメモリとして、ROM202、HDD(ハードディスクドライブ)213などに格納されたOS(オペレーティングシステム)や各種プログラムを実行する。また、CPU201は、システムバス208を介して各構成を制御する。尚、後述するフローチャートによる処理は、ROM202やHDD213などに格納されたプログラムコードがRAM203に展開され、CPU201によって実行される。VC204には、表示装置215が接続される。汎用I/F205には、シリアルバス209を介して、マウスやキーボードなどの入力装置210や撮像装置211が接続される。SATAI/F206には、シリアルバス212を介して、HDD213や各種記録メディアの読み書きを行う汎用ドライブ214が接続される。NIC207は、外部装置との間で情報の入力及び出力を行う。CPU201は、HDD213や汎用ドライブ214にマウントされた各種記録メディアを各種データの格納場所として使用する。CPU201は、プログラムによって提供されるUI(ユーザインターフェース)を表示装置215に表示し、入力装置210を介して受け付けるユーザ指示などの入力を受信する。尚、表示装置215は、指などの指示体によるタッチの位置を検出するタッチパネルの機能を有するタッチパネルディスプレイであっても良い。
<情報処理装置の機能構成>
図3は情報処理装置1の機能構成を示すブロック図である。CPU201は、RAM203をワークメモリとして、ROM202又はHDD213に格納されたプログラムを読み出して実行することによって、図3に示す機能構成として機能する。尚、以下に示す処理の全てがCPU201によって実行される必要はなく、処理の一部又は全てがCPU201以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
図3は情報処理装置1の機能構成を示すブロック図である。CPU201は、RAM203をワークメモリとして、ROM202又はHDD213に格納されたプログラムを読み出して実行することによって、図3に示す機能構成として機能する。尚、以下に示す処理の全てがCPU201によって実行される必要はなく、処理の一部又は全てがCPU201以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
情報処理装置1は、法線取得部301、鏡面反射取得部302、圧縮パラメータ決定部303、法線圧縮部304を有する。法線取得部301は、物体の表面における法線方向の2次元分布を表す法線情報を取得する。具体的には、法線取得部301は、HDD213等の記憶装置から法線情報を取得する。本実施形態における法線情報は、画素毎に法線ベクトル(NX,NY,NZ)を有する2次元データであり、(NX,NY,NZ)の各値は8bitで表現される。
鏡面反射取得部302は、物体における鏡面反射強度の2次元分布を表す鏡面反射情報を取得する。具体的には、鏡面反射取得部302は、HDD213等の記憶装置から鏡面反射情報を取得する。本実施形態における鏡面反射情報は、画素毎に鏡面反射強度を有する2次元データであり、鏡面反射強度は8bitで表現される。ここで、鏡面反射強度は、Phongモデルの光沢度を示すパラメータαと同等である。例えば、画素値255の場合は、鏡面反射強度が最も大きく、観測者に対して鏡面反射する領域に生じるハイライトは面積が小さくかつ強度が大きくなる。一方で、画素値0の場合は、鏡面反射強度が最も小さく、ハイライトは面積が大きくかつ強度が小さくなる。尚、法線情報及び鏡面反射情報は共に、サイズが128×128pixelで、解像度が150dpiであるとする。
圧縮パラメータ決定部303は、鏡面反射情報に基づいて、法線情報の圧縮に用いる圧縮パラメータを決定する。圧縮パラメータは、鏡面反射強度に応じて物体の領域毎に決定される。鏡面反射強度と法線方向との関係について図5を用いて説明する。図5(a)は、鏡面反射強度が大きい鏡面反射成分501を示す。鏡面反射成分501を観測位置502及び観測位置503において観測する場合を考える。鏡面反射方向の観測位置502から少しずれた観測位置503において観測される鏡面反射成分501は、観察位置502において観測される鏡面反射成分501よりもかなり小さい。これは、鏡面反射強度が大きい場合、鏡面反射成分はシャープな形状で、観測位置や法線方向に対する角度依存性が高いことを示している。図5(b)は、鏡面反射強度が小さい鏡面反射成分504を示す。鏡面反射成分504を観測位置505及び観測位置506において観測する場合を考える。鏡面反射方向の観測位置505と、観測位置505から少しずれた観測位置506とにおいて観測される鏡面反射成分504の差は小さい。これは、鏡面反射強度が小さい場合、鏡面反射成分はブロードな形状で、観測位置や法線方向に対する角度依存性が低いことを示している。つまり、鏡面反射強度が小さい又は鏡面反射成分の形状がブロードである位置においては、法線方向が多少変更された場合であってもその影響は小さいため、法線情報を圧縮した場合の影響も比較的小さいと考えることができる。
そこで、圧縮パラメータ決定部303は、鏡面反射情報に対してS字のガンマカーブを適用することにより圧縮パラメータを決定する。図6は、圧縮パラメータを決定する処理を説明するための図である。図6(a)は、鏡面反射情報を示す。図6(b)は、鏡面反射情報を圧縮パラメータに変換するためのガンマカーブを示す。図6(c)は、図6(a)が示す鏡面反射情報に対して図6(b)のガンマカーブを適用して決定した領域毎の圧縮パラメータの例を示す。圧縮パラメータは8bitの値であり、各画素に圧縮パラメータを有する画像形式の圧縮情報が生成される。本実施形態においては、圧縮パラメータの値が0の場合に最も高圧縮な圧縮処理が行われ、値が255の場合に最も低圧縮な圧縮処理が行われる。法線圧縮部304は、決定された圧縮パラメータに基づいて、法線情報を圧縮する。
<情報処理装置が実行する処理>
本実施形態において情報処理装置1が実行する処理の流れを、図7のフローチャートを用いて説明する。図7のフローチャートが示す処理は、ユーザによって入力装置210を介して指示が入力され、CPU201が入力された指示を受け付けることにより開始する。以下、各ステップ(工程)は符号の前にSをつけて表す。S701において、法線取得部301は、HDD213等の記憶装置から法線情報を取得する。S702において、鏡面反射取得部302は、HDD213等の記憶装置から鏡面反射情報を取得する。S703において、圧縮パラメータ決定部303は、鏡面反射情報に基づいて、圧縮パラメータを決定する。
本実施形態において情報処理装置1が実行する処理の流れを、図7のフローチャートを用いて説明する。図7のフローチャートが示す処理は、ユーザによって入力装置210を介して指示が入力され、CPU201が入力された指示を受け付けることにより開始する。以下、各ステップ(工程)は符号の前にSをつけて表す。S701において、法線取得部301は、HDD213等の記憶装置から法線情報を取得する。S702において、鏡面反射取得部302は、HDD213等の記憶装置から鏡面反射情報を取得する。S703において、圧縮パラメータ決定部303は、鏡面反射情報に基づいて、圧縮パラメータを決定する。
S704において、法線圧縮部304は、法線情報に基づいて、圧縮用法線情報を生成する。具体的には、法線圧縮部304は、鏡面反射強度が小さい領域が高圧縮になるように、法線情報を圧縮用法線情報に変換する。図8は、圧縮用法線情報を生成する処理を示すフローチャートである。S801において、法線圧縮部304は、領域毎の圧縮パラメータを正規化する。具体的には、法線圧縮部304は、圧縮情報の各画素値を255で除算し、0.0~1.0の範囲の値に正規化する。正規化後の圧縮パラメータを各画素に有する圧縮情報を正規化圧縮情報とする。
S802において、法線圧縮部304は、法線情報に対して公知のメディアンフィルタを適用し、低周波法線情報を生成する。本実施形態におけるメディアンフィルタのサイズは、5×5pixelとする。S803において、法線圧縮部304は、画素毎に圧縮用法線情報を生成する繰り返し処理を開始する。S804において、法線圧縮部304は、正規化圧縮情報と低周波法線情報とに基づいて、画素毎に圧縮用法線ベクトル(NX’,NY’,NZ’)を導出する。具体的には、法線圧縮部304は、式(1)、式(2)、式(3)に従って、圧縮用法線ベクトル(NX’,NY’,NZ’)を導出する。
NX’(i,j)
=PN(i,j)*NX(i,j)+(1-PN(i,j))*NXLow(i,j)
・・・式(1)
NY’(i,j)
=PN(i,j)*NY(i,j)+(1-PN(i,j))*NYLow(i,j)
・・・式(2)
NZ’(i,j)
=PN(i,j)*NZ(i,j)+(1-PN(i,j))*NZLow(i,j)
・・・式(3)
ここで、NX’(i,j)は画素位置(i,j)におけるNX’であり、NY’(i,j)は画素位置(i,j)におけるNY’であり、NZ’(i,j)は画素位置(i,j)におけるNZ’である。PN(i、j)は画素位置(i,j)における正規化後の圧縮パラメータである。NX(i,j)は画素位置(i,j)におけるNXであり、NY(i,j)は画素位置(i,j)におけるNYであり、NZ(i,j)は画素位置(i,j)におけるNZである。NXLow(i、j)は画素位置(i,j)における低周波法線ベクトルのX成分である。NYLow(i、j)は画素位置(i,j)における低周波法線ベクトルのY成分である。NZLow(i、j)は画素位置(i,j)における低周波法線ベクトルのZ成分である。
NX’(i,j)
=PN(i,j)*NX(i,j)+(1-PN(i,j))*NXLow(i,j)
・・・式(1)
NY’(i,j)
=PN(i,j)*NY(i,j)+(1-PN(i,j))*NYLow(i,j)
・・・式(2)
NZ’(i,j)
=PN(i,j)*NZ(i,j)+(1-PN(i,j))*NZLow(i,j)
・・・式(3)
ここで、NX’(i,j)は画素位置(i,j)におけるNX’であり、NY’(i,j)は画素位置(i,j)におけるNY’であり、NZ’(i,j)は画素位置(i,j)におけるNZ’である。PN(i、j)は画素位置(i,j)における正規化後の圧縮パラメータである。NX(i,j)は画素位置(i,j)におけるNXであり、NY(i,j)は画素位置(i,j)におけるNYであり、NZ(i,j)は画素位置(i,j)におけるNZである。NXLow(i、j)は画素位置(i,j)における低周波法線ベクトルのX成分である。NYLow(i、j)は画素位置(i,j)における低周波法線ベクトルのY成分である。NZLow(i、j)は画素位置(i,j)における低周波法線ベクトルのZ成分である。
式(1)~式(3)は、正規化後の圧縮パラメータを比率として、法線ベクトルと低周波法線ベクトルとを合成するための式である。正規化後の圧縮パラメータが大きい、つまり低圧縮用のパラメータである場合は、高周波成分が含まれる法線ベクトルの比率が高くなる。正規化後の圧縮パラメータが小さい、つまり高圧縮用のパラメータである場合は、低周波法線ベクトルの比率が高くなる。これにより、高圧縮にしたい領域の法線ベクトルは低周波成分の割合が大きい法線ベクトルとなる。これは、後述するS705において使用する圧縮方式が、低周波成分が多く含まれるほど高圧縮になる圧縮方式であるためである。S805において、法線圧縮部304は、繰り返し処理を終了する。
S705において、法線圧縮部304は、圧縮用法線情報に対して圧縮処理を行う。圧縮処理には、公知のJPEG圧縮方式を用いる。上述したように、JPEG圧縮方式の圧縮処理は、低周波成分が多く含まれるほど高圧縮になる圧縮方式である。
<第1実施形態の効果>
以上説明したように、本実施形態における情報処理装置は、物体の表面における法線方向を表す法線情報と、物体における鏡面反射方向への反射に関する鏡面反射情報と、を取得し、鏡面反射情報に基づいて法線情報を圧縮する。これにより、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。以下、具体的な例を用いて本実施形態の効果を説明する。図4を用いて、JPEG方式の圧縮処理のみにより圧縮された法線情報と、本実施形態の処理により圧縮された法線情報との違いについて説明する。
以上説明したように、本実施形態における情報処理装置は、物体の表面における法線方向を表す法線情報と、物体における鏡面反射方向への反射に関する鏡面反射情報と、を取得し、鏡面反射情報に基づいて法線情報を圧縮する。これにより、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。以下、具体的な例を用いて本実施形態の効果を説明する。図4を用いて、JPEG方式の圧縮処理のみにより圧縮された法線情報と、本実施形態の処理により圧縮された法線情報との違いについて説明する。
図4において、画像401は、圧縮されていない法線情報のレンダリング結果である。画像402、画像403、画像404はそれぞれ、圧縮されていない法線情報のX成分、Y成分、Z成分のレンダリング結果である。また、画像405は、JPEG方式の圧縮処理のみにより圧縮された法線情報のレンダリング結果である。画像406、画像407、画像408はそれぞれ、JPEG方式の圧縮処理のみにより圧縮された法線情報のX成分、Y成分、Z成分のレンダリング結果である。画像405についてのJPEG圧縮レベルは2に設定されている。また、画像409は、本実施形態の処理により圧縮された法線情報のレンダリング結果である。画像410、画像411、画像412はそれぞれ、本実施形態の処理により圧縮された法線情報のX成分、Y成分、Z成分のレンダリング結果である。画像409についてのJPEG圧縮レベルも2に設定されている。画像401、画像405、画像409に示した位置a(低光沢なレンガ中央部)に注目すると、画像405及び画像409は高周波成分を失っていることがわかる。また、位置b(高光沢な目地部)に注目すると、画像405よりも画像409の方が、鏡面反射を表現できており、圧縮処理により物体の質感が劣化するのを抑制できていることがわかる。
また、図9を用いて、JPEG方式の圧縮処理のみの場合と、本実施形態の処理の場合とでの圧縮率の違いについて説明する。本実施形態における圧縮率は、圧縮処理前の法線情報のデータ容量を1.0として導出されており、値が低い方が高圧縮であることを示す。つまり、圧縮率の値が小さいほど圧縮後のファイルサイズが小さく、圧縮率の値が大きいほど圧縮後のファイルサイズが大きい。図9においては、本実施形態における圧縮処理の方が、圧縮率が低いことが示されている。これは、圧縮処理の前に、法線情報の低周波成分の割合を大きくしていることによるものである。つまり、JPEG方式の圧縮処理のみの場合よりも本実施形態の処理の場合の方が高圧縮で、データ量の削減効果が大きいことがわかる。
<変形例>
本実施形態においては、鏡面反射情報に基づいた法線情報の圧縮処理のみを行ったが、反射特性データを取得し、反射特性データに含まれる各情報に対する圧縮処理を併せて行っても良い。尚、反射特性データは、鏡面反射方向への反射に関する情報と物体の面の向きを特定可能な情報とを少なくとも含んでいれば良い。本実施形における鏡面反射方向への反射に関する情報は、各画素に鏡面反射強度を有する情報(スペキュラーマップ)であったが、サブスタンスマップ、グロスマップ、ラフネスマップであっても良い。また、Cook-Torranceモデル等の物理ベースモデルのパラメータを格納したデータ等であっても良い。また、本実施形態における物体の面の向きを特定可能な情報は、各画素に法線ベクトルを有する法線情報(法線マップ)であったが、高さマップ、バンプマップ、深度マップ、ディスプレイスメントマップ等であっても良い。法線マップ以外のデータを用いる場合は、法線情報への変換部を情報処理装置1の機能構成に追加することにより、上述した実施形態の処理を実現することができる。
本実施形態においては、鏡面反射情報に基づいた法線情報の圧縮処理のみを行ったが、反射特性データを取得し、反射特性データに含まれる各情報に対する圧縮処理を併せて行っても良い。尚、反射特性データは、鏡面反射方向への反射に関する情報と物体の面の向きを特定可能な情報とを少なくとも含んでいれば良い。本実施形における鏡面反射方向への反射に関する情報は、各画素に鏡面反射強度を有する情報(スペキュラーマップ)であったが、サブスタンスマップ、グロスマップ、ラフネスマップであっても良い。また、Cook-Torranceモデル等の物理ベースモデルのパラメータを格納したデータ等であっても良い。また、本実施形態における物体の面の向きを特定可能な情報は、各画素に法線ベクトルを有する法線情報(法線マップ)であったが、高さマップ、バンプマップ、深度マップ、ディスプレイスメントマップ等であっても良い。法線マップ以外のデータを用いる場合は、法線情報への変換部を情報処理装置1の機能構成に追加することにより、上述した実施形態の処理を実現することができる。
また、本実施形態においては、鏡面反射情報に対してS字のガンマカーブを適用して圧縮パラメータを決定したが、鏡面反射成分の形状がシャープかブロードかに応じて圧縮パラメータが制御できれば別の処理であっても良い。
また、本実施形態においては、画素毎の鏡面反射強度に応じて圧縮パラメータを決定したが、8×8pixel等の指定領域毎に、圧縮パラメータを決定するようにしても良い。
また、本実施形態においては、メディアンフィルタを用いて低周波法線情報を生成したが、他のローパスフィルタを用いても良いし、FFT等を用いて周波数空間に変換した後に高周波成分を除去する処理を行っても良い。
データのサイズ、解像度、ビット深度、フォーマット形式は上述したものに限られない。
[第2実施形態]
第1実施形態においては、法線ベクトルと低周波法線ベクトルとの合成比率を圧縮パラメータとして導出した。本実施形態においてはJPEG圧縮における圧縮レベルを圧縮パラメータとして導出する。尚、本実施形態における情報処理装置のハードウェア構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
第1実施形態においては、法線ベクトルと低周波法線ベクトルとの合成比率を圧縮パラメータとして導出した。本実施形態においてはJPEG圧縮における圧縮レベルを圧縮パラメータとして導出する。尚、本実施形態における情報処理装置のハードウェア構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
<情報処理装置の機能構成>
図10は情報処理装置1の機能構成を示すブロック図である。CPU201は、RAM203をワークメモリとして、ROM202又はHDD213に格納されたプログラムを読み出して実行することによって、図10に示す機能構成として機能する。尚、以下に示す処理の全てがCPU201によって実行される必要はなく、処理の一部又は全てがCPU201以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
図10は情報処理装置1の機能構成を示すブロック図である。CPU201は、RAM203をワークメモリとして、ROM202又はHDD213に格納されたプログラムを読み出して実行することによって、図10に示す機能構成として機能する。尚、以下に示す処理の全てがCPU201によって実行される必要はなく、処理の一部又は全てがCPU201以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
情報処理装置1は、法線取得部301、鏡面反射取得部302、圧縮パラメータ決定部1001、法線圧縮部304を有する。圧縮パラメータ決定部1001は、鏡面反射情報に基づいて、圧縮パラメータを決定する。具体的には、圧縮パラメータ決定部1001は、鏡面反射情報に含まれる鏡面反射強度の代表値として中央値を導出し、鏡面反射強度の中央値を予め生成された変換テーブルを用いて圧縮レベルに変換する。鏡面反射強度の代表値と圧縮レベルとの対応関係を保持する変換テーブルの例を図11に示す。圧縮レベルは、低圧縮を示す12から高圧縮を示す0まで、整数値で設定される。
<情報処理装置が実行する処理>
本実施形態において情報処理装置1が実行する処理の流れを、図12のフローチャートを用いて説明する。図12のフローチャートが示す処理は、ユーザによって入力装置210を介して指示が入力され、CPU201が入力された指示を受け付けることにより開始する。以下、各ステップ(工程)は符号の前にSをつけて表す。尚、S701、S702、S705の処理は第1実施形態と同等であるため説明を省略する。
本実施形態において情報処理装置1が実行する処理の流れを、図12のフローチャートを用いて説明する。図12のフローチャートが示す処理は、ユーザによって入力装置210を介して指示が入力され、CPU201が入力された指示を受け付けることにより開始する。以下、各ステップ(工程)は符号の前にSをつけて表す。尚、S701、S702、S705の処理は第1実施形態と同等であるため説明を省略する。
S1101において、圧縮パラメータ決定部1001は、鏡面反射情報に基づいて、法線情報を圧縮するための圧縮レベルを決定する。S1101において決定される圧縮レベルは、S705の圧縮処理において用いられる。
<第2実施形態の効果>
以上説明したように、本実施形態における情報処理装置は、鏡面反射情報に基づいて法線情報を圧縮するための圧縮レベルを導出し、導出した圧縮レベルを用いて法線情報を圧縮する。これにより、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。以下、具体的な例を用いて本実施形態の効果を説明する。図13は、法線情報のレンダリング結果を示す。画像1301は、鏡面反射強度が全体的に大きい場合の、圧縮されていない法線情報のレンダリング結果である。画像1302は、鏡面反射強度が全体的に小さい場合の、圧縮されていない法線情報のレンダリング結果である。画像1303は、鏡面反射強度が全体的に大きい場合の、圧縮レベル10で圧縮された法線情報のレンダリング結果である。画像1304は、鏡面反射強度が全体的に小さい場合の、圧縮レベル10で圧縮された法線情報のレンダリング結果である。画像1305は、鏡面反射強度が全体的に大きい場合の、圧縮レベル2で圧縮された法線情報のレンダリング結果である。画像1306は、鏡面反射強度が全体的に小さい場合の、圧縮レベル2で圧縮された法線情報のレンダリング結果である。また、図14は、鏡面反射強度が全体的に大きい場合と小さい場合との、各圧縮レベルにおける圧縮率を示す。
以上説明したように、本実施形態における情報処理装置は、鏡面反射情報に基づいて法線情報を圧縮するための圧縮レベルを導出し、導出した圧縮レベルを用いて法線情報を圧縮する。これにより、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。以下、具体的な例を用いて本実施形態の効果を説明する。図13は、法線情報のレンダリング結果を示す。画像1301は、鏡面反射強度が全体的に大きい場合の、圧縮されていない法線情報のレンダリング結果である。画像1302は、鏡面反射強度が全体的に小さい場合の、圧縮されていない法線情報のレンダリング結果である。画像1303は、鏡面反射強度が全体的に大きい場合の、圧縮レベル10で圧縮された法線情報のレンダリング結果である。画像1304は、鏡面反射強度が全体的に小さい場合の、圧縮レベル10で圧縮された法線情報のレンダリング結果である。画像1305は、鏡面反射強度が全体的に大きい場合の、圧縮レベル2で圧縮された法線情報のレンダリング結果である。画像1306は、鏡面反射強度が全体的に小さい場合の、圧縮レベル2で圧縮された法線情報のレンダリング結果である。また、図14は、鏡面反射強度が全体的に大きい場合と小さい場合との、各圧縮レベルにおける圧縮率を示す。
本実施形態の処理により、鏡面反射強度が全体的に大きい(代表値が大きい)場合、低圧縮となるように圧縮レベルが導出される。つまり、法線情報のレンダリング結果は画像1303となる。また、鏡面反射強度が全体的に小さい(代表値が小さい)場合、高圧縮となるように圧縮レベルが導出される。つまり、法線情報のレンダリング結果は画像1306となる。画像1303と画像1305とを比較すると、画像1305の方が表現される質感の劣化が大きい。画像1304と画像1306とを比較すると、表現される質感の差は小さい。以上から、本実施形態の圧縮処理によれば、表現される質感の劣化度合いが小さい圧縮レベルを設定することができ、劣化度合いに差がない場合は高圧縮によりデータ量の削減を優先的に行うことができる。
<変形例>
本実施形態においては、鏡面反射強度の代表値と圧縮レベルとの対応関係を保持するデータとして変換テーブルを用いたが、変換のための関数やマトリクスを表すデータであっても良い。
本実施形態においては、鏡面反射強度の代表値と圧縮レベルとの対応関係を保持するデータとして変換テーブルを用いたが、変換のための関数やマトリクスを表すデータであっても良い。
また、本実施形態においては、鏡面反射強度の代表値として中央値を導出したが、平均値等であっても良い。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1 情報処理装置
301 法線取得部
302 鏡面反射取得部
304 法線圧縮部
301 法線取得部
302 鏡面反射取得部
304 法線圧縮部
Claims (11)
- 物体の表面における法線方向を表す法線情報と、前記物体における鏡面反射方向への反射に関する鏡面反射情報と、を取得する取得手段と、
前記鏡面反射情報に基づいて、前記法線情報を圧縮する圧縮手段と、
を有することを特徴とする情報処理装置。 - 前記圧縮手段は、前記物体における鏡面反射強度が小さいほど、高圧縮な圧縮処理を行うことを特徴とする請求項1に記載の情報処理装置。
- 前記圧縮手段は、前記物体における反射光の鏡面反射成分の形状がシャープであるほど、低圧縮な圧縮処理を行うことを特徴とする請求項1又は請求項2に記載の情報処理装置。
- 前記圧縮手段は、前記法線情報に含まれる低周波成分が多いほど、高圧縮な圧縮処理を行うことを特徴とする請求項1乃至請求項3のいずれか一項に記載の情報処理装置。
- 前記圧縮手段は、前記法線情報と前記法線情報の低周波成分とを合成して圧縮用法線情報を生成し、前記圧縮用法線情報を圧縮することを特徴とする請求項1乃至請求項4のいずれか一項に記載の情報処理装置。
- 前記鏡面反射情報に基づいて、前記法線情報と前記法線情報の低周波成分との合成比率を決定する決定手段をさらに有し、
前記圧縮手段は、前記合成比率に基づいて、前記圧縮用法線情報を生成することを特徴とする請求項5に記載の情報処理装置。 - 前記鏡面反射情報に基づいて、前記法線情報を圧縮するための圧縮レベルを決定する決定手段をさらに有し、
前記圧縮手段は、前記圧縮レベルに基づいて、前記法線情報を圧縮することを特徴とする請求項1乃至請求項4のいずれか一項に記載の情報処理装置。 - 前記決定手段は、鏡面反射強度と圧縮レベルとの対応関係を保持するデータを用いて、前記法線情報を圧縮するための圧縮レベルを決定することを特徴とする請求項7に記載の情報処理装置。
- 前記鏡面反射情報は、前記物体における鏡面反射強度の2次元分布を表し、
前記法線情報は、前記物体における法線ベクトルの2次元分布を表すことを特徴とする請求項1乃至請求項8のいずれか一項に記載の情報処理装置。 - コンピュータを請求項1乃至請求項9のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
- 物体の表面における法線方向を表す法線情報と、前記物体における鏡面反射方向への反射に関する鏡面反射情報と、を取得する取得ステップと、
前記鏡面反射情報に基づいて、前記法線情報を圧縮する圧縮ステップと、
を有することを特徴とする情報処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020204919A JP2022092235A (ja) | 2020-12-10 | 2020-12-10 | 情報処理装置、情報処理方法及びプログラム |
EP21207204.5A EP4012665B1 (en) | 2020-12-10 | 2021-11-09 | Apparatus, method, and storage medium for compressing information |
US17/540,112 US20220189137A1 (en) | 2020-12-10 | 2021-12-01 | Apparatus, method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020204919A JP2022092235A (ja) | 2020-12-10 | 2020-12-10 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022092235A true JP2022092235A (ja) | 2022-06-22 |
Family
ID=78592634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020204919A Pending JP2022092235A (ja) | 2020-12-10 | 2020-12-10 | 情報処理装置、情報処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220189137A1 (ja) |
EP (1) | EP4012665B1 (ja) |
JP (1) | JP2022092235A (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7320352B2 (ja) | 2016-12-28 | 2023-08-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置 |
JP2019005942A (ja) * | 2017-06-21 | 2019-01-17 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11363249B2 (en) * | 2019-02-22 | 2022-06-14 | Avalon Holographics Inc. | Layered scene decomposition CODEC with transparency |
-
2020
- 2020-12-10 JP JP2020204919A patent/JP2022092235A/ja active Pending
-
2021
- 2021-11-09 EP EP21207204.5A patent/EP4012665B1/en active Active
- 2021-12-01 US US17/540,112 patent/US20220189137A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4012665B1 (en) | 2024-01-10 |
US20220189137A1 (en) | 2022-06-16 |
EP4012665A1 (en) | 2022-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Almeer | Cloud hadoop map reduce for remote sensing image analysis | |
US7643033B2 (en) | Multi-dimensional texture mapping apparatus, method and program | |
Dey et al. | Normal estimation for point clouds: A comparison study for a Voronoi based method | |
CN109102559B (zh) | 三维模型处理方法和装置 | |
JP5573316B2 (ja) | 画像処理方法および画像処理装置 | |
US20220292130A1 (en) | Incremental agglomerative clustering of digital images | |
KR101821085B1 (ko) | 셰이딩을 연기하고 분리하는 기술 | |
KR20080079056A (ko) | 3차원 유화 데이터의 복원 | |
US9959672B2 (en) | Color-based dynamic sub-division to generate 3D mesh | |
JP6075294B2 (ja) | 画像処理システム及び画像処理方法 | |
JP2020061080A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
US8275211B2 (en) | Image processing apparatus and method | |
CN113079409B (zh) | 画面渲染方法及画面渲染装置 | |
JP2022092235A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4974680B2 (ja) | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム | |
KR20180034237A (ko) | 화상 처리장치, 화상 처리방법, 기억매체 및 프로그램 | |
CN112957731B (zh) | 画面渲染方法、画面渲染装置及存储介质 | |
JP6619598B2 (ja) | プログラム、記録媒体、輝度演算装置及び輝度演算方法 | |
JP4996554B2 (ja) | 画像高画質化装置、方法およびプログラム | |
JP2023525534A (ja) | 3次元画像から外形を抽出する方法及び装置 | |
KR20130101332A (ko) | 삼각형 메쉬로 표현된 3차원 물체를 DoSurface 표현 방법으로 변환하는 시스템 및 그 방법 | |
US20240029343A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US20220319107A1 (en) | Apparatus, method, and storage medium | |
JP2010186401A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2010092159A (ja) | 画像データ判定装置、画像データ判定システム、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231127 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |