JP2019045996A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2019045996A JP2019045996A JP2017166107A JP2017166107A JP2019045996A JP 2019045996 A JP2019045996 A JP 2019045996A JP 2017166107 A JP2017166107 A JP 2017166107A JP 2017166107 A JP2017166107 A JP 2017166107A JP 2019045996 A JP2019045996 A JP 2019045996A
- Authority
- JP
- Japan
- Prior art keywords
- height
- dimensional image
- image processing
- processing apparatus
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【課題】2次元画像データから3次元画像データを生成する際に、2次元画像データにおいて濃淡が類似したオブジェクトが重なり合っている場合でも、3次元画像データにおいてオブジェクトの重なりを表現するための画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置は、2次元画像を表す2次元画像データを取得する画像取得部201と、2次元画像の複数の画素に対応する画素値に基づいて、複数の画素における高さを表す第1高さデータを生成する第1高さデータ生成部202と、2次元画像を複数の領域に分割する領域分割部203と、複数の領域のそれぞれについて、各領域の画素の高さに関する特徴量に基づいて、第1高さデータを補正するための重みを決定する重み決定部204と、重みに基づいて第1高さデータを補正することによって、第2高さデータを生成する第2高さデータ生成部205と、を有する。【選択図】図1
Description
本発明は、2次元画像データから3次元画像データを生成する画像処理技術に関する。
3DCG(コンピュータグラフィックス)デザインなどのワークフローでは、製品コンセプトやイメージを2次元画像データとして生成し、生成した2次元画像データを試作品作成や実製品の製造のために3次元画像データ化することがしばしば行われている。2次元画像データに基づいて3次元画像データを生成する技術として特許文献1がある。特許文献1に記載された方法では、2次元画像データが有する色情報(濃淡)に応じて物体の奥行き情報を求め、奥行き情報に基づいて3次元画像データを生成している。
特許文献1に記載された方法を用いて3次元画像データを生成する場合、オブジェクトの奥行き情報は、色情報が表す濃淡に基づいて算出される。このため、2次元画像データにおいて濃淡が類似した複数のオブジェクトが重なり合っている場合、3次元画像データにおいて複数のオブジェクトの奥行きの違いが小さくなり、オブジェクトの重なりが表現できないという課題がある。
本発明は、2次元画像データから3次元画像データを生成する際に、2次元画像データにおいて濃淡が類似したオブジェクトが重なり合っている場合でも、3次元画像データにおいてオブジェクトの重なりを表現するための画像処理を提供することを目的とする。
上記課題を解決するために、本発明に係る画像処理装置は、2次元画像を表す2次元画像データを取得する取得手段と、前記2次元画像の複数の画素に対応する画素値に基づいて、前記複数の画素における高さを表す第1高さデータを生成する第1生成手段と、前記2次元画像を複数の領域に分割する分割手段と、前記複数の領域のそれぞれについて、各領域の画素の高さに関する特徴量に基づいて、前記第1高さデータを補正するための重みを決定する決定手段と、前記重みに基づいて前記第1高さデータを補正することによって、第2高さデータを生成する第2生成手段と、を有することを特徴とする。
本発明によれば、2次元画像データから3次元画像データを生成する際に、2次元画像データにおいて濃淡が類似したオブジェクトが重なり合っている場合でも、3次元画像データにおいてオブジェクトの重なりを表現することができる。
以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、以下の実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。尚、同一の構成については、同一の符号を付して説明する。また、以下に説明する画像処理装置は、色や形状といった他の質感要素を再現する機能を加えた構成をとることも可能である。
[実施形態1]
本実施形態では、画像データ(2次元画像データ)に基づいて第1高さデータを生成し、生成した第1高さデータが表す高さに補正量を加算することによって、第2高さデータ(3次元画像データ)を生成する方法を説明する。
本実施形態では、画像データ(2次元画像データ)に基づいて第1高さデータを生成し、生成した第1高さデータが表す高さに補正量を加算することによって、第2高さデータ(3次元画像データ)を生成する方法を説明する。
<画像処理装置1のハードウェア構成>
図1(a)は、画像処理装置1のハードウェア構成例である。画像処理装置1は、例えばコンピュータであり、CPU101、ROM102、RAM103、汎用I/F(インターフェース)104、SATA(シリアルATA)I/F105、VC(ビデオカード)106を備える。CPU101は、RAM103をワークメモリとして、ROM102、HDD(ハードディスクドライブ)17などに格納されたOS(オペレーティングシステム)や各種プログラムを実行する。また、CPU101は、システムバス107を介して各構成を制御する。尚、後述するフローチャートによる処理は、ROM102やHDD17などに格納されたプログラムコードがRAM103に展開され、CPU101によって実行される。汎用I/F104には、シリアルバス12を介して、マウスやキーボードなどの入力デバイス13やプリンタ14が接続される。SATAI/F105には、シリアルバス16を介して、HDD17や各種記録メディアの読み書きを行う汎用ドライブ18が接続される。CPU101は、HDD17や汎用ドライブ18にマウントされた各種記録メディアを各種データの格納場所として使用する。VC106には、ディスプレイ15が接続される。CPU101は、プログラムによって提供されるUI(ユーザインターフェース)画面をディスプレイ15に表示し、入力デバイス13を介して得られたユーザの指示を表す入力情報を受信する。
図1(a)は、画像処理装置1のハードウェア構成例である。画像処理装置1は、例えばコンピュータであり、CPU101、ROM102、RAM103、汎用I/F(インターフェース)104、SATA(シリアルATA)I/F105、VC(ビデオカード)106を備える。CPU101は、RAM103をワークメモリとして、ROM102、HDD(ハードディスクドライブ)17などに格納されたOS(オペレーティングシステム)や各種プログラムを実行する。また、CPU101は、システムバス107を介して各構成を制御する。尚、後述するフローチャートによる処理は、ROM102やHDD17などに格納されたプログラムコードがRAM103に展開され、CPU101によって実行される。汎用I/F104には、シリアルバス12を介して、マウスやキーボードなどの入力デバイス13やプリンタ14が接続される。SATAI/F105には、シリアルバス16を介して、HDD17や各種記録メディアの読み書きを行う汎用ドライブ18が接続される。CPU101は、HDD17や汎用ドライブ18にマウントされた各種記録メディアを各種データの格納場所として使用する。VC106には、ディスプレイ15が接続される。CPU101は、プログラムによって提供されるUI(ユーザインターフェース)画面をディスプレイ15に表示し、入力デバイス13を介して得られたユーザの指示を表す入力情報を受信する。
<画像処理装置1の論理構成>
図1(b)は、画像処理装置1の論理構成を示すブロック図である。画像処理装置1は、画像取得部201、第1高さデータ生成部202、領域分割部203、重み決定部204、第2高さデータ生成部205を有する。画像取得部201は、ユーザによって入力された画像データを取得する。尚、本実施形態において取得される画像データは、8ビットで表される色信号値が各画素に記録されたカラー画像である。色信号値は、色画像の各画素が有する3つの各チャンネルに記録されるR(レッド)値、G(グリーン)値、B(ブルー)値である。尚、本実施形態における色信号値はsRGB空間上において定義されるRGB値とするが、AdobeRGB空間上で定義されるRGB値あるいはL*a*b*空間上で定義されるL*a*b*値といった他の形式であってもよい。第1高さデータ生成部202は、画像データが有する色信号値に基づいて輝度情報を算出し、算出した輝度情報に基づいて第1高さデータを生成する。本実施形態においては、画像の濃淡を輝度(明るさ)によって表現する。第1高さデータは、複数の画素からなるデータであり、各画素に基準面からの高さが記録されている。ここで説明する高さは、基準面からの距離であって、基準面からの奥行きを含む。領域分割部203は、ローパスフィルタ(以降、LPFと呼ぶ)及びハイパスフィルタ(以降、HPFと呼ぶ)を用いて、画像データが表す画像を複数の領域に分割する。重み決定部204は、領域分割によって得られた各領域の特徴に基づいて順位付けを行う。さらに、その順位に基づいて、第1高さデータの各画素に記録された高さを補正する際に用いる重みを決定する。第2高さデータ生成部205は、第1高さデータ生成部202において生成された第1高さデータが表す高さを、重み決定部204において決定された重みに応じて補正することによって、第2高さデータを生成する。
図1(b)は、画像処理装置1の論理構成を示すブロック図である。画像処理装置1は、画像取得部201、第1高さデータ生成部202、領域分割部203、重み決定部204、第2高さデータ生成部205を有する。画像取得部201は、ユーザによって入力された画像データを取得する。尚、本実施形態において取得される画像データは、8ビットで表される色信号値が各画素に記録されたカラー画像である。色信号値は、色画像の各画素が有する3つの各チャンネルに記録されるR(レッド)値、G(グリーン)値、B(ブルー)値である。尚、本実施形態における色信号値はsRGB空間上において定義されるRGB値とするが、AdobeRGB空間上で定義されるRGB値あるいはL*a*b*空間上で定義されるL*a*b*値といった他の形式であってもよい。第1高さデータ生成部202は、画像データが有する色信号値に基づいて輝度情報を算出し、算出した輝度情報に基づいて第1高さデータを生成する。本実施形態においては、画像の濃淡を輝度(明るさ)によって表現する。第1高さデータは、複数の画素からなるデータであり、各画素に基準面からの高さが記録されている。ここで説明する高さは、基準面からの距離であって、基準面からの奥行きを含む。領域分割部203は、ローパスフィルタ(以降、LPFと呼ぶ)及びハイパスフィルタ(以降、HPFと呼ぶ)を用いて、画像データが表す画像を複数の領域に分割する。重み決定部204は、領域分割によって得られた各領域の特徴に基づいて順位付けを行う。さらに、その順位に基づいて、第1高さデータの各画素に記録された高さを補正する際に用いる重みを決定する。第2高さデータ生成部205は、第1高さデータ生成部202において生成された第1高さデータが表す高さを、重み決定部204において決定された重みに応じて補正することによって、第2高さデータを生成する。
<画像処理装置1が実行する処理のフロー>
図2は、画像処理装置1が実行する処理のフローチャートである。以下、図2を用いて画像処理装置1における処理の詳細を説明する。尚、下記処理は、入力デバイス13を介して得られたユーザの指示を表す入力情報を受信することで開始する。
図2は、画像処理装置1が実行する処理のフローチャートである。以下、図2を用いて画像処理装置1における処理の詳細を説明する。尚、下記処理は、入力デバイス13を介して得られたユーザの指示を表す入力情報を受信することで開始する。
ステップS301において、画像取得部201は、ユーザの指示入力を受け付けるためのUI画面をディスプレイ15に表示する。ステップS302において、画像取得部201は、ユーザの指示入力に基づいて、画像データを取得する。ステップS303において、第1高さデータ生成部202は、画像データの色信号値に基づいて、輝度値を算出する。さらに、輝度値を画像データが表す画像の基準面からの高さに変換し、変換によって得られた高さを各画素に記録した第1高さデータを生成する。ここで、基準面は、画像データが表す画像を記録媒体上に形成した場合の、記録媒体の表面とする。ステップS303における処理の詳細は後述する。
ステップS304において、領域分割部203は、画像データが表す画像を複数の領域に分割する。ステップS304における処理の詳細は後述する。ステップS305において、重み決定部204は、領域分割によって得られた各領域の特徴に基づいて順位付けを行い、その順位に基づいて高さを補正するための重みを決定する。ステップS304における処理の詳細は後述する。ステップS306において、第2高さデータ生成部205は、ステップS303において生成された第1高さデータが表す高さを、ステップS305において決定された重みに応じて補正することによって、第2高さデータを生成する。ステップS306における処理の詳細は後述する。
<ステップS303における第1高さデータの生成処理>
図3は、ステップS303における第1高さデータを生成する処理のフローチャートである。以下、ステップS303における処理の詳細を図4を用いて説明する。
図3は、ステップS303における第1高さデータを生成する処理のフローチャートである。以下、ステップS303における処理の詳細を図4を用いて説明する。
ステップS401において、第1高さデータ生成部202は、画像データにおける画素位置(i,j)について、変数iと変数jとの初期化を行う。
ステップS402において、第1高さデータ生成部202は、画像データの注目画素の色信号値に基づいて、着目画素の輝度値を算出する。具体的には、まず、着目画素の色信号値に対してガンマ(γ)補正を行う。γ補正には、以下の式(1)乃至式(3)を用いる。
ここで、R’はR値をγ補正した後の値である。G’及びB’も同様である。γはγ補正値であり、本実施形態においては2.2とする。次に、式(4)により輝度値Yを算出する。尚、最大輝度値は1.0とする。
Y=0.2126×R’+0.7152×G’+0.0722×B’・・・式(4)
ステップS403において、第1高さデータ生成部202は、輝度値Yを画像データが表す画像の基準面からの高さHに変換する。変換には式(5)を用いる。高さHは、R値255、G値255、B値255の色信号値が記録された画素において最大の高さとなる。
Y=0.2126×R’+0.7152×G’+0.0722×B’・・・式(4)
ステップS403において、第1高さデータ生成部202は、輝度値Yを画像データが表す画像の基準面からの高さHに変換する。変換には式(5)を用いる。高さHは、R値255、G値255、B値255の色信号値が記録された画素において最大の高さとなる。
ステップS404において、第1高さデータ生成部202は、画像の横方向の画素位置を表すiが画像の横方向の画素数と同じか否かを判定し、同じであればステップS405へ進み、そうでなければiに1を加えてステップS402へ戻る。
ステップS405において、第1高さデータ生成部202は、画像の縦方向の画素位置を表すjが画像の縦方向の画素数と同じか否かを判定する。同じであれば全画素に高さHが記録された第1高さデータが生成されているため、ステップS303における処理を終了し、ステップS304へ進む。同じでなければiを0に更新し、jに1を加えてステップS402へ戻る。
<ステップS304における領域分割処理>
図4は、ステップS304における領域分割処理のフローチャートである。以下、ステップS304における処理の詳細を図4を用いて説明する。
図4は、ステップS304における領域分割処理のフローチャートである。以下、ステップS304における処理の詳細を図4を用いて説明する。
ステップS501において、領域分割部203は、画像データと、領域分割に用いるLPF及びHPFのフィルタ係数と、を取得する。
ステップS502において、領域分割部203は、画像データのノイズを低減するために、画像データに対してLPFを適用する。本実施形態においては、3×3の2次元フィルタを用いた画像の畳み込み処理を行う。畳み込み処理は以下の式(6)によって行う。
ここで、Yi,jは画素位置(i,j)における輝度値であり、Y’i,jは画素位置(i,j)における畳み込み処理後の輝度値である。AはLPFのフィルタ係数a0〜a8を成分とする行列である。尚、LPFには、公知のガウシアンフィルタや移動平均フィルタ、メディアンフィルタなどを用いることができる。また、本実施形態においてはLPFによって画像データのノイズを低減するが、ノイズを低減する方法であれば他の方法であってもよい。例えば、周波数分解によって画像データを周波数空間のパワースペクトルを表すデータに変換してから高周波成分を取り除いてもよい。周波数分解には、公知のFFT(Fast Fourier Transform)やウェーブレット変換などを用いることができる。
ステップS503において、領域分割部203は、画像データのエッジを抽出するために、ノイズが低減された画像データに対してHPFを適用する。本実施形態においては、3×3の2次元フィルタを用いた画像の畳み込み処理を行う。畳み込み処理は以下の式(7)によって行う。
ここで、Y’i,jは画素位置(i,j)における輝度値であり、Y’’i,jは画素位置(i,j)における畳み込み処理後の輝度値である。BはHPFのフィルタ係数b0〜b8を成分とする行列である。尚、HPFには、公知のラプラシアンフィルタやアンシャープマスクなどを用いることができる。尚、本実施形態においてはHPFによって画像データのエッジを抽出するが、エッジを抽出する方法であれば他の方法であってもよい。例えば、周波数分解によって画像データを周波数空間のパワースペクトルを表すデータに変換してから低周波成分を取り除いてもよい。周波数分解には、公知のFFT(Fast Fourier Transform)やウェーブレット変換などを用いることができる。
ステップS504において、領域分割部203は、画素位置を表すi,jを0に初期化する。さらに、画素の画素値が属する範囲IDを表すKを0に、注目画素の画素値が属する範囲のカウントを表すmを0に、画素が属する領域IDを表すLを0に、領域のカウントを表すnを0に初期化する。また、0〜255の値を複数の範囲に区分けするための閾値設定を行う。ここで、区分けするための範囲数をPとし、範囲間の閾値をQとする。尚、本実施形態においては、0〜255の値を8つの範囲に区分けするため、Pは8となる。また、Qは32、64、96、128、160、192、224である。Kの値は、画素値が区分けされた範囲のうちどの範囲に属するかに応じて決まる。尚、区分けの方法は上記一例に限定されず、0〜255の範囲を複数の範囲に分けられればどのような区分けであってもよい。
ステップS505において、領域分割部203は、注目画素の画素値が8つの範囲のうちどの範囲の値であるかを判定し、Kの値を決定する。具体的には、注目画素(i,j)の輝度値Y’’i,jが式(8)を満たすか否かを判定し、満たしていれば注目画素が属する範囲としてmを設定しステップS506へ進む。満たしていなければmに1を加えてステップS505の判定を再度行う。
Y’’i,j≧QmかつY’’i,j<Qm+1・・・式(8)
ステップS506において、領域分割部203は、画像データの全ての画素についてKの値を決定したか否かを判定し、決定していれば画素位置を表す変数i,jとカウントmを0に初期化してステップS507へ進む。決定していなければ画素位置を表す変数を更新してステップS505に戻る。
Y’’i,j≧QmかつY’’i,j<Qm+1・・・式(8)
ステップS506において、領域分割部203は、画像データの全ての画素についてKの値を決定したか否かを判定し、決定していれば画素位置を表す変数i,jとカウントmを0に初期化してステップS507へ進む。決定していなければ画素位置を表す変数を更新してステップS505に戻る。
ステップS507において、領域分割部203は、注目画素の画素値の範囲IDであるKがmであるか否かを判定し、mであればステップS508へ進み、mでなければ画素位置を表す変数を更新してステップS507の判定を再度行う。ステップS508において、領域分割部203は、注目画素と隣接するいずれかの画素の範囲IDであるKが同じであるか否かを判定し、同じものがあればステップS509へ進む。同じものがなければステップS510へ進む。ここで、注目画素と隣接する画素は、縦方向又は横方向のいずれかで注目画素と接している画素である。ステップS509において、領域分割部203は、注目画素の領域IDであるLにnを設定する。また、範囲IDであるKが同じである隣接画素のLにもnを設定する。ステップS510において、領域分割部203は、nに1を加えてnを更新し、Lにnを設定する。
ステップS511において、領域分割部203は、画像データの全ての画素についてLの値を決定したか否かを判定し、決定していればステップS304における処理を終了してステップS305へ進む。決定していなければ画素位置を表す変数を更新してステップS507に戻る。以上、ステップS304の処理によって、画素値の範囲IDが同じ画素には同じ領域IDが設定される。これにより、画素値が近い画素の集合それぞれが1つの領域となるように領域分割処理が行われる。尚、領域分割の方法は上記一例に限定されず、公知の領域分割方法を用いてもよい。
<ステップS305における重み決定処理>
図5は、ステップS305における重み決定処理のフローチャートである。以下、ステップS305における処理の詳細を図5を用いて説明する。
図5は、ステップS305における重み決定処理のフローチャートである。以下、ステップS305における処理の詳細を図5を用いて説明する。
ステップS601において、重み決定部204は、第1高さデータと、ステップS304における領域分割処理によって得られた各画素における領域IDと、を取得する。さらに画素位置を表すi,jを0に初期化する。ステップS602において、重み決定部204は、領域分割によって得られた各領域において高さの平均値を算出する。ステップS603において、重み決定部204は、第1高さデータにおける全ての領域について高さの平均値の算出が行われたか否かを判定し、行われていればステップS604へ進み、行われていなければ領域IDを更新してステップS602に戻る。
ステップS604において、重み決定部204は、平均値の大きさで領域をソートし、平均値の小さい順に順位を割り振る。具体的には、最も平均値が小さい領域に対して順位1を割り振り、以後小さい順に順位を割り振る。尚、平均値の大きさが同一のものが複数ある場合は、領域IDが小さい方により若い順位を割り当てるものとする。また、ソートには、公知のバブルソートやクイックソート等を用いる。ステップS605において、重み決定部204は、ステップS604において割り当てた順位に応じて、第1高さデータが表す高さを補正するための重みを領域ごとに決定する。具体的には、領域内の各画素に高さを加算することによって補正を行うため、以下の式(9)を用いて加算する高さを領域ごとに決定する。
ここで、加算する高さをHadd、分割比をRate、順位をRankとする。また、本実施形態における最大高さは255とする。尚、本実施形態においては、各領域における高さの平均値に基づいて各領域の順位を決めたが、各領域における高さに関する特徴量であれば順位決めに用いる値は平均値に限られない。例えば、最頻値や中央値などの統計量であってもよいし、最大値や最小値などであってもよい。
<ステップS306における第2高さデータの生成処理>
図6は、ステップS306における第2高さデータの生成処理のフローチャートである。以下、ステップS306における処理の詳細を図6を用いて説明する。
図6は、ステップS306における第2高さデータの生成処理のフローチャートである。以下、ステップS306における処理の詳細を図6を用いて説明する。
ステップS701において、第2高さデータ生成部205は、第1高さデータと、第1高さデータの各画素の高さに加算する高さと、を取得する。さらに、高さを加算する際の係数を取得する。図7に示すUI画面を介して、ユーザからの係数に関する入力を受け付ける。テキストボックス801は係数R1を設定するための領域であり、テキストボックス802は係数R2を設定するための領域である。処理ボタン803は設定した係数に基づいて補正処理を開始する。
ステップS702において、第2高さデータ生成部205は、式(10)を用いて第1高さデータが表す高さを補正し、補正された高さが各画素に記録された第2高さデータを生成する。具体的には、第1高さデータと、各画素に加算する高さが記録された加算用高さデータと、において対応する画素同士の画素値の和を算出し、画素値の和を第2高さデータの画素値とする。ここで、第1高さデータの各画素に記録された高さはH、加算する高さはHadd、補正後の高さはHCである。
<実施形態1の効果>
以上説明したように、本実施形態における画像処理装置1は、2次元画像の複数の画素に対応する画素値に基づいて、複数の画素における高さを表す第1高さデータを生成する。2次元画像を複数の領域に分割し、複数の領域のそれぞれについて、各領域の画素の高さに関する特徴量に基づいて、第1高さデータを補正するための重みを決定する。決定した重みに基づいて前記第1高さデータを補正することによって、第2高さデータを生成する。
以上説明したように、本実施形態における画像処理装置1は、2次元画像の複数の画素に対応する画素値に基づいて、複数の画素における高さを表す第1高さデータを生成する。2次元画像を複数の領域に分割し、複数の領域のそれぞれについて、各領域の画素の高さに関する特徴量に基づいて、第1高さデータを補正するための重みを決定する。決定した重みに基づいて前記第1高さデータを補正することによって、第2高さデータを生成する。
これにより、2次元画像において類似した輝度情報(濃淡情報)を有する領域がある場合でも、領域ごとに異なる高さの補正を行うため、オブジェクト同士の高さ(奥行き)の違いを3次元画像上で表現することができる。よって、2次元画像データから3次元画像データを生成する際に、2次元画像データにおいて濃淡が類似したオブジェクトが重なり合っている場合でも、3次元画像データにおいてオブジェクトの重なりを表現することができる。
本実施形態における方法を用いて2次元画像データから3次元画像データを生成する一例として、複数の布が重なり合った衣服を撮像した2次元画像データを用いる例が考えられる。例えば、ポケットを有する衣服を撮像した場合に、撮像画像上ではポケットとそれ以外の部分で色(濃淡)の違いが小さいため、従来の方法を用いてもポケットとそれ以外の部分との高さ(奥行き)の違いを表現できなかった。この場合に本実施形態における方法を用いると、ポケットとそれ以外の部分とで領域が分けられ、領域ごとに異なる高さの補正が行われる(段差が付加される)ため、3次元画像上でポケットとそれ以外の部分との高さ(奥行き)の違いを表現することができる。衣服としてはデニム生地のジーンズなどが考えられるが、他の衣服でもよい。また、衣服をオブジェクトの一例として説明したが、重なり合ったオブジェクトを含む2次元画像データあれば本実施形態を適用可能である。尚、太陽や光源など、輝度(濃淡)と高さ(奥行き)との関係が定まらないオブジェクトや背景が2次元画像上に含まれる場合は、そのオブジェクトや背景に対応する領域を除いた領域に本実施形態の方法を適用するようにしてもよい。この場合は、領域分割処理後に高さを算出する領域を選択するためのUI画面を表示するようにする。高さの算出を行わない領域は、高さを第2画像データにおいて背景(高さ0)として設定してもよいし、順位付けの際の順位が最下位や最上位になるようにしてもよい。
<変形例>
尚、本実施形態においては、補正の際の係数をユーザ入力によって取得したが、予め係数を決めておき、係数を保持しておいてもよい。また、係数は、領域ごとに異なるように保持しておいてもよい。
尚、本実施形態においては、補正の際の係数をユーザ入力によって取得したが、予め係数を決めておき、係数を保持しておいてもよい。また、係数は、領域ごとに異なるように保持しておいてもよい。
また、本実施形態においては、順位に応じて加算する高さを決定したが、順位を設定せずに、領域ごとの高さの平均値に応じて加算する高さを決定してもよい。
また、本実施形態においては、高さを補正する際の重みとして加算する高さを決定したが、補正の方法及び重みは上記一例に限定されない。例えば、第1高さデータが表す高さに加算する所定の高さを予め保持しておき、所定の高さを領域の順位に応じて補正することにより、領域ごとに異なる高さを加算するようにしてもよい。この場合は、順位に応じて領域ごとに0.3、0.5、0.7などの重みを決定し、重みが乗算された所定の高さを各領域内の高さに加算する。また、補正は加算に限られず、乗算、減算、除算などであってもよい。
また、本実施形態においては、領域分割処理を画像データに対して行ったが、画像データから生成した第1高さデータに対して領域分割処理を行ってもよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1 画像処理装置
201 画像取得部
202 第1高さデータ生成部
203 領域分割部
204 重み決定部
205 第2高さデータ生成部
201 画像取得部
202 第1高さデータ生成部
203 領域分割部
204 重み決定部
205 第2高さデータ生成部
Claims (20)
- 2次元画像を表す2次元画像データを取得する取得手段と、
前記2次元画像の複数の画素に対応する画素値に基づいて、前記複数の画素における高さを表す第1高さデータを生成する第1生成手段と、
前記2次元画像を複数の領域に分割する分割手段と、
前記複数の領域のそれぞれについて、各領域の画素の高さに関する特徴量に基づいて、前記第1高さデータを補正するための重みを決定する決定手段と、
前記重みに基づいて前記第1高さデータを補正することによって、第2高さデータを生成する第2生成手段と、
を有することを特徴とする画像処理装置。 - 前記特徴量は、前記各領域における前記高さの統計量であることを特徴とする請求項1に記載の画像処理装置。
- 前記特徴量は、前記各領域における前記高さの平均値であることを特徴とする請求項2に記載の画像処理装置。
- 前記特徴量は、前記各領域における前記高さの最頻値であることを特徴とする請求項2に記載の画像処理装置。
- 前記特徴量は、前記各領域における前記高さの最大値であることを特徴とする請求項1に記載の画像処理装置。
- 前記決定手段は、前記特徴量に基づいて前記各領域において順位を付け、前記順位に基づいて、前記重みを決定することを特徴とする請求項1乃至請求項5のいずれか一項に記載の画像処理装置。
- 前記重みは、前記特徴量に応じた所定の値であることを特徴とする請求項1乃至請求項5のいずれか一項に記載の画像処理装置。
- 前記重みは、前記順位に応じた所定の値であることを特徴とする請求項6に記載の画像処理装置。
- 前記重みは、前記第1高さデータが表す前記高さに加算するための高さであることを特徴とする請求項1乃至請求項8のいずれか一項に記載の画像処理装置。
- 前記第2生成手段は、前記第1高さデータが表す前記高さに前記重みを加算する際に前記重みに乗算する係数を取得し、前記係数を乗算した前記重みを前記高さに加算することによって、前記第2高さデータを生成することを特徴とする請求項9に記載の画像処理装置。
- 前記各領域における前記係数は互いに異なることを特徴とする請求項10に記載の画像処理装置。
- 前記第1高さデータは、各画素に前記高さが記録された、複数の画素から成るデータであって、
前記決定手段は、前記各領域における前記重みを決定することによって、各画素に前記重みが記録された、複数の画素から成る加算用高さデータを生成し、
前記第2生成手段は、前記第1高さデータと前記加算用高さデータとにおいて対応する画素同士の画素値の和を算出し、前記画素値の和を前記第2高さデータの画素値とすることを特徴とする請求項1乃至請求項11のいずれか一項に記載の画像処理装置。 - 前記2次元画像データの画素値は色信号値であって、
前記第1生成手段は、前記2次元画像データが有する前記色信号値に基づいて輝度値を算出し、前記輝度値に基づいて、前記第1高さデータを生成することを特徴とする請求項1乃至請求項12のいずれか一項に記載の画像処理装置。 - 前記第1生成手段は、前記輝度値が高くなるにつれて前記高さが高くなるように前記高さを算出し、算出された前記高さを表す前記第1高さデータを生成することを特徴とする請求項13に記載の画像処理装置。
- 前記2次元画像には高さの異なる複数のオブジェクトが含まれることを特徴とする請求項1乃至請求項14のいずれか一項に記載の画像処理装置。
- 前記2次元画像には、複数の布が重なり合ったオブジェクトが含まれることを特徴とする請求項15に記載の画像処理装置。
- 前記分割手段は、前記2次元画像データにハイパスフィルタを適用することによって前記2次元画像のエッジを抽出し、エッジが抽出された前記2次元画像を複数の領域に分割することを特徴とする請求項1乃至請求項16のいずれか一項に記載の画像処理装置。
- 前記分割手段は、前記2次元画像データに対して周波数分解を行い、前記2次元画像から低周波成分を取り除き、低周波成分が取り除かれた前記2次元画像を複数の領域に分割することを特徴とする請求項1乃至請求項16のいずれか一項に記載の画像処理装置。
- コンピュータを請求項1乃至請求項18のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 2次元画像を表す2次元画像データを取得する取得ステップと、
前記2次元画像の複数の画素に対応する画素値に基づいて、前記複数の画素における高さを表す第1高さデータを生成する第1生成ステップと、
前記2次元画像を複数の領域に分割する分割ステップと、
前記複数の領域のそれぞれについて、各領域の画素の高さに関する特徴量に基づいて、前記第1高さデータを補正するための重みを決定する決定ステップと、
前記重みに基づいて前記第1高さデータを補正することによって、第2高さデータを生成する第2生成ステップと、
を有することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017166107A JP2019045996A (ja) | 2017-08-30 | 2017-08-30 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017166107A JP2019045996A (ja) | 2017-08-30 | 2017-08-30 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019045996A true JP2019045996A (ja) | 2019-03-22 |
Family
ID=65814465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017166107A Pending JP2019045996A (ja) | 2017-08-30 | 2017-08-30 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019045996A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832585A (zh) * | 2019-04-16 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 图像处理的方法和装置 |
-
2017
- 2017-08-30 JP JP2017166107A patent/JP2019045996A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832585A (zh) * | 2019-04-16 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 图像处理的方法和装置 |
CN111832585B (zh) * | 2019-04-16 | 2023-04-18 | 杭州海康威视数字技术股份有限公司 | 图像处理的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5197683B2 (ja) | 奥行き信号生成装置及び方法 | |
US7983511B1 (en) | Methods and apparatus for noise reduction in digital images | |
KR20090091207A (ko) | 디지털 이미지들에서의 동적 범위를 부스팅하기 위한 장치 및 방법들 | |
KR101377733B1 (ko) | 업-스케일링 | |
JP2015011585A (ja) | 画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラム | |
US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
JP2020005203A (ja) | 画像処理装置、制御方法、及びプログラム | |
US20120237121A1 (en) | Image processing device, image processing method, and storage medium for storing image processing program | |
JP7328096B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2012023455A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9235773B2 (en) | Image processing device capable of determining types of images accurately | |
US20170277975A1 (en) | Edge detecting apparatus and edge detecting method | |
JP2019045996A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6938282B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2016051716A1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
US9154671B2 (en) | Image processing apparatus, image processing method, and program | |
KR102470242B1 (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
US11580620B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP5832095B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
JP2015118611A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6308496B2 (ja) | 画像復元装置、方法、及びプログラム | |
JP6919433B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
JP7262032B2 (ja) | 画像処理装置 | |
JP5934019B2 (ja) | 階調復元装置及びそのプログラム |