JP2019125076A

JP2019125076A - 画像処理装置、画像処理方法、ならびに、プログラム

Info

Publication number: JP2019125076A
Application number: JP2018004069A
Authority: JP
Inventors: 理映子櫻井; Rieko Sakurai
Original assignee: Drecom Co Ltd
Current assignee: Drecom Co Ltd
Priority date: 2018-01-15
Filing date: 2018-01-15
Publication date: 2019-07-25
Anticipated expiration: 2038-01-15
Also published as: JP6391033B1

Abstract

【課題】建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像に変換したい。【解決手段】画像処理装置101において、主認識部102は、原画像において主部材が描画されている主領域を、主画像認識により認識する。設定部103は、主領域に対する左右いずれかの側および上方の消失点と縦横の複数の通過直線を設定する。変換部104は、縦横の通過直線が主水平線および主鉛直線へ射影されるように、原画像を変換済画像へホモグラフィ変換する。副認識部105は、変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する。評価部106は、副領域の副画像認識における信頼度に基づいて、評価値を計算する。制御部107は、評価値を最適化するように、設定から評価値の計算までを繰り返す制御を行う。繰り返しが完了すると、出力部108は、変換済画像を出力する。【選択図】図1

Description

本発明は、建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像にホモグラフィ変換するのに好適な画像処理装置、画像処理方法、ならびに、プログラムに関する。

従来から、複数の画像から3次元モデルを構築する技術が提案されている。たとえば、特許文献1では、ユーザが2次元の入力画像において対応する多角形の領域の組をセグメント化して、その組にラベル付けを行うと、当該組と整合性を有する最大ボリュームを有する3次元モデルを構築する技術が提案されている。

このような技術においては、2次元入力画像は、3次元の物体をホモグラフィ(透視投影)によって射影することにより2次元化していることを前提としている。したがって、2次元の入力画像に描画された建物の壁面等を正面から見た様子を表す画像を得るためには、ホモグラフィ変換の逆変換を行う必要がある。

特許文献1に開示される技術のように、2次元の入力画像が多数ある場合には、このような逆変換を求めることが可能である。

一方で、非特許文献1に開示される技術のように、人工知能技術の分野では、
各種のオブジェクトを画像認識によって検出したり、
風景が撮影された写真を、建物、道、木、芝生、空などの領域に分解したり
するための技術が提案されている。これらの技術によれば、現実世界を撮影した写真や、仮想世界をコンピュータグラフィックスにより描画した画像から、
建物が撮影されている領域のみを抽出したり、
建物の外観の画像から、建物の外観を構成するガラス、窓枠、柵、冷房室外機、パイプなどの、各種の部材を認識したり
することが可能である。

また、非特許文献1等に開示される画像認識に係る技術では、認識された対象が描かれている領域と、当該認識に係るスコアと、が、同時に得られるのが一般的であり、当該スコアによって、当該認識がどの程度確からしいものであるかを表す信頼度を得ることができる。

特開2004-288180号公報

Ren, Shaoqing, et al, "Faster R-CNN: Towards real-time object detection with region proposal networks", Advances in neural information processing systems, 2015年. (https://arxiv.org/pdf/1506.01497.pdf より2018年1月5日にダウンロード)

しかしながら、建物の壁面等が描画された画像が一つしか存在しない場合には、ホモグラフィ変換やその逆変換を一意に求めることはできない。

したがって、建物の壁面等が描画された原画像から、当該壁面等を正面から見た様子を妥当に表す変換済画像を得るための技術が求められている。

本発明は、上記のような課題を解決するもので、建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像にホモグラフィ変換するのに好適な画像処理装置、画像処理方法、ならびに、プログラムを提供することを目的とする。

以上の課題を解決するため、本願発明においては、画像処理装置が、
原画像において、主部材が描画されている主領域を、主画像認識により複数認識し、
前記原画像において、前記複数の主領域に対する
右側と左側のいずれかの側の横消失点と、
上方と下方のいずれかの方の縦消失点と、
前記横消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、
前記縦消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、
を、前記複数の主領域のそれぞれが、
前記複数の横通過直線のうち、多くとも1つの横通過直線に通過され、
前記複数の縦通過直線のうち、多くとも1つの縦通過直線に通過される
ように設定し、
前記原画像を変換済画像へホモグラフィ変換する際に、前記原画像における
前記複数の横通過直線、および、
前記複数の縦通過直線
を、それぞれ、前記変換済画像における
複数の主水平線、および、
複数の主鉛直線
へホモグラフィ変換し、
前記変換済画像において副部材が描画されている副領域を、副画像認識により複数認識し、
少なくとも、前記副領域のそれぞれの前記副画像認識における信頼度に基づいて、前記変換済画像の評価値を計算し、
前記計算された評価値を最適化するように、前記設定と、前記ホモグラフィ変換と、前記副画像認識と、前記評価値の計算と、を再実行する処理を繰り返す制御をし、
前記繰り返す制御が完了すると、前記変換済画像を出力する。

本発明によれば、建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像にホモグラフィ変換するのに好適な画像処理装置、画像処理方法、ならびに、プログラムを提供することができる。

本発明の実施形態に係る画像処理装置の構成を示す説明図である。本発明の実施形態に係る画像処理装置が実行する画像処理の制御の流れを示すフローチャートである。原画像の例を示す説明図である。原画像と消失点の関係を示す説明図である。画像認識された主領域と縦横の消失点および縦横の通過直線の位置関係を示す説明図である。縦横比が縦長になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。縦横比が中庸になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。縦横比が横長になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。変換済画像において認識された副領域の位置関係を示す説明図である。消失点及び通過直線を設定する設定処理の制御の流れを示すフローチャートである。対の通過直線が交わる交点と、当該通過直線が通過する主領域と、の位置関係を示す説明図である。

以下に、本発明の実施形態に係る画像処理装置について説明する。なお、以下に説明する画像処理装置は、本発明の要旨を説明するためのものであり、本発明の技術的な範囲は、以下に説明する実施形態には限られない。また、各実施例にて説明する要素は、用途に応じて適宜省略することも可能である。このように、本発明の原理にしたがって構成された画像処理装置、当該画像処理装置にて実行される画像処理方法、当該画像処理装置を実現するためにコンピュータにて実行されるプログラム、ならびに、これらと均等な発明は、いずれも、本発明の範囲に含まれる。

(画像処理装置が実現されるハードウェア)
本実施形態に係る画像処理装置は、典型的には、プログラムをコンピュータが実行することによって実現される。ここで、コンピュータとしては、サーバコンピュータ、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット型コンピュータ等のように、コンピュータとして製造、販売等されているもののほか、携帯電話、スマートホン、タブレット型電話等のように、電話機として製造、販売等されているもの、携帯ゲーム機、家庭用エンターテインメント装置等のように、ゲーム機やマルチメディア端末として製造、販売等されているものも含まれる。本実施形態に係る画像処理装置は、高性能な据置型コンピュータ、クラウド型コンピュータ、スマートホン、携帯ゲーム機等の上に実現される。

コンピュータにて実行されるプログラムや、当該プログラムにより参照される各種のデータは、当該コンピュータが通信可能に接続されたサーバにより配布、販売することができるほか、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk ROM)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable ROM)などの非一時的(non-transitory)な情報記録媒体に記録した上で、当該情報記録媒体を配布、販売等することも可能である。

プログラムは、コンピュータが有するハードディスク、ソリッドステートドライブ、フラッシュメモリ、EEPROMなどの非一時的な情報記録媒体にインストールされる。すると、当該コンピュータにより、本実施形態における画像処理装置が実現されることになる。一般的には、コンピュータのCPU(Central Processing Unit)は、コンピュータのOS(Operating System)による管理の下、情報記録媒体からRAM(Random Access Memory)へプログラムを読み出してから、当該プログラムに含まれるコードを解釈、実行する。ただし、携帯ゲーム機などでは、CPUがアクセス可能なメモリ空間内に情報記録媒体をマッピングできるようなアーキテクチャが採用されることがある。この場合には、プログラムのインストールや、RAMへの明示的なプログラムのロードは不要である。

なお、プログラムの実行の過程で必要とされる各種情報は、CPUのレジスタやRAM、キャッシュ内に一時的(temporary)に記録しておくことができる。

また、人工知能における深層学習技術においては、グラフィックス計算の機能を有するGPU(Graphics Processing Unit)をコプロセッサとして利用して、計算の並列化、高速化を図ることも可能である。

画像処理装置における処理の結果は、ディスプレイやタッチスクリーン等の表示装置に表示することができる。また、情報記録媒体に記録して、後日自身が利用したり、他の機器で参照することが可能である。さらに、コンピュータ通信網等を介して、処理の結果を配布、販売することができる。

ユーザは、キーボード、マウス、トラックボール、タッチパッド、ジョイスティック等のゲーム装置用コントローラ、タッチスクリーン等の入力装置を介して、画像処理装置に対する各種の指示を与えることができる。

なお、汎用のコンピュータでプログラムを実行することにより本実施形態の画像処理装置を実現するのではなく、専用の電子回路を構築して本実施形態の画像処理装置を構成することも可能である。

この態様においても、コンピュータに実行させる実行用プログラムと同様に記述をしたり、実行用プログラムを比較的簡単な手直しをして移行することによって得られる定義プログラムを利用することができる。定義プログラムは、一見実行用プログラムのように見えるが、実際には、定義プログラムに記載された処理を順次実行するのではなく、定義プログラムに記載された処理を実現する電子的な素子を配線したり、各素子における演算のタイミングチャート等を決定したりするための仕様定義として機能する。

このような態様では、プログラムに定められる仕様を満たすような電子回路が、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)により構成され、当該電子回路は、当該プログラムに定められた機能を果たす専用機器として機能して、本実施形態の画像処理装置を実現することができる。

以下では、理解を容易にするため、コンピュータがプログラムを実行することによって、本実施形態に係る画像処理装置が実現される態様について説明する。

図1は、本発明の実施形態に係る画像処理装置の構成を示す説明図である。図2は、本発明の実施形態に係る画像処理装置が実行する画像処理の制御の流れを示すフローチャートである。以下、これらの図を参照して説明する。

本実施形態に係る画像処理装置101は、主認識部102、設定部103、変換部104、副認識部105、評価部106、制御部107、出力部108を備える。本実施形態では、これら各部は、コンピュータがプログラムを実行することによって実現される。

画像処理装置101に対しては、処理の対象となる原画像が与えられ、処理の結果として変換済画像が出力される。すなわち、本実施形態に係る画像処理が開始されると、は、画像処理装置101は、処理の対象とすべき原画像を取得する(ステップS151)。

ここで、原画像とは、建物の外観等が描画された画像であり、典型的には、現実の街中を撮影した風景写真やコンピュータグラフィックス技術によって生成された仮想世界の街中を表す画像から、非特許文献1に開示される技術等により、建物を表す領域を抽出した画像である。なお、風景写真等に複数の異なる建物が写っている場合には、建物毎に原画像を作るものとする。すなわち、1つの原画像には、建物が1つだけ描かれていることになる。

図3Aは、原画像の例を示す説明図である。図3Bは、原画像と消失点の関係を示す説明図である。以下、本図を参照して説明する。

原画像201に描かれている建物202は、互いに連結された2つの平面状の外壁203L, 203Rを有している。一般には、平面状の外壁の数は2以上であるが、建物の形状は略直方体であることが多い。このため、ほとんどの場合、原画像に描かれる建物の外壁は2つである。

原画像201には建物202の外観が透視投影的に描かれている。本図に示す原画像201は、いわゆる3点透視に相当しているため、3つの消失点204L, 204U, 204Rを想定することができる。ここで、外壁203Lに対しては、消失点204L, 204Uが対応付けられ、外壁203Rに対しては、消失点204U, 204Rが対応付けられている。一般には、一つの外壁に対する消失点は、左右のいずれかに1つ、もしくは、左右のいずれか、および、上方の2つである。

つぎに、画像処理装置101の主認識部102は、原画像において、主部材が描画されている主領域を、主画像認識により複数認識する(ステップS152)。

本例に示す原画像201においては、主部材として、ガラス窓を採用し、非特許文献1に開示される技術等を利用して画像認識をすることにより、原画像201においてガラス窓が描画されている領域を複数認識する。この際に、画像認識においては、認識された各領域に対応付けて、当該領域の認識がどの程度尤もらしいかを表すスコア(信頼度)も取得する。

図4は、画像認識された主領域と縦横の消失点および縦横の通過直線の位置関係を示す説明図である。以下、本図を参照して説明する。本図に示すように、原画像201に対して、主画像認識により、複数の主領域301が同定される。外壁203L側の主領域301は、消失点204L, 204Uから見て略直線状に複数の列をなして並んでおり、外壁203R側の主領域301は、消失点204U, 204Rから見て略直線状に複数の列をなして並んでいる。

画像処理装置101では、主領域301の配置に関するこの性質を利用して、消失点204L, 204U, 204Rの位置を推定する。

すなわち、画像処理装置101の設定部103は、
原画像において、複数の主領域に対する
右側と左側のいずれかの側の横消失点と、
上方と下方のいずれかの方の縦消失点と、
横消失点と、複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、
縦消失点と、複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、
を、複数の主領域のそれぞれが、
複数の横通過直線のうち、多くとも1つの横通過直線に通過され、
複数の縦通過直線のうち、多くとも1つの縦通過直線に通過される
ように設定する(ステップS153)。

以下では、「右側と左側のいずれかの側」として、「右側」を例にあげ、「上方と下方のいずれかの方」として「上方」を例にあげて説明するが、「左側」「下方」についても、同様の処理を実行することができる。

上述の通り、図4には、設定されるべき右側の横消失点、上方の縦消失点、横通過直線、縦通過直線の関係が示されている。

建物202の右側の外壁203Rにて認識された主領域301の並びに対しては、右側の横消失点204R、および、上方の縦消失点204Uが設定される。

右側の横消失点204Rを通過する横通過直線302Hは概ね横方向(典型的には、水平線に対する角度が±45度以内)に伸び、いずれも、建物の右側の外壁203Rにおいて認識された主領域301を複数通過している。なお、1つの主領域301を通過する横通過直線302Hは、多くとも1つに限られる。

上側の縦消失点204Uに対する縦通過直線302Vは概ね縦方向(典型的には、鉛直線に対する角度が±45度以内)に伸び、いずれも、建物の右側の外壁203Rにおいて認識された主領域301を複数通過している。なお、1つの主領域301を通過する縦通過直線302Vは、多くとも1つに限られる。

なお、建物を撮影した際の撮影方向等によっては、横通過直線302Hが互いに平行となる場合もある。この場合には、横消失点204Rは無限遠点となる。縦通過直線302Vが互いに平行となる場合もある。この場合には、縦消失点204Uは無限遠点となる。

このように、ホモグラフィ変換において通常の点、消失点、無限遠点を統一的に取り扱うため、斉次座標(同次座標、射影画像とも呼ばれる)を採用することができる。斉次座標では、平行線の交点である無限遠点も、通常の点と同様に、一つの点として表現することができる。すなわち、斉次座標による表現では、右側の横通過直線302Hが互いに平行であるか否かを問わず、これらの交点である横消失点204Rは1つになり、上方の縦通過直線302Vが互いに平行であるか否かを問わず、これらの交点である縦消失点204Uは1つになる。

このように、設定部103は、主画像認識により認識された主領域301の並びに基づいて、縦横の通過直線および縦横の消失点を設定するが、その処理の詳細については、後述する。

なお、原画像201における建物の右側の外壁203Rと、左側の外壁203Lと、は、主領域301の並びに基づいて、分割することが可能である。すなわち、右側の横消失点204Rから発する横通過直線302Hに通過される主領域301が存在する側は、右側の外壁203Rであり、左側の横消失点204Lから発する横通過直線302Hに通過される主領域301が存在する側は、左側の外壁203Lである。

したがって、各主領域301を通過する横通過直線が左右いずれの横消失点204R, 204Lに対するものであるか、によって、各主領域301の左右を割り当てて、各主領域301に割り当てられた左右の分布に合うように、縦消失点204Uを通過する直線を、外壁203R, 203Lの境界に定めれば良い。

この処理の詳細については、後述することとし、以下の処理では、上記の例に沿って、右側の外壁203Rを処理の対象として説明する。

ついで、画像処理装置101の変換部104は、
原画像を変換済画像へホモグラフィ変換する(ステップS154)。ここで、変換部104は、原画像における
複数の横通過直線、および、
複数の縦通過直線
が、それぞれ、変換済画像における
複数の主水平線、および、
複数の主鉛直線
に変換されるように、ホモグラフィ変換する。

ホモグラフィ変換は一般的な透視変換であり、横通過直線302Hおよび縦通過直線302Vを水平および鉛直に射影する変換には、縦横比に関する任意性がある。図5Aは、縦横比が縦長になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。図5Bは、縦横比が中庸になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。図5Cは、縦横比が横長になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。これらの図に示すように、変換部104は、原画像に対して、縦横の通過直線が水平/鉛直になり、多くの主部材が水平/鉛直に整列するようなホモグラフィ変換をして変換済画像401を得る。典型的には、変換部104は、変換済画像401の高さは固定し、横幅を任意に変化させる変換を施すことになる。

そこで、横幅をいずれか1つに妥当に定めるために、以下の処理を繰り返し行う。

すなわち、画像処理装置101の副認識部105は、変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する(ステップS155)。

上記の例では、主部材としてガラス窓を採用している。副部材としては、これとは異なる部材を採用するのが典型的であるが、主部材と副部材で同じ部材を採用することも可能である。以下では、副部材として柵を利用した場合を例に掲げて説明する。図6は、変換済画像において認識された副領域の位置関係を示す説明図である。本図には、図5Bに示す変換済画像401において認識された副領域402が図示されている。

そして、副画像認識では、主画像認識と同様に、副部材が描画されていると認識された副領域と、当該副領域の認識の尤もらしさを表すスコア(信頼度)が出力される。

副画像認識では、既存の副部材を正面から撮影した画像に基いて学習を行うことが一般的である。すると、ホモグラフィ変換によって得られる変換済画像の縦横比が適切であればあるほど、副画像認識によって認識される副領域の個数が多くなり、各副領域の信頼度が高くなると考えられる。

たとえば、図5A乃至5Cに示す例では、図5Bに表される外壁における柵が最も尤もらしい縦横比であり、副部材である柵を画像認識した場合には、同図が、最も柵の認識数が多く、評価値も高い、と考えられる。

そこで、画像処理装置101の評価部106は、少なくとも、副領域のそれぞれの副画像認識における信頼度に基づいて、変換済画像の評価値を計算する(ステップS156)。たとえば、評価値として、
各副領域におけるスコアの総和、
各副領域におけるスコアの平均、
認識された副領域の数、
これらの重み付き線形和、
これらの重み付き自乗和
等を採用することができる。

このほか、
複数の主水平線のいずれかに通過される主領域の数、および、当該数の主水平線あたりの平均ならびにまとまり(分散や標準偏差が小さければ小さいほど大きくなるパラメータ。たとえば、分散や標準偏差に-1を乗じて得られる値や、分散や標準偏差の逆数等)、
複数の主鉛直線のいずれかに通過される主領域の数、および、当該数の主鉛直線あたりの平均ならびにまとまり、
複数の主水平線の間隔のまとまり、
複数の主鉛直線の間隔のまとまり
などを、評価値を計算するためのパラメータに含めることとしても良い。

さらに、変換済画像に描画された副領域については、
変換済画像において、
水平に伸び、複数の副領域のいずれか2以上を通過する複数の副水平線と、
鉛直に伸び、複数の副領域のいずれか2以上を通過する複数の副鉛直線と、
を、複数の副領域のそれぞれが、
複数の副水平線のうち、多くとも1つの副水平線に通過され、
複数の副鉛直線のうち、多くとも1つの副鉛直線に通過される
ように同定し、
評価値は、さらに、
複数の副水平線のいずれかに通過される副領域の数、および、当該数の副水平線あたりの平均ならびにまとまり、
複数の副鉛直線のいずれかに通過される副領域の数、および、当該数の副鉛直線あたりの平均ならびにまとまり、
複数の副水平線の間隔のまとまり、
複数の副鉛直線の間隔のまとまり
に基づいて計算されるように構成しても良い。

変換済画像においては、各副部材を正面から見た様子が描かれていると想定できるので、各副領域は水平ならびに鉛直に整列し、その消失点は無限遠点になると考えられる。そこで、変換済画像に対して副水平線および副鉛直線を設定して、評価値の計算に寄与させることができる。

ここで例示した評価値は、各パラメータが増加すると評価値も増加するが、評価値として、各パラメータが増加すると評価値が減少するコスト関数を採用することも可能である。

さて、そして、画像処理装置101の制御部107は、計算された評価値の最適化が完了したか否かを判定し(ステップS157)、完了していなければ(ステップS157;No)、ステップS153に制御を戻して、消失点等の設定(ステップS153)と、ホモグラフィ変換(ステップS154)と、副画像認識(ステップS155)と、評価値の計算(ステップS156)と、を再実行する処理を繰り返す制御をする。

ここで、最適化とは、評価値を最大化もしくは最小化することを意味する。上記のように、副領域の数や信頼度に増減が連動する評価値を採用する場合には、評価値を最大化すれば良い。また、評価値を計算するためにコスト関数を採用する場合には、評価値を最小化する。

また、横消失点204R、縦消失点204U、横通過直線302H、縦通過直線302Vの位置を微小に変化させたり、横通過直線302Hや縦通過直線302Vの一部をスキップしたり、横通過直線302Hや縦通過直線302Vを追加して本数を増やしたり等しても良い。

たとえば、主水平線や主鉛直線の間隔ができるだけ揃うように、横通過直線302Hや縦通過直線302Vを間引いたり、副水平線や副鉛直線の間隔ができるだけ揃うように、一部をスキップすることとしても良い。

さらに、最初に原画像201に対して設定した横消失点204R、縦消失点204U、横通過直線302H、縦通過直線302Vはそのまま固定して、制御部107による繰り返しではホモグラフィ変換の縦横比のみを変化させることとしても良い。この態様では、画像処理装置101の制御部107は、ステップS153ではなく、ステップS154に制御を戻すこととすれば良い。

そして、最適化がなされていれば(ステップS157;Yes)、画像処理装置101の制御部107は、繰り返す制御を完了し、画像処理装置101の出力部108が、変換済画像を出力して(ステップS158)、本処理を終了する。ここで出力される変換済画像は、図5Bに示す例のように、縦横比が妥当で合理的であると考えられるものである。

主水平線同士の間隔や主鉛直線の間隔のまとまり・ばらつきが評価値に反映され、これらがほぼ同じ間隔にならぶような場合には、主水平線および主鉛直線を基準に、変換済画像を分割することにより、コンピュータグラフィックス等にて利用可能なテクスチャ素材を変換済画像から得ることができる。

主水平線や主鉛直線は、主領域に交差するように配置されるから、これらを基準に分割する際には、隣り合う主水平線同士のちょうど真中に位置する水平線、および、隣り合う主鉛直線同士のちょうど真中に位置する鉛直線によって、変換済画像を分割すると、主部材が切断されないテクスチャ素材を得ることができる。

さらに、副水平線および副鉛直線を同定する態様では、主水平線と副水平線のいずれか間隔が広い方、および、主鉛直線と副鉛直線のいずれか間隔が広い方を基準に、変換済画像を分割することとしても良い。

たとえば、建物の外壁において、1つの部屋につき、ガラス窓2枚に対して柵が1つ割り当てられている場合には、1つの部屋を、主鉛直線2本と副鉛直線1本が通過することとなり、副鉛直線同士の間隔の方が広いことになる。そこで、隣り合う副鉛直線同士のちょうど真中に位置する鉛直線が、部屋と部屋の境界に相当する。

また、主水平線同士の間隔と、副水平線同士の間隔と、が等しい場合には、隣り合う主水平線の中間水平線と、隣り合う副水平線の中間水平線と、のいずれかを、部屋同士の水平方向の候補とすることができる。また、分割線は、主領域や副領域を通過しないことが望ましい。そこで、上記2つの中間水平線のうち、主領域も副領域も通過しないものがあれば、それを水平方向の分割線としても良い。

また、主水平線同士の間隔と、副水平線同士の間隔と、に基づいて、水平方向の分割線の間隔を決めた後、水平方向の分割線と直近の主領域・副領域との距離ができるだけ離れるように、水平方向の分割線の位置を調製することとしても良い。

このような処理を行うことで、建物の外壁の1部屋に相当すると想定されるテクスチャ素材を得ることができる。

(消失点及び通過直線の設定)
上述の通り、設定部103は、右側の横消失点204R、左側の横消失点204L、上方の縦消失点204U、および、これらと主領域301を通過する横通過直線302Hおよび縦通過直線302Vを設定する。ここで、右側、左側、上方の消失点204ならびに当該消失点204と主領域301を通過する通過直線302を設定する手法は、その向きを右、左、上に反転もしくは90度回転させた線対称もしくは点対称の関係にある。そこで、以下では、右左上からいずれかの所望の消失点204を求めて、当該消失点204を主領域301とを通過する通過直線302を設定する手法を、まとめて説明する。

以下、消失点204の所望の側・方が右側もしくは左側である場合は、傾きの基準線を水平線とする。この場合、基準線に対する傾きが±45度以内であれば、当該傾きは、鉛直よりも水平に近いことになる。また、上方である場合は、傾きの基準線を鉛直線とする。この場合、基準線に対する傾きが±45度以内であれば、当該傾きは、水平よりも鉛直に近いことになる。

図7は、消失点及び通過直線を設定する設定処理の制御の流れを示すフローチャートである。以下、本図を参照して詳細に説明する。

まず、設定部103は、すべての主領域301を未設定状態、すなわち、各主領域301を通過する直線がまったくない状態に初期化する(ステップS401)。

ついで、設定部103は、未設定の主領域301からいずれか1つを注目主領域に選択する(ステップS402)。たとえば、所望の側・方から順に、主領域301を選択しても良いし、ランダムに選択しても良い。

ついで、設定部103は、選択された注目主領域を通過する直線を想定して注目主領域の代表点(中心)回りに、基準線との傾きが±45度以内で回転させ、当該直線が通過する未設定の主領域301の数もしくは密度が最大になる角度に、同定する(ステップS403)。以下、この直線を最大直線と呼ぶ。

同定された最大直線が、閾値以上の数の未設定の主領域301を通過する場合(ステップS404;Yes)、設定部103は、当該同定された最大直線を、当該通過する未設定の主領域301に対する通過直線として設定する(ステップS405)。

ここで、閾値の最小値は2である。このほか、主画像認識によって得られた主領域の個数の平方根は、基準線の方向に並ぶ主画像の個数に連動していると想定することもできる。そこで、たとえば、主領域の総数の平方根に基いて閾値を定めても良い。たとえば、当該平方根の2割乃至5割程度を、当該閾値とすることができる。

一方、同定された直線が、閾値未満の数の主領域301を通過する場合(ステップS404;No)、設定部103は、当該注目主領域301に対して、「通過直線なし」を設定する(ステップS406)。

ステップS405, S406の後、未だ設定がなされていない主領域が残っていれば(ステップS407;Yes)、設定部103は、処理をステップS402に戻す。

一方、全主領域について設定がなされていれば(ステップS407;No)、設定部103は、設定された全通過直線のすべての対について、以下の処理を繰り返す(ステップS408)。

まず、当該対に係る通過直線の交点を求める(ステップS409)。そして、当該交点が、当該対に係る通過直線に対して設定されたすべての主領域に対して、所望の側にあるか否かを判定する(ステップS410)。

たとえば、所望の側を右側と想定すると、右側の消失点204Rから発する横通過直線302Hを考えると、当該消失点204Rは、当該横通過直線302Hが通過する主領域301のいずれよりも右側にあるはずである。図8は、対の通過直線が交わる交点と、当該通過直線が通過する主領域と、の位置関係を示す説明図である。本図では、対の通過直線を実線で、その交点を黒丸で、対の通過直線に通過される主領域を正方形で、それぞれ表現している。

たとえば本図(A)に示すように、交点にて交差する対の通過直線に通過される通過主領域のいずれよりも、当該交点が所望の側にあれば(ステップS410;Yes)、当該交点を所望の側の消失点の候補に追加する(ステップS411)。

一方、たとえば本図(B)-(E)に示すように、交点よりも所望の側に通過主領域が存在し、交点の位置が上記の関係を満たさなければ(ステップS410;No)、当該交点は消失点の候補とはせず、無視して、繰り返し処理を継続する(ステップS412)。

なお、ここで、所望の側を反対側に想定した場合に、交点の位置が上記の関係を満たすのであれば、当該交点は、反対側の消失点の候補とすることができる。

このようにして、すべての対から消失点の候補が得られたら、当該候補同士の距離に基づいて、当該候補をクラスタリングして、最大クラスタを選ぶ(ステップS413)。ここでクラスタリングを行うことにより、主部材の一部が不規則に並んでいる場合や主画像認識にて誤認識が生じた場合に対応することができる。

そして、最大クラスタの凸包の中から、所望の消失点を同定する(ステップS414)。たとえば、当該最大クラスタの重心を消失点に設定するのが最も簡単である。また、当該最大クラスタの重心に最も近い候補の交点を消失点として採用しても良い。

次に、当該最大クラスタに含まれる候補にて交わる通過直線のそれぞれが設定された消失点を通過するように調整する(ステップS415)。

微調整の手法としては、通過直線を平行移動してから、消失点を中心に回転させて、当該通過直線が通過するものとして設定された主領域をできるだけ通過するようにすれば良い。

なお、平行移動や回転の量が設定された閾値よりも大きく、微調整の範囲を超える場合や、元の通過主領域の所定割合以上が通過できるような微調整ができない場合には、当該通過直線の設定を除去する。また、ある通過直線に係る交点がいずれも最大クラスタに含まれない場合は、その通過直線の設定を除去する。

最後に、同定された消失点、および、微調整がされた通過直線を、所望の側の消失点および通過直線に設定して(ステップS416)、本処理を終了する。

なお、所望の側として左右の一方を採用する処理において、上述のように、反対側の消失点の候補となる候補も収集し、反対側の候補についてもクラスタリング以降の処理を同様に実行すれば、左右両方の消失点および横通過直線を設定することができる。

(建物の外壁の分割)
左右の消失点が求められると、各主領域には、当該主領域を通過する通過直線が左右の消失点のいずれに対するものか、に基づいて、左右のラベルを付すことができる。すなわち、左のラベルが振られた主領域は、左側の外壁203Lに位置する可能性が高く、右のラベルが振られた主領域は、右側の外壁203Rに位置する可能性が高い。

そこで、上側の消失点を中心に境界線を回転させて、付された左右のラベルにできるだけ矛盾しないような回転角度を同定すれば、当該境界線によって、外壁203L, 203Rを分割することができる。

たとえば、境界線を回転させて、左右のラベルが矛盾する個数の変化を調べ、当該個数が極小となる角度の中央値を、境界線の回転角度とすれば良い。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

101 画像処理装置
102 主認識部
103 設定部
104 変換部
105 副認識部
106 評価部
107 制御部
108 出力部
201 原画像
202 建物
203L 左側の外壁
203R 右側の外壁
204U 上方の縦消失点
204R 右側の横消失点
204L 左側の横消失点
301 主領域
302H 横通過直線
302V 縦通過直線
401 変換済画像
402 副領域

Claims

原画像において、主部材が描画されている主領域を、主画像認識により複数認識する主認識部、
前記原画像において、前記複数の主領域に対する
右側と左側のいずれかの側の横消失点と、
上方と下方のいずれかの方の縦消失点と、
前記横消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、
前記縦消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、
を、前記複数の主領域のそれぞれが、
前記複数の横通過直線のうち、多くとも1つの横通過直線に通過され、
前記複数の縦通過直線のうち、多くとも1つの縦通過直線に通過される
ように設定する設定部、
前記原画像を変換済画像へホモグラフィ変換する変換部であって、前記原画像における
前記複数の横通過直線、および、
前記複数の縦通過直線
を、それぞれ、前記変換済画像における
複数の主水平線、および、
複数の主鉛直線
へホモグラフィ変換する変換部、
前記変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する副認識部、
少なくとも、前記副領域のそれぞれの前記副画像認識における信頼度に基づいて、前記変換済画像の評価値を計算する評価部、
前記計算された評価値を最適化するように、前記設定と、前記ホモグラフィ変換と、前記副画像認識と、前記評価値の計算と、を再実行する処理を繰り返す制御をする制御部、
前記繰り返す制御が完了すると、前記変換済画像を出力する出力部
を備えることを特徴とする画像処理装置。
前記設定部は、
前記複数の主領域からいずれかを注目主領域に選択し、前記注目主領域を通過する直線であって、鉛直よりも水平に近い傾きの直線であって他の主領域を通過する数もしくは密度が最大の横直線を同定し、前記横直線が通過しない主領域からいずれかを新たな注目主領域に選択する処理を繰り返すことによって、複数の横直線を同定し、
前記同定された複数の横直線同士に通過される主領域よりも前記いずれかの側にある交点により、前記いずれかの側の横消失点を設定する
ことを特徴とする請求項1に記載の画像処理装置。
前記設定部は、
前記同定された複数の横直線同士に通過される主領域よりも前記いずれかの側とは反対側にある交点により、前記反対側の横消失点を設定し、
前記変換部は、
前記いずれかの側の横消失点を通過する横通過直線に通過される主領域の分布と、前記反対側の横消失点を通過する横通過直線に通過される主領域の分布と、に基づいて、前記原画像を前記いずれかの側と、前記反対側と、に分割し、
前記分割された原画像の前記いずれかの側を、ホモグラフィ変換する
ことを特徴とする請求項2に記載の画像処理装置。
前記設定部は、
前記複数の主領域からいずれかを注目主領域に選択し、前記注目主領域を通過する直線であって、水平よりも鉛直に近い傾きの直線であって他の主領域を通過する数もしくは密度が最大の縦直線を同定し、前記縦直線が通過しない主領域からいずれかを新たな注目主領域に選択する処理を繰り返すことによって、複数の縦直線を同定し、
前記同定された複数の縦直線同士に通過される主領域よりも前記いずれかの方にある交点により、前記いずれかの方の縦消失点を設定する
ことを特徴とする請求項1に記載の画像処理装置。
前記横消失点、および、前記縦消失点は、斉次座標により計算され、
前記複数の横通過直線は、互いに平行であるか否かを問わず、
前記複数の縦通過直線は、互いに平行であるか否かを問わない
ことを特徴とする請求項1に記載の画像処理装置。
前記評価値は、さらに、
前記複数の主水平線のいずれかに通過される主領域の数、および、当該数の主水平線あたりの平均ならびにまとまり、
前記複数の主鉛直線のいずれかに通過される主領域の数、および、当該数の主鉛直線あたりの平均ならびにまとまり、
前記複数の主水平線の間隔のまとまり、
前記複数の主鉛直線の間隔のまとまり
に基づいて計算される
ことを特徴とする請求項1に記載の画像処理装置。
前記主水平線および前記主鉛直線を基準に、前記変換済画像を分割することにより、前記変換済画像からテクスチャ素材を得る
ことを特徴とする請求項6に記載の画像処理装置。
前記評価部は、
前記変換済画像において、
水平に伸び、前記複数の副領域のいずれか2以上を通過する複数の副水平線と、
鉛直に伸び、前記複数の副領域のいずれか2以上を通過する複数の副鉛直線と、
を、前記複数の副領域のそれぞれが、
前記複数の副水平線のうち、多くとも1つの副水平線に通過され、
前記複数の副鉛直線のうち、多くとも1つの副鉛直線に通過される
ように同定し、
前記評価値は、さらに、
前記複数の副水平線のいずれかに通過される副領域の数、および、当該数の副水平線あたりの平均ならびにまとまり、
前記複数の副鉛直線のいずれかに通過される副領域の数、および、当該数の副鉛直線あたりの平均ならびにまとまり、
前記複数の副水平線の間隔のまとまり、
前記複数の副鉛直線の間隔のまとまり
に基づいて計算される
ことを特徴とする請求項6に記載の画像処理装置。
前記主水平線と前記副水平線のいずれか間隔が広い方、および、前記主鉛直線と前記副鉛直線のいずれか間隔が広い方を基準に、前記変換済画像を分割することにより、前記変換済画像からテクスチャ素材を得る
ことを特徴とする請求項6に記載の画像処理装置。
画像処理装置が、原画像において、主部材が描画されている主領域を、主画像認識により複数認識する主認識ステップ、
前記画像処理装置が、前記原画像において、前記複数の主領域に対する
右側と左側のいずれかの側の横消失点と、
上方と下方のいずれかの方の縦消失点と、
前記横消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、
前記縦消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、
を、前記複数の主領域のそれぞれが、
前記複数の横通過直線のうち、多くとも1つの横通過直線に通過され、
前記複数の縦通過直線のうち、多くとも1つの縦通過直線に通過される
ように設定する設定ステップ、
前記画像処理装置が、前記原画像を変換済画像へホモグラフィ変換する変換ステップであって、前記原画像における
前記複数の横通過直線、および、
前記複数の縦通過直線
を、それぞれ、前記変換済画像における
複数の主水平線、および、
複数の主鉛直線
へホモグラフィ変換する変換ステップ、
前記画像処理装置が、前記変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する副認識ステップ、
前記画像処理装置が、少なくとも、前記副領域のそれぞれの前記副画像認識における信頼度に基づいて、前記変換済画像の評価値を計算する評価ステップ、
前記画像処理装置が、前記計算された評価値を最適化するように、前記設定と、前記ホモグラフィ変換と、前記副画像認識と、前記評価値の計算と、を再実行する処理を繰り返す制御をする制御ステップ、
前記繰り返す制御が完了すると、前記画像処理装置が、前記変換済画像を出力する出力ステップ
を備えることを特徴とする画像処理方法。
コンピュータを、
原画像において、主部材が描画されている主領域を、主画像認識により複数認識する主認識部、
前記原画像において、前記複数の主領域に対する
右側と左側のいずれかの側の横消失点と、
上方と下方のいずれかの方の縦消失点と、
前記横消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、
前記縦消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、
を、前記複数の主領域のそれぞれが、
前記複数の横通過直線のうち、多くとも1つの横通過直線に通過され、
前記複数の縦通過直線のうち、多くとも1つの縦通過直線に通過される
ように設定する設定部、
前記原画像を変換済画像へホモグラフィ変換する変換部であって、前記原画像における
前記複数の横通過直線、および、
前記複数の縦通過直線
を、それぞれ、前記変換済画像における
複数の主水平線、および、
複数の主鉛直線
へホモグラフィ変換する変換部、
前記変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する副認識部、
少なくとも、前記副領域のそれぞれの前記副画像認識における信頼度に基づいて、前記変換済画像の評価値を計算する評価部、
前記計算された評価値を最適化するように、前記設定と、前記ホモグラフィ変換と、前記副画像認識と、前記評価値の計算と、を再実行する処理を繰り返す制御をする制御部、
前記繰り返す制御が完了すると、前記変換済画像を出力する出力部
として機能させることを特徴とするプログラム。