JP2009239621A - 画像上方位表示方法及び装置並びに写真 - Google Patents

Abstract

【課題】カメラによる画像の被写体空間における３次元の各方向を画像の透視図性との関係で容易に直感させることのできるような被写体空間方位の表示を可能とする画像上方位表示方法の提供。
【解決手段】カメラ３による画像５上に当該画像の被写体空間に関する方位を表示する画像上方位表示方法について、方位表示対象とする画像の撮影方向に基づいて当該画像の被写体空間方位に関する情報を取得し、その取得した被写体空間方位情報に基づいて方位マーク１５や２２を生成し、その方位マークを画像上に表示することで被写体空間方位の表示をなすようにし、そして方位マークは、被写体空間における３次元座標のＸ、Ｙ、Ｚの各軸方向について前記被写体空間方位に対応する成分を有するように形成するようにしている。
【選択図】図１

Description

本発明は、デジタル方式のカメラによる撮影で得られる画像の処理に係り、特に画像上に当該画像の被写体空間に関する方位を表示する方法及び装置並びに写真に関する。

近年におけるデータ処理技術の発展は、デジタル方式のカメラによるデジタルデータの画像に対する様々な形態の加工を可能とし、またそれに伴って画像の様々な分野への利用を活発化させている。例えば特許文献１や特許文献２に開示されるのがそのような例である。

特許文献１の「撮影位置および方位付のデジタルカメラ」では、カメラにＧＰＳ機能と方位を感知する機能を設け、それで得られる撮影位置情報により画像について方位を求め、その方位に応じた方位方向矢印を表示して方向付地図画像を作成するようにしている。

特許文献２の「案内情報表示装置」は、目的の行き先について進むべき進行方向を携帯端末の表示画面上で案内するについて、当該携帯端末により撮影されて送信されてくる画像に目的の行き先への方向を示す矢印を合成した合成画像を携帯端末の表示画面に表示するようにしており、携帯端末による撮影がなされた位置や方向を特定するのに、各所に配置のサインマーカを用いるようにしている。
特開２００４−４８４２７号公報 特開２００６−１０１０１３号公報

上記特許文献１や特許文献２の例のようにカメラによる画像の撮影位置や撮影方向に関する情報に基づいて画像に方位情報を表示したり、画像上に案内方向を表示したりする手法は、画像の利用として有効性の高いものの一つといえる。

ところで、カメラで得られる画像を何らかの資料として直接的に利用する場合がある。例えば固定資産の課税評価用の資料として用いる場合、不動産物件の広告に用いる場合、工事現場の工事進捗状況確認資料などに用いる場合などである。

このような画像の利用形態にあっては、画像が本来的に有している透視図性をより有効に活かせるようにすることが望まれる。そして画像の透視図性をより有効に活かせるようにするには、画像の透視図性との関係で画像の被写体空間方位（当該画像の被写体空間に関する東西南北方位）を直感させることができるようにするのが有効で、そのためには、画像上に被写体空間方位を表示し、さらにその被写体空間方位表示に、被写体空間における３次元の各方向の方位を透視図性との関係で直感させる情報を含ませることができるようにするのが望ましい。

しかるに、特許文献１や特許文献２などの従来の技術は、こうした被写体空間方位についての表示要求に十分に対応することができない。例えば特許文献１の「撮影位置および方位付のデジタルカメラ」は、画像上への被写体空間の方位情報の表示を可能とするものの、その方位情報表示は文字データで行うようにしている。このため画像上で被写体空間方位を直感させるという点で不十分となってしまう。また特許文献２の「案内情報表示装置」は、サインマーカを利用することで３次元の方位矢印を画像上に表示できるものの、それは行き先方向の案内に関するもので、同じく画像上で被写体空間方位を直感させるという点で不十分なものがある。

本発明は、以上のような知見に基づいてなされたものであり、その課題は、画像の被写体空間における３次元の各方向を画像の透視図性との関係で容易に直感させることのできるような被写体空間方位の表示を可能とする画像上方位表示方法及び装置並びに写真の提供にある。

本発明では、上記課題を解決するために、カメラによる画像上に当該画像の被写体空間に関する東西南北方位である被写体空間方位を表示する画像上方位表示方法において、方位表示対象とする画像の撮影方向に基づいて当該画像の前記被写体空間方位に関する情報を取得し、その取得した被写体空間方位情報に基づいて方位マークを生成し、その方位マークを前記画像上に表示することで前記被写体空間方位の表示をなすようにし、そして前記方位マークは、前記被写体空間における３次元座標のＸ、Ｙ、Ｚの各軸方向について前記被写体空間方位に対応する成分を有するように形成することを特徴としている。

このような画像上方位表示方法によれば、被写体空間における３次元座標のＸ、Ｙ、Ｚの各軸方向について被写体空間方位に対応する成分を有する方位マークにより画像上に被写体空間方位を表示することができる。そしてそのような方位マークは、画像の被写体空間における３次元の各方向の方位を画像の透視図性との関係で容易に直感させることができる。

上記のような画像上方位表示方法における方位マークは、コンピュータプログラムによる描画機能で生成させることが可能である。したがって本発明では、上記のような画像上方位表示方法について、描画機能により前記方位マークを生成させるのを好ましい形態の一つとしている。

また上記のような画像上方位表示方法における方位マークは、画像の様々な撮影方向に関して複数の候補方位マーク像を予め用意しておき、それを画像の実際の撮影方向に応じて選択することで生成させることも可能である。したがって本発明では、上記のような画像上方位表示方法について、立体的方位マーク模型を様々な方向から撮影することで撮影方向ごとに用意してある複数の候補方位マーク像から、方位表示対象画像の撮影方向に対応した候補方位マーク像を選択し、その選択した候補方位マーク像により前記方位マークを生成するのを好ましい形態の他の一つとしている。

更に本発明は、上記方位マークは、方位に応じてメモリにデータとして記録されており、方位情報に基づいて対応する方位マークを読み出し、前記画像上に表示するものとした請求項１〜３のいずれかに記載の画像上方位表示方法を開示する。

更に本発明は、撮影画像の、撮影時での透視図性との関係を示す立体方位マーカが付加された写真を開示する。

更に本発明は、カメラによる画像上に当該画像の被写体空間に関する東西南北方位である被写体空間方位を表示する画像上方位表示装置において、
方位表示対象とする画像の撮影方向に基づいて当該画像の前記被写体空間方位に関する情報を取得する手段と、その取得した被写体空間方位情報に基づいて得られる方位マークであって、前記被写体空間における３次元座標のＸ、Ｙ、Ｚの各軸方向について前記被写体空間方位に対応する成分を有する方位マークを前記画像上に付加して表示する表示手段と、を備えたことを特徴とする画像上方位表示装置を開示する。

以上のような本発明によれば、画像の被写体空間における３次元の各方向を画像の透視図性との関係で容易に直感させることのできるような被写体空間方位の表示が可能となる。

以下、本発明を実施するための形態について説明する。本発明による画像上方位表示方法は、それを適用する画像について撮影方向に関する情報（撮影時におけるカメラの光軸方向に関する情報）を必要とする。そのような撮影方向情報を付帯させた画像は、例えば走行方向情報取得システムとカメラを搭載した撮影車両で得ることができ、また例えば撮影方向情報取得システムを装備した三脚に固定したカメラあるいはそれ自体が撮影方向情報取得システムを有しているカメラなどでも得ることができる。

以下では撮影車両で得る画像を対象とする場合の実施形態について説明する。図１に、第１の実施形態による画像上方位表示方法の実施に用いる画像上方位表示処理システム１の構成を撮影車両２と関係させて示す。

まず撮影車両２について説明する。撮影車両２は、例えば幅員が４ｍ以下であるような狭い道路が錯綜する市街地でも走行可能な車両にデジタル方式のカメラ３と撮影管理システム４を搭載して構成されている。

カメラ３は、スチールカメラまたはビデオカメラであり、通常はスチールカメラが用いられ、前方撮影用カメラ３ｆと後方撮影用カメラ３ｒとして２台が搭載される。前方撮影用カメラ３ｆは、撮影車両２の走行方向前方を走行方向に光軸が沿った状態で撮影を行い、後方撮影用カメラ３ｒは、撮影車両２の走行方向後方を走行方向に光軸が沿った状態で撮影を行う。これら前方撮影用カメラ３ｆや後方撮影用カメラ３ｒによる撮影で得られる画像は、光軸方向に延びている状態で道路Ｒを取り込んだ画像である道路沿い画像５となる。このように走行方向前方と後方のそれぞれについて撮影できるようにするのは、撮影車両２の走行方向によっては前方撮影用カメラ３ｆが逆光になる場合があることから、そのような場合に対応できるようにするためである。

撮影管理システム４は、測位システム６、撮影制御システム７、および画像データ管理システム８の各サブシステムを含んでなる。測位システム６は、撮影車両２の現在位置と走行方向、より具体的にはカメラ３の光軸方向についての情報である位置方位情報を例えば走行距離１ｍごとにといった間隔で取得するのに機能する。そのために測位システム６は、ＧＰＳ（全地球測位システム）と距離／慣性計測システムを組み合わせて構成される。ＧＰＳは、撮影車両２の前後に設けた２つのＧＰＳアンテナ９により衛星からの信号を受信することで位置方位情報を取得する。一方、距離／慣性計測システムは、撮影車両２の走行方向や車両の水平面に対する傾きをジャイロにより検出する慣性計測器と撮影車両２の走行距離を検出する距離計測器からなり、これらにより位置方位情報を取得する。このようにＧＰＳと距離／慣性計測システムを組み合わせて測位システム６を構成することにより、ＧＰＳ衛星からの信号を受信できない環境においても位置方位情報を安定的に取得することができる。

撮影制御システム７は、一定距離間隔で道路沿い画像５を取得できるような制御としてカメラ３による撮影を制御する。具体的には、撮影車両２の走行距離をカウントし、例えば５ｍといった一定の走行距離ごとに撮影指令を出力してカメラ３に撮影を行わせる。こうした撮影により、撮影車両２が走行する道路に沿った一定距離間隔による一連の道路沿い画像を取得することができる。

画像データ管理システム８は、ワークステーションレベルのデータ処理装置を用いて構成され、カメラ３による撮影で取得された道路沿い画像５のデータを管理する。その管理は、道路沿い画像５をその撮影時の位置方位情報と関連させるようにしてなされる。

次に、画像上方位表示処理システム１について説明する。画像上方位表示処理システム１は、データ処理装置１１にコンピュータプログラムとして構成される画像上方位表示手段１２を搭載して構成される。画像上方位表示手段１２は、画像データ管理システム８から取り込んだ道路沿い画像５やそれに方位マークを付した画像を管理する画像データ管理部１３、および方位マークを生成する方位マーク生成部１４を含んでいる。

以下では画像上方位表示システム１でなされる画像上方位表示処理の例について説明する。本例における画像上方位表示処理は、描画機能により消失点方式で行う場合である。具体的には、道路沿い画像５について求める消失点を撮影方向情報として利用して方位マークを生成する場合であり、道路沿い画像５の特性を活かしてそこにおける道路Ｒの側線を用いて消失点を求める場合で、図２にその流れを示すように、ステップＳ１〜ステップＳ５の各処理過程を含む。

まずステップＳ１で処理対象画像の表示処理がなされる。処理対象画像の表示処理は、計測対象の道路沿い画像をデータ処理装置１１の表示画面に表示する処理で、ユーザによる指定を受けて行うか、あるいは一連の道路沿い画像を順次的に表示するようにして行われる。

ステップＳ２では、道路側線の指定を行う。具体的には、ステップＳ１で表示した道路沿い画像について道路の側線をユーザが指定する。その指定は、例えば図３に示すようにして行う。具体的には、表示画面に表示されている道路沿い画像５における道路Ｒの側線を左右で対応する直線部分のそれぞれについて描画機能によりなぞるようにして２本の指定線ＬＩ、ＬＩを描線することで行う。

ステップＳ３では、消失点の決定処理がなされる。道路Ｒの側線を用いて消失点を求める場合、消失点は２本の指定線ＬＩ、ＬＩの交点Ｖとなる。したがって消失点の特定は、交点Ｖの道路沿い画像５上での位置を求めることで行う。具体的には、道路沿い画像５の横方向（道路沿い画像５の被写体空間における横方向に対応）をｘ軸とし、縦方向をｙ軸とする画像上２次元座標を道路沿い画像５に設定し、その画像上２次元座標における座標値（ｘｖ，ｙｖ）として交点Ｖの道路沿い画像５上での位置を求め、それを消失点とする。

ステップＳ４では、方位を示す位置方位情報及び撮影方向を示す情報（例えばカメラの光軸情報）に基づいて、方位マーク生成部１４による方位マーク生成処理がなされる。方位マーク生成処理は、方位マーク生成部１４に組み込んである方位マーク用の描画機能でなされる。その処理をイメージ化して示すと、道路沿い画像５の撮影方向が南北方向と一致し真北方向である場合、図４に示す例のようになる。撮影方向が真北である場合、道路Ｒを光軸方向に延びている状態で取り込んでいる道路沿い画像５では道路Ｒが真北に向いていることになる。したがって道路Ｒの側線から求まる消失点Ｖを利用して必要な方位マークを生成することができる。具体的には、予め定めてある方位マーク用のパターンに応じた必要数の補助線ＡＬを消失点Ｖから引き出し、その補助線ＡＬを利用して所望パターンの方位マーク１５を描画生成する。方位マーク１５は、道路沿い画像５の被写体空間における３次元座標のＸ、Ｙ、Ｚの各軸方向について前記被写体空間方位に対応する成分Ｃｘ、Ｃｙ、Ｃｚを有する３次元的なパターン、つまり道路沿い画像５の透視図性を体現した３次元的なパターンで形成するようにする。このようなパターンとすることにより、道路沿い画像５の被写体空間における３次元の各方向の方位を画像の透視図性との関係で容易に直感させることができるようになる。

ステップＳ５では、処理を必要な画像の全てについて方位マーク生成が終了したかを判定する。この判定が否定的な場合にはステップＳ１に戻って処理を繰り返し、肯定的になった場合には処理終了となる。

図５に示すのは、建造物画像２１に取り込まれている建造物ＲＥについて方位を表示する場合であり、建造物画像２１の撮影方向が例えば南北方向や東西方向から傾いた北東方向である場合の方位マーク生成処理のイメージである。撮影方向が南北方向や東西方向から傾いている場合の消失点方式では、２つの消失点Ｖ１、Ｖ２を求める。消失点Ｖ１、Ｖ２は、建造物ＲＥの輪郭線（被写体空間にあって画像面に対し直交している輪郭線）を利用して求めることができる。北東方向用の方位マーク２２は、必要数の補助線ＡＬを消失点Ｖ１、Ｖ２のそれぞれから引き出し、その補助線ＡＬを利用して描画することで生成させる。

生成した方位マークは、画像に対応させてメモリに格納させておき、表示時に付加して表示する。尚、方位マークの生成を消失点とのからみで得るようにしたが、消失点に関係なく事前に種々の方位に応じた方位マークを画像処理にて作っておき、これをメモリに記憶させて使用する事例もありうる。またプリンタ等による写真印刷時にも、その画像写真に方位マークを付加することで、写真の方位を認識できる。

以下では第２の実施形態について説明する。図６に第２の実施形態による画像上方位表示方法の実施に用いる画像上方位表示処理システム３１の構成を示す。画像上方位表示処理システム３１は、候補方位マーク方式で方位マーク生成処理を行うようになっており、そのために画像上方位表示手段３２は、第１の実施形態におけるのと同様な画像データ管理部１３、候補方位マーク方式で方位マーク生成処理を行う方位マーク生成部３３、および候補方位マーク像を格納する候補方位マーク像テーブル３４を含んでいる。

方位マーク生成部３３による方位マーク生成処理では、予め撮影方向ごとに用意して候補方位マーク像テーブル３４に格納してある複数の候補方位マーク像から方位表示対象の画像の撮影方向についての情報に基づいてその撮影方向に対応する候補方位マーク像を選択し、その選択した候補方位マーク像により方位マークを生成する。この場合、候補方位マーク像を予め整える必要がある。その処理は、図７にイメージ化して示すようにして行なうことができる。すなわち、所望パターンの立体的方位マーク模型Ｍを作成し、固定されたカメラによりこの立体的方位マーク模型Ｍを様々な方向（図では、真北方向Ｎ、真南方向Ｓ、真東方向Ｅ、真西方向Ｗについて例示している）に向けて一定の位置、角度から撮影する。これにより撮影方向ごとに立体的方位マーク模型Ｍの撮影データが得られるので、その撮影データを候補方位マーク像として、候補方位マーク像テーブル３４に格納して用いるようにする。

以上のような候補方位マーク方式で方位マーク生成を行う形態は、方位マークの生成に人手の関与を不要にでき、またデータ処理装置での処理負担を軽減できるという点で優れている。なお、この他の構成などについては第１の実施形態の場合と同様なので説明を省略する。

図８〜図１０に、方位マークを表示した画像の例を示す。図８は、道路沿い画像５で画像中の道路Ｒや道路沿い建造物ＲＥが体現している透視方向についてそれが真北方向であることを容易に直感させる方位マーク１５が表示されている。図９は、道路沿い画像５で画像中の道路Ｒや道路沿い建造物ＲＥが体現している透視方向についてそれが真東方向であることを容易に直感させる方位マーク１５Ｓが表示されている。図１０は、建造物画像２１に取り込まれている建造物ＲＥについて方位を表示した場合で、建造物画像２１で画像中の建造物ＲＥが体現している透視方向についてそれが北東方向であることを容易に直感させる方位マーク２２が表示されている。

これら図８〜図１０のような例の場合、図８や図９の例は、例えば固定資産の課税評価用の資料として用いる場合に適する。すなわち固定資産の課税評価では、評価対象固定資産の周囲の地物状況と評価対象固定資産の接道する方向（方位）が大きく影響することから、そうした地物状況について説得力の高い資料を得られるようにすることが大切になるが、そのような資料として道路沿い画像が有用であり、そしてその道路沿い画像における方位を画像の透視図性との関係で容易に直感させることができるようにするのが有効であるということである。一方、図１０の例は、例えば不動産物件の広告に用いる場合に適する。すなわち不動産物件の広告に画像を用いる場合は、その画像に取り込んである建造物の方位を画像の透視図性との関係で容易に直感させることができるようにするのが有効であるということである。

以上、本発明を実施するための形態について説明したが、これは代表的な例に過ぎず、本発明はその趣旨を逸脱することのない範囲で様々な形態で実施することができる。例えば、上記の実施形態では、描画機能で方位マークを生成するについて、消失点方式としていたが、これに限られず他の適宜な方式を用いることも可能である。また上記の実施形態では、消失点方式で方位マークを生成するについて、消失点の決定に用いる線分を手動で指定するようにしていたが、これに限らず、例えば特開２００５−２７５５００号公報に開示の例のように、画像処理により自動で消失点を求める方式とすることも可能である。また上記の実施形態では、消失点の決定に用いる線分として道路の側線や建物の輪郭線を用いる場合としていたが、画像に取り込まれている地物の輪郭線であり、被写体空間にあって画像面に対し直交しているか、または対の平行線として画像面に交わる輪郭線であれば、特に限定されるものでない。

第１の実施形態による画像上方位表示方法の実施に用いる画像上方位表示システムの構成を示す図である。 画像上方位表示処理の流れを示す図である。 道路側線の指定について説明する図である。 方位マーク生成処理をイメージ化して示す図である。 方位マーク生成処理をイメージ化して示す図である。 第２の実施形態による画像上方位表示方法の実施に用いる画像上方位表示システムの構成を示す図である。 方位マーク生成処理をイメージ化して示す図である。 方位マークを表示した画像の例を示す図である。 方位マークを表示した画像の例を示す図である。 方位マークを表示した画像の例を示す図である。

符号の説明

１、３１ 画像上方位表示処理システム
２ 撮影車両
３ カメラ
４ 撮影管理システム
５ 道路沿い画像
６ 測位システム
７ 撮影制御システム
８ 画像データ管理システム
１１ データ処理装置
１２、３２ 画像上方位表示手段
１３ 画像データ管理部
１４、３３ 方位マーカ生成部
１５、２２ 方位マーク
２１ 建造物画像
３４ 候補方位マーク像テーブル

Claims (6)

1. カメラによる画像上に当該画像の被写体空間に関する東西南北方位である被写体空間方位を表示する画像上方位表示方法において、
   方位表示対象とする画像の撮影方向に基づいて当該画像の前記被写体空間方位に関する情報を取得し、その取得した被写体空間方位情報に基づいて方位マークを生成し、その方位マークを前記画像上に表示することで前記被写体空間方位の表示をなすようにし、そして前記方位マークは、前記被写体空間における３次元座標のＸ、Ｙ、Ｚの各軸方向について前記被写体空間方位に対応する成分を有するように形成することを特徴とする画像上方位表示方法。
2. 描画機能により前記方位マークを生成させるようにしたことを特徴とする請求項１に記載の画像上方位表示方法。
3. 立体的方位マーク模型を様々な方向から撮影することで撮影方向ごとに用意してある複数の候補方位マーク像から方位表示対象画像の撮影方向に対応した候補方位マーク像を選択し、その選択した候補方位マーク像により前記方位マークを生成するようにしたことを特徴とする請求項１に記載の画像上方位表示方法。
4. 上記方位マークは、方位に応じてメモリにデータとして記録されており、方位情報に基づいて対応する方位マークを読み出し、前記画像上に表示するものとした請求項１〜３のいずれかに記載の画像上方位表示方法。
5. 撮影画像の、撮影時での透視図性との関係を示す立体方位マーカが付加された写真。
6. カメラによる画像上に当該画像の被写体空間に関する東西南北方位である被写体空間方位を表示する画像上方位表示装置において、
   方位表示対象とする画像の撮影方向に基づいて当該画像の前記被写体空間方位に関する情報を取得する手段と、その取得した被写体空間方位情報に基づいて得られる方位マークであって、前記被写体空間における３次元座標のＸ、Ｙ、Ｚの各軸方向について前記被写体空間方位に対応する成分を有する方位マークを前記画像上に付加して表示する表示手段と、を備えたことを特徴とする画像上方位表示装置。

Images