JP2013228267A - 表示装置、表示方法、及びプログラム - Google Patents

Abstract

【課題】表示部に表示した被測定物の計測範囲を的確に指示し計測精度を高めた表示装置、表示方法、及びプログラムを提供する。
【解決手段】表示装置は、被測定物ＯＢを撮像する撮影部と、撮影部から取得された画像を表示する表示部と、表示部上の押圧点Ｐの座標データを取得する制御部と、被測定物ＯＢの境界線を算出するデプス計算部と、押圧点Ｐの座標近傍の境界線上に少なくとも一つ以上の候補点Ｋを算出する選択補助部と、押圧点Ｐのマークと候補点Ｋを表示部に表示する画像処理部を備えている。また、制御部には、ユーザーが決めた第１指示点Ａ１と第２指示点Ａ２との間の距離を計算する距離計算部を備えている。
【選択図】図４

Description

本発明は、表示部に表示された画像を基に被測定物の距離を測る表示装置、表示方法、及びプログラムに関する。

距離を測定する技術（測距技術）は幅広い分野で応用されてきた。これまでの測距技術は、専門的な分野で距離を正確に測定する技術として利用されてきたが、機器の小型化、計測手段の電子化、計測方法の簡素化されるにしたがって、スマートフォンなどに搭載され、実用的なアプリケーションやエンターテインメントにも利用されるようになってきている。

特許文献１のサイズ測定装置は、撮影位置から被写体までの距離を計測する距離センサ機能を用いて撮影画像の中に含まれている物体の実サイズを測定可能としている。また、被写体サイズの測定が指示された際、この被写体をモニタ撮影したデジタル画像を解析することによって被写体の実サイズを算出してモニタ画面に表示するサイズ測定機能を有している。そして、撮影画像内でサイズ測定の対象となる測定対象を指定し、測定対象と比較される基準対象を指定して、撮影位置から測定対象および基準対象までの距離を取得する。取得された撮影画像を解析することによって測定対象および基準対象毎にその画像サイズを算出して、各算出サイズと各測定距離と基準対象の実サイズに基づいて当該測定対象の実サイズを算出する。このサイズ測定装置により、サイズ測定の対象となる被写体に焦点を合わせずに撮影された撮影画像であっても、この撮影画像を解析することによってその中に含まれている任意の物体の実サイズを測定できるようにすることが開示されている。

特許文献２の地理データ収集装置は、測距光を照射し測定対象物迄の距離を測定する距離測定部と、測定方向を撮像する撮像部と、撮像した画像を表示する表示部と、該表示部の画面位置に対応して設けられたタッチパネルと、制御演算部とを備えている。更に、傾きを検出する傾斜センサと、測定方向の水平角を検出する方位センサと、を備えている。また、撮影部で取得された基準画像から、基準画像中で選択した測定点に向けられ測定点を中心とする測定画像が取得できる。そして、基準画像に表示された各測定点は、３次元データを有しており、表示部を介して基準画像上の２つの測定点を指定することで２点間の水平距離が演算される。一方、３以上の測定点を指定することで、測定点の座標データから測定点で囲まれた水平の面積も演算できる。この地理データ収集装置により、測定予定範囲を示す基準画像中に、測定の都度、測定点がプロットされ、作業者が測定済箇所を確認しつつ測定が行える様にし、測定作業の確実性作業性の向上を図れることが開示されている。

特開２００５−１６４５１２号公報 特開２００９−２１０３８８号公報

特許文献１では、基準対象に基づいて測定対象の「縦寸法」、「横寸法」、「奥行き寸法」に対応する方向別の実サイズを算出することは可能である。また、特許文献２では、予め決められた測定対象物（被測定物）の３次元データを活用して距離を測定することは可能である。しかしながら、表示部に表示された画像の中から被測定物を選択して、被測定物の測定したい位置をユーザーが任意に選択して測定することは困難であるという問題を生じていた。また、ユーザーが測定したい位置を表示部上で指定する場合、必ずしも的確に位置を指定することは難しく、また、指定した位置でのデータ精度が不十分な場合、正しく測定できないという課題がある。

本発明は、上記事由に鑑みてなされたものであり、その目的は、表示部に表示した被測定物の計測範囲を的確に指示し計測精度を高めた表示装置、表示方法、及びプログラムを提供することにある。

本発明の表示装置は、被測定物を撮像する撮影部と、前記撮影部から取得された画像を表示する表示部と、前記表示部上の押圧点の座標データを取得する制御部と、前記被測定物の境界線を算出するデプス計算部と、前記押圧点の座標近傍の前記境界線上に少なくとも一つ以上の候補点を算出する選択補助部と、前記押圧点を示すマークと前記候補点を前記表示部に表示する画像処理部と、を備える。

前記選択補助部は、前記押圧点と前記候補点との座標が一致したとき前記候補点を指示点に変更し、少なくとも２つ以上の前記指示点間の距離を計算する距離計算部を備えることが好ましい。

前記画像処理部は、前記表示部に前記押圧点を示すマークと複数の前記候補点とを表示することが好ましい。

前記選択補助部は、前記複数の候補点が表示される位置を前記被測定物の側部と角部とに決定することが好ましい。

前記表示装置は、前記被測定物の計測範囲を示す前記指示点近傍に前記指示点を確認するための確認表示を実行する確認部を備えることが好ましい。

前記表示装置は、前記確認表示が前記指示点近傍の拡大表示であることが好ましい。

前記表示装置は、前記確認表示が前記被測定物を回転させた表示であることが好ましい。

前記表示装置は、前記被測定物の計測範囲が、測定物間であるか前記被測定物内であるかを判定する測定物判定部を備えることが好ましい。

前記表示装置は、前記デプス計算部により、前記指示点近傍のデプス値を補正することが好ましい。

本発明の表示装置の表示方法は、撮影部で被測定物を撮像し、前記撮影部から取得された画像を表示部で表示し、制御部で前記表示部上の押圧点の座標データを取得し、デプス計算部で前記被測定物の境界線を算出し、選択補助部で前記押圧点の座標近傍の前記境界線上に少なくとも一つ以上の候補点を算出し、画像処理部で前記押圧点を示すマークと前記候補点を前記表示部に表示する。

本発明の表示装置のプログラムは、撮影部から取得された画像を基に、制御部で前記表示部上の押圧点の座標データを取得する手順と、デプス計算部で前記被測定物の境界線を算出する手順と、選択補助部で前記押圧点の座標近傍の前記境界線上に少なくとも一つ以上の候補点を算出する手順と、画像処理部で前記押圧点を示すマークと前記候補点を前記表示部に表示する手順と、をコンピュータに実行させる。

本発明によれば、３次元データを活用して被測定物の距離を測るための第１指示点と第２指示点の位置に押圧点を正確に誘導することが可能となり、被測定物の計測範囲を定めることが容易であり、操作性及び計測精度の向上を図ることができる。

本発明に係る表示装置の一実施形態を示すブロック図。 本発明に係る表示装置の表示部に表示される各種情報を示す説明図。 本発明に係る表示装置の距離計測手順の一例を示すフローチャート図。 図３のフローチャート図のステップ１〜ステップ３を具体的に示した第１実施形態の模式図、（ａ）ユーザーが測りたい計測範囲、（ｂ）指又はペン等で表示部上を押圧している状態、（ｃ）候補点の表示、（ｄ）第２指示点を決める時の操作方法、（ｅ）第１指示点と第２指示点との決定。 図３のフローチャート図のステップ１〜ステップ３を具体的に示した第２実施形態の模式図、（ａ）指又はペン等で表示部上を押圧している状態、（ｂ）複数の候補点の表示、（ｃ）ユーザーが希望する候補点に押圧点の接近、（ｄ）候補点が第１指示点としての決定表示。 図３のフローチャート図のステップ４〜ステップ５を具体的に示した模式図、（ａ）第１指示点を中心とした部分拡大図の第１指示点上での拡大表示、（ｂ）（ａ）の拡大表示が第１指示点から邪魔にならないよう、第１指示点から離れた位置において表示、（ｃ）拡大表示の中心に指又はペンがあり第１指示点上での拡大表示、（ｄ）（ｃ）の拡大表示が第１指示点から邪魔にならないよう、第１指示点から離れた位置において表示、（ｅ）第１指示点の立体拡大表示、（ｆ）押圧点位置が異なる第１指示点の立体拡大表示。 図３のフローチャート図のステップ９を具体的に示した模式図、（ａ）測定物間が計測範囲、（ｂ）被測定物内が計測範囲。 図３のフローチャート図のステップ１０を具体的に示したデプス値グラフ、（ａ）測定物間のデプス値、（ｂ）被測定物内のデプス値。 被測定物ＯＢの高さＨを求めるための説明図。 画素上での角度測定を求める説明図。

以下、本発明に係る表示装置、表示方法、及びプログラムの好適な実施形態を、図１〜図１０に基づいて詳述する。

図１は表示装置の一実施形態を示すブロック図である。

表示装置１０は、制御部２０と、撮影部３０と、記憶部４０と、入力部５０と、表示部６０と、距離測定部７０とからなる。表示装置１０は、例えば、スマートフォン等の携帯電話、タブレット、カメラ付き携帯端末、デジタルカメラ、距離測定器、等である。また、表示装置１０により測定される対象とは、例えば、家具配置に使用する部屋の間取り、空間サイズや家具寸法、ガーデニング用の庭面積、物置寸法や肥料散布面積、駐車場やガレージの寸法や自動車サイズ、釣った魚のサイズ、等である。

制御部２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたマイクロプロセッサ構成を有し、ＲＯＭに格納されている制御プログラムにより、表示装置１０全体の制御（演算、検索、抽出等を含む）を行うと共に、後述する各種処理機能の実行制御を行う。撮影部３０は、後述する被測定物ＯＢを撮像するカメラを一つまたは複数備え、ＣＣＤ、ＣＭＯＳセンサ等多数の画素（ピクセル）の集合体から成る撮像素子を備えている。記憶部４０は、撮影部３０で撮影された画像データや制御部２０で実行するために必要な各種情報データを記憶する。

入力部５０は、シャッターボタン、メインスイッチ、処理モード切換スイッチ等を備え、これらのスイッチやボタンを操作すると各種信号が制御部２０に送信される。表示部６０は、液晶パネルや有機ＥＬパネル等のディスプレイであり、指やペンを接触させて各種の処理を行うＵＩ（ユーザーインターフェース）型のタッチパネルでもあり、撮影部３０で撮影された画像や各種操作を行う画面等を表示する。距離測定部７０は、被測定物ＯＢと表示装置１０との距離を測定する装置、例えば方位センサ、角度センサ、赤外線やレーザー、ステレオ画像を解析して距離を求めるセンサ等の光波距離計等を備えている。

更に、制御部２０は、図１（ｂ）に示される通り、画像処理部２１と、選択補助部２２と、確認部２３と、デプス計算部２４と、測定物判定部２５と、距離計算部２６と、を備えている。各機能については、後述する。

図２は、本発明の表示装置１０における表示部６０の一表示例を示す模式図である。表示部６０には、撮像された被測定物ＯＢと、被測定物ＯＢの境界線Ｓと、ユーザーが計測範囲として指定した境界線Ｓ上にある２つの指示点Ａである第１指示点Ａ１と第２指示点Ａ２と、が表示されている。また、第１指示点Ａ１と第２指示点Ａ２を結ぶ計測線ＯＬ（矢印参照）と、表示部６０の下方には計測線ＯＬの計測結果である距離（図では２０ｃｍ）と、が表示されている。実施形態では、指示点Ａの表示マークを二重丸形状で示しているが、例えば、円や四角等の形状、（１）や（２）の英数字、色の相違、等、表示形式に限定されない。また、計測線ＯＬの表示マークとして矢印で示しているが、指示点Ａと同様、表示形式に限定されない。

図３は、表示装置１０の距離計測手順の一例を示すフローチャート図である。フローチャート図を説明し、各処理、判定等の詳細について図４から図８を用いて説明する。

表示装置１０の撮影部３０を用いてユーザーは被測定物ＯＢを撮影する。撮影された３次元の情報をもつデジタル撮像画像は、記憶部４０に記憶され、画像処理部２１で画像処理され表示部６０に表示される。

表示部６０に表示された被測定物ＯＢの画像を基に、ユーザーの希望する計測範囲の起点となる第１指示点Ａ１を選択、決定するために、指又はペン等で表示部６０上を押圧（または接触、タップ、等）する（ステップ１）。押圧した部分（後述の押圧点Ｐ）は、入力信号として画像処理部２１で認識され、制御部２０で座標データに変換される。次に、押圧点Ｐが被測定物ＯＢを測定するために正しい位置か否かをそれぞれの座標を基づいて制御部２０で判定する（ステップ２）。正しい位置とは、押圧点Ｐが被測定物ＯＢの境界線Ｓ上にあることを指す。正しい位置にない場合（ステップ２がＹＥＳ）は、選択補正処理を行う選択補助部２２で選択補助処理を実行する（ステップ３）。押圧点Ｐと指示点Ａとが一致している場合（ステップ２がＮＯ）は、ステップ３をスキップする。

ユーザーが、指示点Ａを移動（微調整を含む）させる必要があるか否かを判定し（ステップ４）、必要がある場合（ＹＥＳ）は、確認部２３で指示点Ａの移動を容易にするための確認表示（拡大表示、等）、および微調整を実行する（ステップ５）。指示点Ａの移動を必要としていない場合（ステップ４がＮＯ）は、ステップ５をスキップする。次に、被測定物ＯＢの測りたい位置を示す２つの点である第１指示点Ａ１（測定開始点位置）と第２指示点Ａ２（測定終点位置）を選択したか否かを判定する（ステップ６）。尚、指示点Ａは２つのみであるとは限らない。両指示点Ａ１、Ａ２を選択した場合（ステップ６がＹＥＳ）は、表示部６０に計測範囲である計測線ＯＬを表示する（ステップ７）。両指示点Ａ１、Ａ２を選択していない場合（ステップ６がＮＯ）は、ステップ１に戻る。

デジタル撮影による画像は、画素毎に輝度値と色度値等を取得している。輝度値等を利用してデプス計算部２４で、デプス値を計算してデプスマップを作成する。デプスマップとは、距離画像、奥行き画像とも呼ばれ、各画素に対して表示装置１０と被測定物ＯＢまでの距離情報（奥行き情報）が対応づけられたデータである。このデプスマップに基づいて、被測定物ＯＢまでの距離（Ｚ方向）、被測定物ＯＢの寸法（Ｚ方向と直交するＸ方向またはＹ方向）、被測定物ＯＢの境界線Ｓが計算できる。

更に、計測範囲の具体的対象を決定する必要性や境界線Ｓの精度を上げる必要性があるか否かを判定するデプス補助処理判定する（ステップ８）。必要性があると判定した場合（ステップ８がＹＥＳ）、まず、測定範囲が被測定物ＯＢ間を測っているのか、被測定物ＯＢの寸法そのものなのかを、デプス値を基に測定物判定部２５で演算して判定する（ステップ９）。次に、境界線Ｓの精度を向上するために境界線Ｓ近傍のデプス値をデプス計算部２４で取得して平均（平滑）化しデプス補正を実行する（ステップ１０）。一方、必要性がないと判定した場合（ステップ８がＮＯ）は、ステップ９とステップ１０を実行しない。

そして、距離計算部２６で被測定物ＯＢの計測範囲の距離を演算し、結果を表示部６０に表示する（ステップ１１）。距離計算が終了したと判定した場合（ステップ１２がＹＥＳ）は、距離計測プログラムを終了し、距離計算が終了していないと判定した場合（ステップ１２がＮＯ）は、ステップ１に戻る（またはプログラムを終了させる）。なお、距離計算が終了していない、とはユーザーが被測定物ＯＢの別の場所を計測したい場合やＯＢとは別の測定物を計測したい場合のことを示す。

次に、ユーザーが希望する計測範囲を表示部６０上で指定していく手順について、図４から図８の具体的実施形態に基づいて詳述する。

まず、ステップ１〜ステップ３（選択補助処理）を具体的に示した実施形態を２例説明する。図４は第１実施形態であり、図５は第２実施形態である。

図４（ａ）は、ユーザーが測りたい計測範囲を示している。ユーザーが測りたい計測範囲とは、表示部６０に表示された被測定物ＯＢ上にある第１指示点Ａ１と第２指示点Ａ２間の計測線ＯＬの距離である。

図４（ｂ）は、指又はペン等で表示部６０上を押圧（又は接触、タップ、等）している状態を示している。ユーザーの希望する計測範囲の起点となる第１指示点Ａ１を決めるために、第１指示点Ａ１近傍を指又はペン等で表示部６０上を押圧する。押圧した部分（押圧点Ｐ）は、入力信号として画像処理部２１で認識され、制御部２０で座標データに変換され、押圧したことが分かる表示マークである、例えば、円が指又はペンの周りに表示される。また、押圧点Ｐの位置が分かり難い場合は、画像を拡大表示することも可能である。更に、押圧点Ｐが被測定物ＯＢの境界線Ｓ上又ほぼ境界線Ｓ上であると、被測定物ＯＢ上にあるか奥の背景を指しているか分かり難い場合、被測定物ＯＢを奥行き情報等に基づいて回転させ、俯瞰視点や横斜めからの視点で見ることも可能である。

図４（ｃ）は、候補点Ｋが表示されたことを示している。ユーザーは、実寸法より縮小された画像から正確に第１指示点Ａ１を決められない場合が多く、第１指示点Ａ１の近傍を押圧することになる。押圧点Ｐの座標と被測定物ＯＢの境界線Ｓ上にある第１指示点Ａ１との座標に相違があると制御部２０で判定すると、押圧点Ｐの近傍にある被測定物ＯＢの境界線Ｓ上に候補点Ｋを選択補助部２２で選択し、表示する。候補点Ｋの表示は、特に、表示形式に限定されものでもなく、点滅、ハイライト、等でも良く、ユーザーに分かりやすい表示であることが望ましい。図４（ｃ）では、一例として、候補点Ｋは被測定物ＯＢの角（又は頂点）に表示されている。押圧点Ｐと候補点Ｋとの距離が一定以下になる又は以下であると制御部２０で判断すると、バイブレーションや早い点滅等で、ユーザーに知らせる。ユーザーは表示部６０から指やペン等を離す、又は、候補点Ｋに向かってフリックすると、押圧点Ｐは制御部２０の指令により自動的に候補点Ｋに移動し（破線矢印参照）、候補点Ｋの表示が第１指示点Ａ１の表示に変わる（図４（ｄ）参照）。

図４（ｄ）は、第２指示点Ａ２を決める時の操作方法を示している。第２指示点Ａ２を決める時は、上述の第１指示点Ａ１を決める手順と同じであるため省略する。図４（ｅ）は、第１指示点Ａ１と第２指示点Ａ２とが決定したことを示している。表示部６０にユーザーの希望する計測範囲を表す第１指示点Ａ１と第２指示点Ａ２及び計測線ＯＬが表示されている。

上述の操作により、ユーザーは表示部６０上で所望する計測範囲の指示点Ａに押圧点Ｐを誘導することができ、測定したい位置を容易に見つけ出すことができ、操作性及び計測精度の向上を図ることができる。尚、実施形態では、第１指示点Ａ１と第２指示点Ａ２とを説明したが、第３や第４指示点が存在していても良く、２点間距離に限らず複数点間の距離や面積等を求めることも可能である。本発明では、表示部６０のＵＩ機能を活用して誤差の極力少ない被測定物ＯＢの計測範囲を求めることができ、ユーザーにとって操作性が簡単で使いやすい表示装置１０を提供している。

図５（ａ）は、指又はペン等で表示部６０上を押圧（又は接触）している状態を示している。ユーザーの希望する計測範囲の起点となる第１指示点Ａ１を決めるために、指又はペン等で表示部６０上を押圧する。押圧点Ｐは、入力信号として画像処理部２１で認識され、制御部２０で座標データに変換され、押圧したことが分かる円が指又はペンの周辺に表示される。押圧点Ｐの位置を明確にするため、画像の拡大や被測定物ＯＢの回転等を行うことは第１実施形態と同様である。

図５（ｂ）は、候補点Ｋが複数（実施形態では３箇所）表示されたことを示している。押圧点Ｐの座標と被測定物ＯＢの境界線Ｓ上にある第１指示点Ａ１との座標に相違があると選択補助部２２で判定すると、押圧点Ｐの近傍にある被測定物ＯＢの境界線Ｓ上に存在する複数の候補点Ｋを表示する。即ち、被測定物ＯＢの角（又は頂点）にある候補点Ｋ１と、被測定物ＯＢの側部にあり押圧点Ｐから境界線Ｓに下ろした垂線との交点である候補点Ｋ２、Ｋ３である。候補点Ｋ２、Ｋ３は被測定物ＯＢのエッジ（縁部）に相当する。

図５（ｃ）は、候補点Ｋの中でユーザーが希望する候補点Ｋ１に押圧点Ｐを近づけたことを示している。押圧点Ｐと候補点Ｋ１との距離が一定以下であると制御部２０が判断すると、バイブレーションや早い点滅等で、ユーザーに知らせる。ユーザーは表示部６０から指やペン等を離す、又は、候補点Ｋ１に向かってフリックすると、押圧点Ｐは制御部２０の指令により自動的に候補点Ｋ１に移動し、候補点Ｋ１の表示が第１指示点Ａ１の表示に変わる。図５（ｄ）は候補点Ｋ１が第１指示点Ａ１として決定されたことを示している。尚、第２指示点Ａ２の決定も同じであるため省略する。

尚、図４、図５で、候補点Ｋ、Ｋ１、Ｋ２、Ｋ３は、被測定物ＯＢの角（頂点）、エッジ（縁部）において表示されている。これらの候補点の選択、決定の方法は特に限定されず、一般的なエッジ検出法などが用いられる。例えば、エッジ検出法の中でも、後に図８を用いて説明するデプス値を用いた方法が使用可能である。

次に、ステップ４〜ステップ５（指示点確認処理）を具体的に示した模式図である図６について説明する。ユーザーが、第１指示点Ａ１と第２指示点Ａ２またはどちらかを一方を微調整や移動させたい場合の操作を示す。その際、予め指示点Ａ１、Ａ２を示す表示マーク（実施形態では円形状の表示）が表示されていても良く、新たな表示マークを表示しても良い。

図６（ａ）は、第１指示点Ａ１を中心とした部分拡大図が表示されていることを示している。拡大表示ボタンや指示点Ａ近傍を押圧やタップ（又はダブルタップ）等、することにより、確認部２３により拡大表示（等の別ウィンドウ）が表示される。図６（ａ）では、第１指示点Ａ１を中心として元の背景と重なるようにその周辺部を拡大表示している。指示点Ａを移動したい場合は、指示点Ａを押したままドラッグすれば良い。図６（ｂ）は、第１指示点Ａ１から邪魔にならないよう、第１指示点Ａ１から離れた位置において拡大表示している。図６（ｃ）、（ｄ）は、拡大表示の中心に指又はペンがくるように表示されている以外は図６（ａ）、（ｂ）と同様である。

図６（ｅ）、（ｆ）は、立体的拡大表示を示している。指示点Ａは、被測定物ＯＢの境界線Ｓ上にあるが、操作する指又はペンが境界線Ｓ上にあるか否かを確認する必要がある場合、被測定物ＯＢを回転（図では水平方向に右回転する例）、または拡大表示させると位置を確認しやすい。回転と拡大表示はどちらか一方でも良いし両方を組み合わせてもよい。図６（ｅ）は、本来計測対象としたい第１指示点Ａ１と指またはペンの押圧点Ｐが一致していることを示し、図６（ｆ）は、押圧点Ｐが本来計測対象としたい第１指示点Ａ１から離れた奥の壁、もしくは第１指示点Ａ１と奥の壁の間の点を指しているため、意図していない指示がされていることを示している。

確認表示の一例として拡大表示を説明したが、画面の切換でも良く、座標等の数値を表示して指示点Ａとの位置関係を明確にしても良い。確認表示することにより、指示点Ａの移動、特に微調整が容易に行え、使い勝手の良い表示装置を提供できる。

また、拡大表示（等の別ウィンドウ）の表示と消去は、指示点Ａを示す表示マークを表示するタイミング又は押圧する動作で表示させ、消去ボタンや拡大表示上を跨るスライド操作などの決められた削除アクションで消去させることも可能であり、押下中は常に表示し続けるが離すと自動的に消去させることも可能である。更に、例えば、ダブルタップ等、の決められたアクションで表示し続ける動作に変更させることも可能である。拡大表示上での操作例として、例えば、指示点Ａを示す表示マークをドラッグ操作すると指示点Ａの位置の変更を行い、指示点Ａを示す表示マーク以外の箇所のドラッグ操作なら視点操作（例えば、ドラッグの方向に視点の位置を移動、または回転する等）、ピンチズームすると拡大率変更（接近）操作、等があるが、この操作に限定するものではない。拡大表示上の指示点Ａの位置を変更すると表示部６０の位置も連動させることも可能であり、拡大前の表示画面、拡大表示画面のいずれの場合も、指示点Ａを示す表示マークは視点からの距離に応じて大きさを変えても良い（視点に近い程大きくなる、等）。

そして、ステップ９（被測定物判定）を具体的に示した模式図である図７について説明する。被測定物判定とは、計測範囲が、測定物間を測っているのか、被測定物ＯＢの寸法そのものを測っているのかを、デプス値を基に測定物判定部２５で演算して判定することである。図７（ａ）は、２つの測定物間の距離を測定していることを示している。２つの測定物のそれぞれの境界線Ｓ上に、第１指示点Ａ１と第２指示点Ａ２とがあり、測定物間の計測線ＯＬの距離を測定している。また、図７（ｂ）は、被測定物ＯＢの寸法を測定していることを示している。２つの指示点Ａ１、Ａ２は、被測定物ＯＢの両側にある境界線Ｓ上にある。

測定したい２点間の距離（計測範囲）が、測定物間の距離なのか、被測定物ＯＢ内の距離なのかを判定するが、予め、どちらかが明確になっていれば、被測定物判定にかかる処理時間が大きく削減可能である。また、被測定物判定方法としては、ユーザーがあらかじめ指定する方法と、ユーザーには意識させないで、プログラムによる自動判定する方法が可能である。例えば、測定したい２つの指示点Ａ１、Ａ２の区間のよりも左右に少し大きい区間を対象にして、その区間を複数に分割し、分割された箇所で、デプス値の分布を生成することで、自動判定が可能である。

次に、ステップ１０（デプス補正）を具体的に示したデプス値グラフである図８について説明する。図８（ａ）は、測定物間のデプス値を示し、（ｂ）は被測定物ＯＢ内のデプス値を示す。境界線Ｓの精度を向上するために境界線Ｓ近傍のデプス値をデプス計算部２４で取得して平均（平滑）化しデプス補正を実行する。なお、デプス値は、例えば、カメラから撮像された画像（２つの左右のカメラから得られた画像）に基づいて計算される。境界線Ｓ付近ではデプス値が急激に変化する可能性がある。２つの指示点Ａ１、Ａ２のデプス値をそのまま使用するのではなく、境界線Ｓ周辺のデータを加味して、２つの指示点Ａ１、Ａ２のデプス値を計算する。例えば、画像ムラを処理するボックスフィルタの一つであるメディアンフィルタ（中間値選択）等を用いてノイズ値を除外し（図８（ａ）、（ｂ）の「除外」）、最小２乗法による分散を最小化してデプス値を平均化（一定の値に収束）する。一例として、図８の破線で囲まれた領域をデプス補正の計算対象としている。それぞれの領域から、指示点Ａ１、Ａ２の補正されたデプス値が得られる。

尚、デプス値の求め方としては、二眼のカメラの視差を利用した方法、一眼のカメラの焦点距離を利用した方法、レーザー計測を利用した方法、ソナーなどの音波を利用した方法等の方法があるが、特にこれらの方法には限定はされない。

ステップ１１で、距離計算部２６による距離計算をするにあたって、図９、図１０を利用して画像上の２点間の距離を求めるための算出例を紹介する。

図９は、被測定物ＯＢの計測線ＯＬの高さを求めるための説明図である。地上から表示装置１０までの高さをＬ、表示装置１０から被測定物ＯＢの頂点までの高さをＭとすると、次式が成り立つ。

ＯＬ＝Ｌ＋Ｍ

表示装置１０から被測定物ＯＢまでの距離をＤ、被測定物ＯＢから表示装置１０までの仰角をβとするとき、三角法計算に基づいて次式が成り立つ。

Ｌ＝Ｄ×ｔａｎβ

被測定物ＯＢの計測線ＯＬの端点である２点をＡ１、Ａ２とし、表示装置１０とＡ１、表示装置１０とＡ２の成す角をαとすると、表示装置１０までの高さＬから被測定物ＯＢの高さＯＬまでの高さＭは、三角法計算に基づいて次式が成り立つ。

Ｍ＝Ｄ×ｔａｎ（α−β）

よって計測線ＯＬの高さは次式が成り立つ。

ＯＬ＝（ｔａｎβ ＋ ｔａｎ（α−β））×Ｄ

距離Ｄは上述で記述しているデプス値そのものであるため、被測定物ＯＢの計測線ＯＬの端点である２点Ａ１、Ａ２と表示装置１０とのなす角αと表示装置１０までの仰角βの値を求めることで、計測線ＯＬの高さを算出することができる。なお、同様の演算を水平方向に適用することで、水平方向の距離を求めることができる。

図１０は、画素上での角度測定を求める説明図である。撮影部３０で取得した画像の各画素（ピクセル）を基に、ユークリッド距離、近傍距離、等を用いて画素間の距離を求め、基準距離と比較して被測定物ＯＢを測ることも可能である。８０は、キャリブレーション面（規定面）を表し、８１は被測定物ＯＢが存在する距離計測中の面を表している。また、Ｏ点は表示装置１０の画像取得位置である。キャリブレーション面８０は、方眼紙のように縦横に線が引かれ、各距離が実測されている。この実測値と画素間距離を対応させることにより基準距離が導かれる。

キャリブレーション面８０の頂点をＪ、底部をＩ、線分ＪＩ上の任意の点をＱとする。キャリブレーション面であるため、距離ＱＩは既知である。距離計測中の面８１の頂点をＧ、底部をＦ、線分ＯＱと線分ＦＧとの交点をＡ２とする。ＯＩとＯＱの成す角をθとする。尚、線分ＩＪ及び線分ＦＧは線分ＯＩに対して直交関係にある。線分Ａ２Ｆは以下の式で求められる。

ＯＡ２：ＯＱ＝Ａ２Ｆ：ＱＩ ∴ Ａ２Ｆ＝ＯＡ２×ＱＩ／ＯＱ

ＯＡ２、ＱＩ、ＯＱはともに既知であるため、線分Ａ２Ｆは算出可能である。

また、角度θは次式で求められる。

θ＝ａｒｃｓｉｎ（Ａ２Ｆ／ＯＡ２）

一方、△ＯＨＩにおいて、距離計測中の面８１の頂点をＥ、線分ＯＰと線分ＥＦとの交点をＡ１とする。ＯＩとＯＰの成す角をφとする。△ＯＪＩの場合と同様の計算方法を適用すると、線分Ａ１Ｆとφを求めることが可能となる。一方で、求める角αは以下の式で求められる。

α＝θ＋φ

仰角βはカメラのパラメータ等より別途算出可能であるため、図９におけるＤ、α、βの値がすべて算出でき、よって、計測線ＯＬの高さ（２点Ａ１、Ａ２間の距離）を求めることが可能となる。

更に詳細なデプスの応用については、例えば、特開２００１−１２４５４４号公報記載の技術を参考にすることもできる。

尚、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数値、形態、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。

本発明に係る表示装置、表示装置の表示方法、及びプログラムは、被測定物（例えば、家具、建物、ガレージ等）の幅寸法や面積を測定する用途に適用可能である。

１０：表示装置
２０：制御部
２１：画像処理部
２２：選択補助部
２３：確認部
２４：デプス計算部
２５：測定物判定部
２６：距離計算部
３０：撮影部
４０：記憶部
５０：入力部
６０：表示部
７０：距離測定部
Ａ：指示点（Ａ１：第１指示点、Ａ２：第２指示点）
Ｋ：候補点
ＯＢ：被測定物
ＯＬ：計測線
Ｐ：押圧点

Claims (11)

1. 被測定物を撮像する撮影部と、
   前記撮影部から取得された画像を表示する表示部と、
   前記表示部上で指定された点の座標データを取得する制御部と、
   前記被測定物の境界線を算出するデプス計算部と、
   前記指定された点の座標近傍の前記境界線上に少なくとも一つ以上の候補点を算出する選択補助部と、
   前記指定された点を示すマークと前記候補点を前記表示部に表示する画像処理部と、を備える表示装置。
2. 請求項１に記載の表示装置であって、
   前記選択補助部は、前記指定された点と前記候補点との座標が略一致したとき前記候補点を指示点に変更し、
   少なくとも２つ以上の前記指示点間の距離を計算する距離計算部を備える表示装置。
3. 請求項１または請求項２に記載の表示装置であって、
   前記画像処理部は、前記表示部に前記指定された点を示すマークと複数の前記候補点とを表示する表示装置。
4. 請求項３に記載の表示装置であって、
   前記選択補助部は、前記複数の候補点が表示される位置を前記被測定物の側部と角部とに決定する表示装置。
5. 請求項２に記載の表示装置であって、
   前記被測定物の計測範囲を示す前記指示点近傍に前記指示点を確認するための確認表示を実行する確認部を備える表示装置。
6. 請求項５に記載の表示装置であって、
   前記確認表示が前記指示点近傍の拡大表示である表示装置。
7. 請求項５に記載の表示装置であって、
   前記確認表示が前記被測定物を回転させた表示である表示装置。
8. 請求項１または請求項２に記載の表示装置であって、
   前記被測定物の計測範囲が、測定物間であるか前記被測定物内であるかを判定する測定物判定部を備える表示装置。
9. 請求項１または請求項２に記載の表示装置であって、
   前記デプス計算部により、前記指示点近傍のデプス値を補正する表示装置。
10. 表示装置の表示方法であって、
    撮影部で被測定物を撮像し、
    前記撮影部から取得された画像を表示部で表示し、
    制御部で前記表示部上の指定された点の座標データを取得し、
    デプス計算部で前記被測定物の境界線を算出し、
    選択補助部で前記指定された点の座標近傍の前記境界線上に少なくとも一つ以上の候補点を算出し、
    画像処理部で前記指定された点を示すマークと前記候補点を前記表示部に表示する表示方法。
11. 表示装置のプログラムであって、
    撮影部から取得された画像を基に、制御部で前記表示部上の指定された点の座標データを取得する手順と、
    デプス計算部で前記被測定物の境界線を算出する手順と、
    選択補助部で前記指定された点の座標近傍の前記境界線上に少なくとも一つ以上の候補点を算出する手順と、
    画像処理部で前記指定された点を示すマークと前記候補点を前記表示部に表示する手順と、
    をコンピュータに実行させるプログラム。
    
    

Images