JP2018189536A - 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム - Google Patents

Abstract

【課題】カメラ機能により取得された画像の処理だけで簡易に被写体の実寸法を算出して表示させることが可能な画像処理装置、実寸法表示方法、及び実寸法表示処理プログラムを提供する。【解決手段】端末装置１は、カメラ機能により取得された画像の中から、対応付けメモリに記憶された特徴量が示す特徴が面に表された基準物体を特定し、当該基準物体の特徴量に対応付けられた実寸法を対応付けメモリから特定し、特定した基準物体の近傍に表れる１対のエッジ線を検出する。そして、端末装置１は、基準物体の幅の画像上における長さと、１対のエッジ線間の画像上における長さとの比とを算出し、算出した比と基準物体の実寸法とに基づいて、１対のエッジ線間の実寸法を算出して画像上に重畳して表示させる。【選択図】図３

Description

本発明は、カメラにより撮像された被写体の寸法を計算して表示する画像処理装置の技術分野に関する。

従来、特許文献１に開示されるように、撮影画像の中から、主被写体を特定し、主被写体の実寸法を算出し、算出された主被写体の実寸法を表示するデジタルカメラが提案されている。このデジタルカメラでは、撮影時のレンズユニットの合焦情報やズーム情報、被写界震度、フォーカス情報等をレンズ制御部から取得し、取得した情報を基に、ＣＰＵが被写体の寸法を演算するように構成されている。また、特許文献２に開示されるように、被写体と背景の輝度差から検知した被写体の撮像画面中におけるサイズと、ＡＦ機能により検出した被写体までの距離と、レンズのズーム位置検出により算出される画角から、被写体の実寸法を算出する電子カメラが知られている。

特開２００９−２７４０２号公報 特開２００３−２４４５０１号公報

しかしながら、特許文献１には、撮影時のレンズユニットの合焦情報やズーム情報、被写界震度、フォーカス情報等を基に被写体の寸法を演算するとの記載されているものの、具体的にどのように寸法を演算するかについての記載がない。一方、特許文献２には、被写体の実寸法を算出する具体的な方法の記載があるものの、この方法では、カメラのレンズを利用して取得される、被写体までの距離、及び画角には高精度が求められ、高価なものとなるため、広く普及されているスマートフォン等の携帯端末にアプリケーションとして搭載させることは困難である。

そこで、本発明は、以上の点に鑑みてなされたものであり、カメラ機能により取得された画像の処理だけで簡易に被写体の実寸法を算出して表示させることが可能な画像処理装置、実寸法表示方法、及び実寸法表示処理プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、カメラ機能を有する画像処理装置であって、物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けて記憶するメモリと、前記カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定する第１特定手段と、前記第１特定手段により特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定する第２特定手段と、前記第１特定手段により特定された前記物体の近傍に表れる１対のエッジ線を検出する検出手段と、前記第１特定手段により特定された前記物体の幅の画像上における長さと、前記検出手段により検出された１対のエッジ線間の画像上における長さとの比とを算出する第１算出手段と、前記第１算出手段により算出された比と、前記第２特定手段により特定された実寸法とに基づいて、前記検出手段により検出された１対のエッジ線間の実寸法を算出する第２算出手段と、画面に表示された前記画像上に、前記第２算出手段により算出された実寸法を示す値を重畳して表示させる表示制御手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、表示されている画像においてユーザにより指定された物体の幅の実寸法を当該ユーザの操作にしたがって入力する入力手段と、前記表示されている画像においてユーザにより指定された物体の面に表される特徴を示す特徴量を抽出する抽出手段と、前記入力手段により入力された、前記物体の幅の実寸法と、前記抽出手段により抽出された前記特徴量とを対応付けてメモリに格納する格納手段と、を備えることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の画像処理装置において、前記検出手段は、前記物体の近傍に表れるエッジ線であって、略平行な１対のエッジ線を検出することを特徴とする。

請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記略平行な１対のエッジ線は前記画面上では互いに交差せず、且つ一方の前記エッジ線のベクトルを平行移動することで他方の前記エッジ線のベクトルと交差したときの２つの当該ベクトルのなす角は５°以下であることを特徴とする。

請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の画像処理装置において、前記１対のエッジ線のうちの一方のエッジ線に対応する実空間における位置までの第１の深度と、前記１対のエッジ線のうち他方のエッジ線に対応する実空間における位置までの第２の深度とを取得する取得手段を更に備え、前記検出手段は、前記第１の深度と前記第２の深度との差が閾値以下である１対のエッジ線を検出することを特徴とする。

請求項６に記載の発明は、物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けて記憶するメモリを備えるコンピュータを、カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定する第１特定手段と、前記第１特定手段により特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定する第２特定手段と、前記第１特定手段により特定された前記物体の近傍に表れる１対のエッジ線を検出する検出手段と、前記第１特定手段により特定された前記物体の幅の画像上における長さと、前記検出手段により検出された１対のエッジ線間の画像上における長さとの比とを算出する第１算出手段と、前記第１算出手段により算出された比と、前記第２特定手段により特定された実寸法とに基づいて、前記検出手段により検出された１対のエッジ線間の実寸法を算出する第２算出手段と、画面に表示された前記画像上に、前記第２算出手段により算出された実寸法を示す値を重畳して表示させる表示制御手段として機能させることを特徴とする。

請求項７に記載の発明は、コンピュータにより実行される実寸法表示方法であって、物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けてメモリに記憶するステップと、カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定するステップと、前記特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定するステップと、前記画像から直線状のエッジ線を複数検出するステップと、前記検出された複数の直線状のエッジ線のうち、前記特定された前記物体から予め設定された距離以内の範囲を通る直線状のエッジ線を特定するステップと、前記特定された直線状のエッジ線と、当該直線状のエッジ線上の任意の画素から伸びる法線ベクトルと最初に交差する直線状のエッジ線とを特定することで略平行な１対のエッジ線を検出するステップと、前記特定された前記物体の幅の画像上における長さと、前記検出された１対のエッジ線間の画像上における長さとの比とを算出するステップと、前記算出された比と、前記特定された実寸法とに基づいて、前記検出された１対のエッジ線間の実寸法を算出するステップと、画面に表示された前記画像上に、前記算出された実寸法を示す値を重畳して表示させるステップと、を含むことを特徴とする。

本発明によれば、カメラ機能により取得された画像の処理だけで簡易に被写体の実寸法を算出して表示させることができ、広く普及されているスマートフォン等の携帯端末にアプリケーションとして搭載させることができる。

端末装置１の概要構成の一例を示すブロック図である。 （Ａ）は、基準物体と１対のエッジ線の位置関係の一例を示す概念図であり、（Ｂ）は、１対のエッジ線間の実寸法を示す値が画像上に重畳された画面表示例を示す図である。 端末装置１の制御部１５における実寸法表示処理の一例を示すフローチャートである。 （Ａ）は、エッジに対応する深度を考慮しない場合における、基準物体とエッジ線の位置関係の一例を示す図であり、（Ｂ）は、エッジに対応する深度を考慮しない場合における、１対のエッジ線間の実寸法を示す値が画像上に重畳された画面表示例を示す図である。 （Ａ）は、エッジに対応する深度を考慮した場合における、基準物体とエッジ線の位置関係の一例を示す図であり、（Ｂ）は、エッジに対応する深度を考慮した場合における、１対のエッジ線間の実寸法を示す値が画像上に重畳された画面表示例を示す図である。 端末装置１の制御部１５における対応付け処理の一例を示すフローチャートである。 対応付け処理の開始直前から終了直後までにおける表示遷移例を示す図である。 対応付け処理の開始直前から終了直後までにおける表示遷移例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施形態は、本発明を端末装置に対して適用した場合の実施の形態である。

［１. 端末装置の構成及び機能］
先ず、図１等を参照して、端末装置１の概要及び機能概要について説明する。図１は、端末装置１の概要構成の一例を示すブロック図である。端末装置１は、画像処理装置の一例である。なお、端末装置１には、例えば、パーソナルコンピュータ（ＰＣ）、携帯電話機、タブレット端末、ＰＤＡ（Personal Digital Assistant)、スマートフォン、携帯ゲーム機等が適用可能である。端末装置１は、図１に示すように、撮像部（カメラ）１１、表示・操作部１２、通信部１３、記憶部１４、及び制御部１５等を備えて構成され、これらの構成要素はバス１６に接続されている。

撮像部１１は、カメラ機能を有し、カメラの画角に収まる撮像範囲をカメラ機能により取得（撮像）し、取得した画像を制御部１５へ出力する。撮像部１１は、深度センサーを備えてもよい。この場合、撮像部１１は、撮像範囲内の被写体（例えば、部屋内であれば、人、置物、家具、壁など）に赤外線等を照射し、被写体からの反射光に基づき被写体の各位置までの深度を取得する。表示・操作部１２は、例えば、人の指やペン等による操作（ユーザの操作）を受け付ける入力機能と、撮像部１１により撮像された画像（ファインダー像）を表示する表示機能とを有するタッチパネルを備える。通信部１３は、ネットワークに接続して所定のサーバと通信を行う機能を担う。ネットワークは、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及びゲートウェイ等により構築される。

記憶部１４は、例えば、不揮発性半導体メモリ（例えば、フラッシュメモリ等）やハードディスクドライブ等からなり、ＯＳ（Operating System），ＯＳ上で実行されるアプリケーションプログラム等を記憶する。アプリケーションプログラムには、例えば本発明の被写体実寸法表示処理プログラムが含まれる。アプリケーションプログラムは、所定のサーバから端末装置１にダウンロードされてインストールされる。或いは、アプリケーションプログラムは、ＣＤ、ＤＶＤなどの記録媒体に記録（コンピュータにより読み取り可能に記録）されており、当該記録媒体から読み込まれてインストールされてもよい。

制御部１５は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），及びＲＡＭ（Random Access Memory）等を備え、インストールされたアプリケーションプログラム（本発明の画像処理プログラムを含む）等を実行することにより、コンピュータとしての制御部１５は、本発明における第１特定手段、第２特定手段、検出手段、第１算出手段、第２算出手段、表示制御手段、入力手段、抽出手段、格納手段、及び取得手段等として機能する。これにより、撮像部１１のカメラ機能により取得された画像（ファインダー像）に表れる被写体の実寸法を算出（推定）し、算出された実寸法を示す値を当該画像に重畳して表示することができる。

本実施形態では、被写体の実寸法の算出（推定）基準となる物体（以下、「基準物体」という）の幅の実寸法（つまり、ユーザ等により測定された実際の寸法）と、当該基準物体の面（表面）に表される特徴を示す特徴量（以下、「基準物体の特徴量」という）とが対応付けられて予めメモリ（例えば、記憶部１４に確保された記憶領域、以下、「対応付けメモリ」という）に格納される。ここで、基準物体の平面形状（例えば、カメラで撮影されたときの平面形状）が四角形（または長方形）である場合、基準物体の幅は当該基準物体の縦幅または横幅である。また、基準物体の平面形状が円形である場合、基準物体の幅は当該基準物体の直径である。また、基準物体の平面形状が多角形である場合、基準物体の幅は当該基準物体の中心を通る直線が当該基準物体の輪郭と交わる２つの間の間隔である。なお、基準物体には、スマートフォン、タブレット端末、フォトフレーム、ボール、水晶玉、書籍、商品のパッケージ（箱）などが挙げられるが、スケールになりうるものであれば如何なるものであっても適用可能である。このような基準物体は、ユーザにより指定されてもよいし、アプリケーションプログラムにおいてデフォルト設定で指定されていてもよい。なお、基準物体の特徴と他の物体の特徴とを明確に区別可能とするために、基準物体の面に特徴的な絵柄、模様、色彩などが表れているとよい。

基準物体がユーザにより指定される場合、当該基準物体の幅の実寸法は、当該ユーザの操作にしたがって表示・操作部１２を介して制御部１５により入力される。ユーザによる基準物体の指定は、撮像部１１により撮像され、表示・操作部１２のタッチパネルの画面に表示された画像（ファインダー像）上でユーザが所望の基準物体を例えばタップすることで行われる。また、タッチパネルの画面に表示されている画像においてユーザにより指定された基準物体の幅の実寸法は、当該ユーザの操作にしたがって表示・操作部１２を介して制御部１５（入力手段の一例）により入力される。例えば、基準物体の平面形状が長方形である場合、ユーザの操作にしたがって、タッチパネルの画面に表示された寸法入力欄（縦幅と横幅の寸法入力欄）に縦幅と横幅が入力される。一方、基準物体がデフォルト設定で指定される場合、当該基準物体の幅の実寸法は、例えばアプリケーションプログラム中に記述されるが、或いは当該基準物体に付与されたＩＤをキーとして所定のサーバから取得される。なお、ユーザによる基準物体の指定は、過去に取得され記憶部１４に記憶されている画像ファイルに基づいて表示・操作部１２のタッチパネルの画面に表示された画像（例えば、写真画像）上でユーザが所望の基準物体を例えばタップすることで行われてもよい。

また、基準物体の特徴量としては、例えば、ＨＯＧ（Histgrams of Oriented Gradients）特徴量が用いられる。ＨＯＧ特徴量は、画像の局所領域から抽出された輝度勾配を示す特徴量である。ＨＯＧ特徴量は、特徴量抽出アルゴリズムに従って、画像から局所領域を分割したセル（例えば、局所領域をｎ＊ｎのブロックに分割し、分割されたブロックをｍ＊ｍに分割したセル）ごとに勾配強度と勾配方向が算出され勾配方向ヒストグラムが生成、正規化されることで抽出される。なお、基準物体の特徴量として、エッジに着目されたＥＯＨ（Edge of Orientation Histograms）特徴量が用いられてもよいし、輝度に着目したHaar-like特徴量が用いられてもよい。或いは、基準物体の特徴量として、画像の回転、スケールの変化、照明変化に対して不変性を有するＳＩＦＴ（Scale-Invariant Feature Transform）特徴量やＳＵＲＦ(Speeded Up Robust features)特徴量が用いられてもよい。なお、基準物体の特徴量は、公知の種々の特徴量、またはこれらの組合せた特徴量が用いられてもよい。

また、基準物体がユーザにより指定される場合、当該基準物体の特徴量は、タッチパネルの画面に表示されている画像において当該基準物体がユーザにより指定されたときに制御部１５（抽出手段の一例）により抽出される。そして、上記入力された、基準物体の幅の実寸法と、上記抽出された、当該基準物体の特徴量とが制御部１５（格納手段の一例）により対応付けられて対応付けメモリに格納される。一方、基準物体がデフォルト設定で指定される場合、当該基準物体の特徴量は、例えばアプリケーションプログラム中に記述されるか、或いは当該基準物体に付与されたＩＤをキーとして所定のサーバから取得されて、当該基準物体の幅の実寸法に対応付けられて対応付けメモリに記憶される。

以上のように、基準物体の幅の実寸法と、当該基準物体の特徴量とが対応付けられて対応付けメモリに記憶された後、制御部１５（第１特定手段の一例）は、撮像部１１のカメラ機能により取得された画像の中から、対応付けメモリに記憶された特徴量が示す特徴が面に表された基準物体を特定する。つまり、ユーザ等により前もって指定された基準物体が画像の中から特定される。次に、制御部１５（第２特定手段の一例）は、上記取得された画像から特定された基準物体の特徴量に対応付けられた実寸法を対応付けメモリから特定する。

次に、制御部１５（検出手段の一例）は、上記特定された基準物体の近傍に表れる１対のエッジ線を検出する。ここで、基準物体の近傍に表れるとは、例えば、画像において、基準物体から（例えば、基準物体の中心または端部）から予め設定された距離（言い換えれば、画素数（ピクセル数））以内の位置に表れることを意味する。つまり、近傍であるかどうかは、予め設定された距離（言い換えれば、画素数）以内であるかどうかで決まる。また、エッジとは、画像中の明るさ（濃淡）或いは色が急に変化している箇所をいう。このようなエッジは、例えば画素の輝度値の変化に対して微分演算または差分演算を行うことで検出される。そして、エッジ線とは、微分演算または差分演算により得られた変化量が閾値以上である箇所（つまり、エッジ）の画素が所定数以上連続することで形成される線（望ましくは直線）をいう。また、被写体の実寸法の推定精度を高めるため、１対のエッジ線は互いに平行であることが望ましい。ただし、略平行な１対のエッジ線が検出されてもよい。略平行な１対のエッジ線とは、画面上（つまり、画面上で表示される範囲内）では互いに交差せず、且つ一方のエッジ線のベクトルを平行移動することで他方のエッジ線のベクトルと交差したときの２つの当該ベクトルのなす角（２つのベクトルで作られる角度の１８０°以下となる方の角度）が５°以下であることをいう。

次に、制御部１５（第１算出手段の一例）は、上記特定された基準物体の幅の画像上における長さ（言い換えれば、画素数）と、上記検出された１対のエッジ線間の画像上における長さ（言い換えれば、画素数）との比とを算出する。図２（Ａ）は、基準物体と１対のエッジ線の位置関係の一例を示す概念図である。図２（Ａ）の例では、基準物体の幅の画像上における長さＷと、１対のエッジ線間の画像上における長さＤとの比（＝Ｄ／Ｗ）が算出される。なお、図２（Ａ）の例では、基準物体の輪郭を示すエッジ線（つまり、縦線と横線）についても制御部１５により検出されることになるが、基準物体の輪郭を示す縦線と略平行な１対のエッジ線が検出される。次に、制御部１５（第２算出手段の一例）は、上記算出された比と、上記特定された実寸法とに基づいて、上記検出された１対のエッジ線間の実寸法を算出（推定）する。例えば、上記算出された比（＝Ｄ／Ｗ）が基準物体の幅の実寸法に乗算されることで、１対のエッジ線間の実寸法が算出される。そして、制御部１５（表示制御手段の一例）は、画面に表示された上記画像上に、上記算出された実寸法を示す値を重畳して表示させる。図２（Ｂ）は、１対のエッジ線間の実寸法を示す値が画像上に重畳された画面表示例を示す図である。図２（Ｂ）の例では、１対のエッジ線間の実寸法を示す値（９１ｃｍ）が重畳表示されている。

［２. 端末装置の動作］
次に、端末装置１の動作について説明する。先ず、図３〜図５を参照して、被写体実寸法表示処理について説明する。図３は、端末装置１の制御部１５における実寸法表示処理の一例を示すフローチャートである。図４（Ａ）は、エッジに対応する深度を考慮しない場合における、基準物体とエッジ線の位置関係の一例を示す図であり、図４（Ｂ）は、エッジに対応する深度を考慮しない場合における、１対のエッジ線間の実寸法を示す値が画像上に重畳された画面表示例を示す図である。図５（Ａ）は、エッジに対応する深度を考慮した場合における、基準物体とエッジ線の位置関係の一例を示す図であり、図５（Ｂ）は、エッジに対応する深度を考慮した場合における、１対のエッジ線間の実寸法を示す値が画像上に重畳された画面表示例を示す図である。なお、図３の処理の開始前に、基準物体の幅の実寸法と、当該基準物体の特徴量とが対応付けられて対応付けメモリに格納されているものとする。

図３に示す処理は、例えばユーザの操作に応じてアプリケーションプログラムが起動することにより開始される。図３に示す処理が開始されると、撮像部１１が起動する。そして、制御部１５は、当該撮像部１１のカメラ機能により取得された画像を入力し、ＲＡＭのワーク領域に記憶するとともに、当該画像を表示・操作部１２のタッチパネルの画面に表示させる（ステップＳ１）。

次いで、制御部１５は、ステップＳ１でワーク領域に記憶された画像（画面に表示された画像）の中から、対応付けメモリに記憶された特徴量が示す特徴が面に表された基準物体を特定（画像上で認識）する（ステップＳ２）。例えば、制御部１５は、ワーク領域に記憶された画像から１つ以上の物体の特徴量（例えば、ＨＯＧ特徴量）を、特徴量抽出アルゴリズムに従って抽出し、当該抽出した特徴量と、対応付けメモリに記憶された特徴量との間の一致度を算出する。なお、特徴量抽出アルゴリズムには、公知のアルゴリズムを適用可能である。そして、制御部１５は、対応付けメモリに記憶された特徴量との間の一致度が閾値以上である物体（例えば、特徴量が９０％以上一致している物体）を基準物体として画像から特定する。なお、対応付けメモリに記憶された特徴量との間の一致度が閾値以上である物体がない場合、基準物体は画像から特定されず、ステップＳ１に戻る。

次いで、制御部１５は、ステップＳ２で特定された基準物体の特徴量に対応付けられた実寸法を対応付けメモリから特定し（ステップＳ３）、ＲＡＭのワーク領域に読み込む。次いで、制御部１５は、ステップＳ１でワーク領域に記憶された画像からエッジ線を複数検出する（ステップＳ４）。例えば、制御部１５は、当該画像における画素の輝度値の変化に対して微分演算または差分演算して変化量を算出し、算出した変化量が閾値以上である箇所（つまり、明るさが急激に変化する境界）をエッジ検出アルゴリズムに従ってエッジとして検出する。そして、制御部１５は、検出したエッジが所定数（例えば、５０ピクセル）以上連続（エッジに対応する画素が数画素途切れてもよい）することで形成される線を、エッジ線として検出する。ここで、検出されたエッジ線は直線であることが望ましいが直線になるとは限らない。このため、エッジ線上の複数の画素を直線で結んで近似直線とし、この近似直線をエッジ線（直線状のエッジ線）とするとよい。図４（Ａ）の例では、ステップＳ４の処理により、画像からエッジ線ｅ１〜ｅ１３が検出されている。なお、複数のエッジ線が検出されない場合、ステップＳ１に戻る。

次いで、制御部１５は、ステップＳ４で検出された複数のエッジ線の中から、ステップＳ２で特定された基準物体の近傍に表れる略平行な１対のエッジ線を検出する（ステップＳ５）。例えば、制御部１５は、図４（Ａ）に示すように、基準物体Ｏの中心から予め設定された画素数以内の範囲（例えば、円の範囲）Ｒを通るエッジ線ｅ３，ｅ４，ｅ６，ｅ７，ｅ１１を特定する。つまり、エッジ線を構成する画素の座標のうち少なくとも一部の画素の座標が当該範囲Ｒ内に位置するエッジ線が特定される。そして、制御部１５は、当該特定した例えばエッジ線ｅ３上の任意の画素から伸びる法線ベクトルと交差する略平行なエッジ線ｅ４，ｅ５のうち、最初に交差するエッジ線ｅ４（つまり、距離が近い方のエッジ線）を特定することで、１対のエッジ線ｅ３，ｅ４を検出する。もし、エッジ線ｅ３上の任意の画素から伸びる法線ベクトルと交差する略平行なエッジ線がない場合、当該エッジ線ｅ３上の任意の画素を順次変更して同様の処理を行い、当該エッジ線ｅ３の一端から他端までの間の画素から伸びる法線ベクトルと交差する略平行なエッジ線ない場合、当該エッジ線ｅ３と１対となるエッジ線がないとされる。このような処理が、上記範囲Ｒ内に位置するとして特定されたエッジ線全て（ただし、既に１対のエッジ線として特定されたものは除く）について行われる。図４（Ａ）の例では、１対のエッジ線として、ｅ３とｅ４、ｅ４とｅ５、ｅ６とｅ１、及びｅ６とｅ１２が検出される。なお、図４（Ａ）の例では、ｅ７とｅ１２、及びｅ７とｅ２は略平行でないので、１対のエッジ線として検出されない。

次いで、制御部１５は、ステップＳ２で特定された基準物体の幅の画像上における長さと、ステップＳ５で検出された１対のエッジ線間の画像上における長さとの比を算出する（ステップＳ６）。ステップＳ６の処理は、ステップＳ５で検出された１対のエッジ線の全てについて行われる。次いで、制御部１５は、ステップＳ６で算出された比と、ステップＳ３で特定された実寸法とに基づいて、ステップＳ５で検出された１対のエッジ線間の実寸法を算出する（ステップＳ７）。例えば、制御部１５は、ステップＳ６で算出された比に対して、ステップＳ３で特定された実寸法に乗算することで１対のエッジ線間の実寸法（つまり、被写体の所定方向における実寸法）を算出する。ステップＳ７の処理は、ステップＳ５で検出された１対のエッジ線の全てについて行われる。次いで、制御部１５は、ステップＳ１で画面に表示された画像上に、ステップＳ７で算出された実寸法を示す値を重畳して表示させる（ステップＳ８）。図４（Ｂ）の例では、ｅ３とｅ４、ｅ４とｅ５、ｅ６とｅ１、及びｅ６とｅ１２のそれぞれの１対のエッジ間の実寸法が表示されている。次いで、制御部１５は、実寸法を示す値の表示から所定時間（例えば、０．１秒〜３秒程度）が経過したか否かを判定する（ステップＳ９）。なお、エッジ間の実寸法が表示されてから所定時間が経過するまでは、ユーザの見やすさを考慮して、画面表示をロックしてもよい。そして、制御部１５は、実寸法を示す値の表示から所定時間が経過したと判定した場合（ステップＳ９：ＹＥＳ）、ステップＳ１に戻り、同様の処理を行う。なお、図３に示す処理は、図示しないが、ユーザの処理終了操作に応じて終了する。

ところで、図４（Ａ）の例では、１対のエッジｅ４，ｅ５において、ｅ４の深度（つまり、カメラからの距離）とｅ５の深度とが異なる（１対のエッジｅ６，ｅ１２についても同様）ので、図４（Ｂ）に示すように表示される１対のエッジ間の実寸法の精度が低いことが想定される。そこで、別の例として、制御部１５（取得手段の一例）は、上記ステップＳ５において、基準物体の近傍に表れる略平行な１対のエッジ線を検出した後、当該１対のエッジ線のうちの一方のエッジ線に対応する実空間における位置までの第１の深度と、上記１対のエッジ線のうち他方のエッジ線に対応する実空間における位置までの第２の深度とを取得する。なお、複数の１対のエッジ線が複数検出された場合、１対のエッジ線毎に第１の深度と第２の深度とが取得される。そして、制御部１５は、検出された１対のエッジ線のうち、第１の深度と第２の深度との差が閾値以下（当該差が０に近いほどよい）である１対のエッジ線を検出し、ステップＳ６に進んで上記と同様に処理が行われる。このような構成によれば、図５（Ａ）に示すように、１対のエッジ線として、最終的に、ｅ３とｅ４、及びｅ６とｅ１が検出されることになり、その結果、図５（Ｂ）の例では、ｅ３とｅ４、及びｅ６とｅ１のそれぞれの１対のエッジ間の実寸法が表示される。

次に、図６〜図８を参照して、実寸法と特徴量との対応付け処理について説明する。この処理は、例えば、まだ対応付けメモリに基準物体の実寸法と特徴量が対応付けられて格納されていない場合、或いは対応付けメモリに基準物体の実寸法と特徴量が対応付けられて格納されているがユーザが基準物体を変更したい場合に利用される。図６は、端末装置１の制御部１５における対応付け処理の一例を示すフローチャートである。図７及び図８は、対応付け処理の開始直前から終了直後までにおける表示遷移例を示す図である。図７（Ａ）では、対応付け処理の開始直前の表示状態であり、ユーザが台の上に置いてあった物体Ｏ’（例えば、置時計）を、実寸法表示したい位置に移動（手で持って移動）させた様子を示している。

図６に示す処理は、例えば、上記実寸法表示処理中にタッチパネルの画面に表示されている所望の物体Ｏ’を、図７（Ｂ）に示すように、ユーザが指で指定（例えば、タップ）することにより開始される。図６に示す処理が開始されると、制御部１５は、ユーザにより指定された物体Ｏ’の面に表される特徴を示す特徴量を、ワーク領域に記憶された画像（表示されている画像）から抽出する（ステップＳ１１）。次いで、制御部１５は、図８（Ａ）に示すように、タッチパネルの画面に実寸法入力欄Ｅをポップアップ表示させる（ステップＳ１２）。ユーザは、定規等で物体Ｏ’の実寸法を測り、表示された実寸法入力欄Ｅにおいて物体Ｏ’の縦幅と横幅とを指定すると、制御部１５は、物体Ｏ’の縦幅と横幅とを物体Ｏ’の幅の実寸法として入力する（ステップＳ１３）。なお、ステップＳ１１と、ステップＳ１２及びＳ１３とは処理の順番が逆であってもよい。

次いで、制御部１５は、ステップＳ１３で入力された幅の実寸法と、ステップＳ１１で抽出された特徴量とを対応付けて対応付けメモリに格納する（ステップＳ１４）。こうして、格納された幅の実寸法と特徴量との対応付けは、基準物体Ｏの幅の実寸法と特徴量との対応付けとなる。そして、基準物体Ｏの幅の実寸法と特徴量との対応付けが完了すると、上記実寸法表示処理が行わることにより、図８（Ｂ）に示すように、１対のエッジ線間の実寸法（つまり、被写体の所定方向における実寸法）を示す値（この例では、８３ｃｍ）が表示されることになる。

以上説明したように、端末装置１は、カメラ機能により取得された画像の中から、対応付けメモリに記憶された特徴量が示す特徴が面に表された基準物体を特定し、当該基準物体の特徴量に対応付けられた実寸法を対応付けメモリから特定し、特定した基準物体の近傍に表れる１対のエッジ線を検出する。そして、端末装置１は、基準物体の幅の画像上における長さと、１対のエッジ線間の画像上における長さとの比とを算出し、算出した比と基準物体の実寸法とに基づいて、１対のエッジ線間の実寸法を算出して画像上に重畳して表示させるように構成したので、カメラ機能により取得された画像の処理だけで簡易に被写体の実寸法を算出して表示させることができ、広く普及されているスマートフォン等の携帯端末にアプリケーションとして搭載させることができる。

１ 端末装置
１１ 撮像部
１２ 表示・操作部
１３ 通信部
１４ 記憶部
１５ 制御部
１６ バス

上記課題を解決するために、請求項１に記載の発明は、カメラ機能を有する画像処理装置であって、物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けて記憶するメモリと、前記カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定する第１特定手段と、前記第１特定手段により特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定する第２特定手段と、前記第１特定手段により特定された前記物体の近傍に表れる１対のエッジ線であって、略平行な１対のエッジ線を検出する第１検出手段と、前記第１検出手段により検出された１対のエッジ線のうちの一方のエッジ線に対応する実空間における位置までの第１の深度と、当該１対のエッジ線のうち他方のエッジ線に対応する実空間における位置までの第２の深度とを取得する取得手段と、前記第１検出手段により検出された１対のエッジ線のうち、前記第１の深度と前記第２の深度との差が閾値以下である１対のエッジ線を検出する第２検出手段と、前記第１特定手段により特定された前記物体の幅の画像上における長さと、前記第２検出手段により検出された１対のエッジ線間の画像上における長さとの比とを算出する第１算出手段と、前記第１算出手段により算出された比と、前記第２特定手段により特定された実寸法とに基づいて、前記第２検出手段により検出された１対のエッジ線間の実寸法を算出する第２算出手段と、画面に表示された前記画像上に、前記第２算出手段により算出された実寸法を示す値を重畳して表示させる表示制御手段と、を備えることを特徴とする。

請求項３に記載の発明は、カメラ機能を有する画像処理装置であって、物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けて記憶するメモリと、前記カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定する第１特定手段と、前記第１特定手段により特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定する第２特定手段と、前記画像から直線状のエッジ線を複数検出する第１検出手段と、前記第１検出手段により検出された複数の直線状のエッジ線のうち、前記第１特定手段により特定された前記物体から予め設定された距離以内の範囲を通る直線状のエッジ線を特定する第３特定手段と、前記第３特定手段により特定された直線状のエッジ線と、当該直線状のエッジ線上の任意の画素から伸びる法線ベクトルと最初に交差する直線状のエッジ線とを特定することで略平行な１対のエッジ線を検出する第２検出手段と、前記第１特定手段により特定された前記物体の幅の画像上における長さと、前記第２検出手段により検出された１対のエッジ線間の画像上における長さとの比とを算出する第１算出手段と、前記第１算出手段により算出された比と、前記第２特定手段により特定された実寸法とに基づいて、前記第２検出手段により検出された１対のエッジ線間の実寸法を算出する第２算出手段と、画面に表示された前記画像上に、前記算出された実寸法を示す値を重畳して表示させる表示制御手段と、を備えることを特徴とする。

請求項４に記載の発明は、物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けて記憶するメモリを備えるコンピュータを、カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定する第１特定手段と、前記第１特定手段により特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定する第２特定手段と、前記第１特定手段により特定された前記物体の近傍に表れる１対のエッジ線であって、略平行な１対のエッジ線を検出する第１検出手段と、前記第１検出手段により検出された１対のエッジ線のうちの一方のエッジ線に対応する実空間における位置までの第１の深度と、当該１対のエッジ線のうち他方のエッジ線に対応する実空間における位置までの第２の深度とを取得する取得手段と、前記第１検出手段により検出された１対のエッジ線のうち、前記第１の深度と前記第２の深度との差が閾値以下である１対のエッジ線を検出する第２検出手段と、前記第１特定手段により特定された前記物体の幅の画像上における長さと、前記第２検出手段により検出された１対のエッジ線間の画像上における長さとの比とを算出する第１算出手段と、前記第１算出手段により算出された比と、前記第２特定手段により特定された実寸法とに基づいて、前記第２検出手段により検出された１対のエッジ線間の実寸法を算出する第２算出手段と、画面に表示された前記画像上に、前記第２算出手段により算出された実寸法を示す値を重畳して表示させる表示制御手段として機能させることを特徴とする。

請求項５に記載の発明は、物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けて記憶するメモリを備えるコンピュータを、カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定する第１特定手段と、前記第１特定手段により特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定する第２特定手段と、前記画像から直線状のエッジ線を複数検出する第１検出手段と、前記第１検出手段により検出された複数の直線状のエッジ線のうち、前記第１特定手段により特定された前記物体から予め設定された距離以内の範囲を通る直線状のエッジ線を特定する第３特定手段と、前記第３特定手段により特定された直線状のエッジ線と、当該直線状のエッジ線上の任意の画素から伸びる法線ベクトルと最初に交差する直線状のエッジ線とを特定することで略平行な１対のエッジ線を検出する第２検出手段と、前記第１特定手段により特定された前記物体の幅の画像上における長さと、前記第２検出手段により検出された１対のエッジ線間の画像上における長さとの比とを算出する第１算出手段と、前記第１算出手段により算出された比と、前記第２特定手段により特定された実寸法とに基づいて、前記第２検出手段により検出された１対のエッジ線間の実寸法を算出する第２算出手段と、画面に表示された前記画像上に、前記算出された実寸法を示す値を重畳して表示させる表示制御手段として機能させることを特徴とする。

請求項６に記載の発明は、コンピュータにより実行される実寸法表示方法であって、物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けてメモリに記憶するステップと、カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定するステップと、前記特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定するステップと、前記特定された前記物体の近傍に表れる１対のエッジ線であって、略平行な１対のエッジ線を検出するステップと、前記検出された１対のエッジ線のうちの一方のエッジ線に対応する実空間における位置までの第１の深度と、当該１対のエッジ線のうち他方のエッジ線に対応する実空間における位置までの第２の深度とを取得するステップと、前記検出された１対のエッジ線のうち、前記第１の深度と前記第２の深度との差が閾値以下である１対のエッジ線を検出する検出ステップと、前記特定された前記物体の幅の画像上における長さと、前記検出ステップにより検出された１対のエッジ線間の画像上における長さとの比とを算出するステップと、前記算出された比と、前記特定された実寸法とに基づいて、前記検出ステップにより検出された１対のエッジ線間の実寸法を算出するステップと、画面に表示された前記画像上に、前記算出された実寸法を示す値を重畳して表示させるステップと、を含むことを特徴とする。

Claims (7)

1. カメラ機能を有する画像処理装置であって、
   物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けて記憶するメモリと、
   前記カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定する第１特定手段と、
   前記第１特定手段により特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定する第２特定手段と、
   前記第１特定手段により特定された前記物体の近傍に表れる１対のエッジ線を検出する検出手段と、
   前記第１特定手段により特定された前記物体の幅の画像上における長さと、前記検出手段により検出された１対のエッジ線間の画像上における長さとの比とを算出する第１算出手段と、
   前記第１算出手段により算出された比と、前記第２特定手段により特定された実寸法とに基づいて、前記検出手段により検出された１対のエッジ線間の実寸法を算出する第２算出手段と、
   画面に表示された前記画像上に、前記第２算出手段により算出された実寸法を示す値を重畳して表示させる表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 表示されている画像においてユーザにより指定された物体の幅の実寸法を当該ユーザの操作にしたがって入力する入力手段と、
   前記表示されている画像においてユーザにより指定された物体の面に表される特徴を示す特徴量を抽出する抽出手段と、
   前記入力手段により入力された、前記物体の幅の実寸法と、前記抽出手段により抽出された前記特徴量とを対応付けてメモリに格納する格納手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記物体の近傍に表れるエッジ線であって、略平行な１対のエッジ線を検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記略平行な１対のエッジ線は前記画面上では互いに交差せず、且つ一方の前記エッジ線のベクトルを平行移動することで他方の前記エッジ線のベクトルと交差したときの２つの当該ベクトルのなす角は５°以下であることを特徴とする請求項３に記載の画像処理装置。
5. 前記１対のエッジ線のうちの一方のエッジ線に対応する実空間における位置までの第１の深度と、前記１対のエッジ線のうち他方のエッジ線に対応する実空間における位置までの第２の深度とを取得する取得手段を更に備え、
   前記検出手段は、前記第１の深度と前記第２の深度との差が閾値以下である１対のエッジ線を検出することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けて記憶するメモリを備えるコンピュータを、
   カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定する第１特定手段と、
   前記第１特定手段により特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定する第２特定手段と、
   前記第１特定手段により特定された前記物体の近傍に表れる１対のエッジ線を検出する検出手段と、
   前記第１特定手段により特定された前記物体の幅の画像上における長さと、前記検出手段により検出された１対のエッジ線間の画像上における長さとの比とを算出する第１算出手段と、
   前記第１算出手段により算出された比と、前記第２特定手段により特定された実寸法とに基づいて、前記検出手段により検出された１対のエッジ線間の実寸法を算出する第２算出手段と、
   画面に表示された前記画像上に、前記第２算出手段により算出された実寸法を示す値を重畳して表示させる表示制御手段として機能させることを特徴とする実寸法表示処理プログラム。
7. コンピュータにより実行される実寸法表示方法であって、
   物体の幅の実寸法と前記物体の面に表される特徴を示す特徴量とを対応付けてメモリに記憶するステップと、
   カメラ機能により取得された画像の中から、前記メモリに記憶された前記特徴量が示す特徴が面に表された物体を特定するステップと、
   前記特定された前記物体の前記特徴量に対応付けられた実寸法を前記メモリから特定するステップと、
   前記画像から直線状のエッジ線を複数検出するステップと、
   前記検出された複数の直線状のエッジ線のうち、前記特定された前記物体から予め設定された距離以内の範囲を通る直線状のエッジ線を特定するステップと、
   前記特定された直線状のエッジ線と、当該直線状のエッジ線上の任意の画素から伸びる法線ベクトルと最初に交差する直線状のエッジ線とを特定することで略平行な１対のエッジ線を検出するステップと、
   前記特定された前記物体の幅の画像上における長さと、前記検出された１対のエッジ線間の画像上における長さとの比とを算出するステップと、
   前記算出された比と、前記特定された実寸法とに基づいて、前記検出された１対のエッジ線間の実寸法を算出するステップと、
   画面に表示された前記画像上に、前記算出された実寸法を示す値を重畳して表示させるステップと、
   を含むことを特徴とする実寸法表示方法。