JP2013217662A - Length measuring device, length measuring method, and program - Google Patents

Length measuring device, length measuring method, and program Download PDF

Info

Publication number
JP2013217662A
JP2013217662A JP2012085773A JP2012085773A JP2013217662A JP 2013217662 A JP2013217662 A JP 2013217662A JP 2012085773 A JP2012085773 A JP 2012085773A JP 2012085773 A JP2012085773 A JP 2012085773A JP 2013217662 A JP2013217662 A JP 2013217662A
Authority
JP
Japan
Prior art keywords
length
unit
distance
length measuring
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012085773A
Other languages
Japanese (ja)
Other versions
JP6016226B2 (en
Inventor
Daisuke Murayama
大輔 村山
Kenichi Iwauchi
謙一 岩内
Kei Tokui
圭 徳井
Yasutaka Wakabayashi
保孝 若林
Shinichi Arita
真一 有田
Nao Shibuhisa
奈保 澁久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012085773A priority Critical patent/JP6016226B2/en
Priority to US14/387,952 priority patent/US10091489B2/en
Priority to PCT/JP2013/057013 priority patent/WO2013146269A1/en
Publication of JP2013217662A publication Critical patent/JP2013217662A/en
Application granted granted Critical
Publication of JP6016226B2 publication Critical patent/JP6016226B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a length measuring device that obtains a length of an object in real time through a simple operation.SOLUTION: The length measuring device includes an image processing part that performs image processing on image information captured by an imaging part. The image processing part includes: a distance calculation part that calculates distance information from the image information captured by the imaging part; and a length calculation part that corrects coordinates of at least two reference points to be used for length measurement, on the basis of position dependency of the distance information, to calculate the length between at least the two corrected reference points.

Description

本発明は、撮像部により撮影した画像情報を用い、被写体の長さを測定する装置に関する。   The present invention relates to an apparatus for measuring the length of a subject using image information captured by an imaging unit.

複数のカメラを用いて同一被写体を同時に撮像し、取得した画像間の対応を求めることで3次元情報を取得する手法が存在する。その中でも下記の特許文献1や特許文献2のように、撮像画像に映った被写体の位置や長さを測定する技術が知られている。   There is a method of acquiring three-dimensional information by simultaneously imaging the same subject using a plurality of cameras and obtaining a correspondence between the acquired images. Among them, as in Patent Document 1 and Patent Document 2 below, a technique for measuring the position and length of a subject reflected in a captured image is known.

特許文献1に記載の技術では2つの撮像部を持つステレオカメラを用い、左右に視差を持つ2枚の画像を取得し、ステレオカメラで撮像した左右の画像のうちいずれか1つの画像を液晶表示装置などのモニタにライブビューとして表示し、画像内の任意の点を2点指定することで、その位置に映る被写体の2点間の長さを測定している。   In the technique described in Patent Document 1, a stereo camera having two imaging units is used, two images having parallax on the left and right are acquired, and one of the left and right images captured by the stereo camera is displayed on a liquid crystal display. A live view is displayed on a monitor such as a device, and two arbitrary points in the image are designated to measure the length between two points of the subject reflected at that position.

特許文献2に記載の技術では内視鏡装置の先端に搭載した2つの光学系を用い、視差を持つ2枚の画像を取得し、ユーザはモニタ上でカーソルを移動して1点目を指定し、その後カーソルを画像上で移動させ、指定した1点目の位置と、現在のカーソル位置との間の長さが測定され、常に更新された値が表示され、被写体の位置や長さを測定している。   In the technique described in Patent Document 2, two images having parallax are acquired using two optical systems mounted at the distal end of the endoscope apparatus, and the user moves the cursor on the monitor and designates the first point. After that, the cursor is moved on the image, the length between the specified first position and the current cursor position is measured, and the updated value is always displayed, and the position and length of the subject are changed. Measuring.

特開2011−232330号公報JP 2011-232330 A 特開2009−258273号公報JP 2009-258273 A

しかしながら、上記特許文献1に記載の手法では、ユーザがモニタ上をタッチパネルで操作するか、もしくはカーソルを移動させることで2点を指定する必要があるため、測定位置を変更する際にはその都度2点を指定し直す手間がかかる。さらに、撮影画像を表示するモニタが小さい場合には、被写体が小さく表示されるためユーザが細かい点まで指定するのは困難であった。また、タッチパネルによって点を指定する場合には、ユーザ自身の指が視界を妨げ、点指定を困難にしてしまうという問題がある。   However, in the method described in Patent Document 1, it is necessary for the user to designate two points by operating the monitor with a touch panel or moving the cursor, so each time the measurement position is changed, It takes time to specify two points again. Furthermore, when the monitor that displays the captured image is small, the subject is displayed small, and it is difficult for the user to specify a fine point. In addition, when a point is designated by a touch panel, there is a problem that the user's own finger obstructs the field of view and makes the point designation difficult.

上記特許文献2に記載の手法によれば、ユーザが2点目を指定する負担が軽減されるとともに、その瞬間の測定値を常に確認できるので、ユーザの測定作業が容易になる。しかしながら、少なくとも1点を指定する作業が発生するため、ユーザの負担軽減が十分とは言えないという問題がある。   According to the method described in Patent Literature 2, the burden of designating the second point by the user is reduced, and the measurement value at that moment can always be confirmed, so that the user's measurement work is facilitated. However, since an operation for specifying at least one point occurs, there is a problem that the burden on the user cannot be reduced sufficiently.

本発明は、上記課題を解決するためになされたものであって、簡単な操作によって、被写体の長さをリアルタイムで知ることが可能な測長装置を提供することを目的とする。   The present invention has been made to solve the above problems, and an object of the present invention is to provide a length measuring device capable of knowing the length of a subject in real time by a simple operation.

本発明の一観点によれば、撮像部で撮影された画像情報に画像処理をする画像処理部と、を備える測長装置であって、前記画像処理部は、前記撮像部で撮影された画像情報から距離情報を算出する距離算出部と、長さ算出時に基準とする少なくとも2つの基準点の座標を、前記距離情報の位置依存性に基づいて修正し、修正した少なくとも2つの基準点間の長さを算出する長さ算出部と、を有することを特徴とする測長装置が提供される。   According to an aspect of the present invention, there is provided a length measuring device including an image processing unit that performs image processing on image information captured by an imaging unit, wherein the image processing unit is an image captured by the imaging unit. A distance calculation unit that calculates distance information from the information, and coordinates of at least two reference points used as a reference when calculating the length based on the position dependency of the distance information, and between the corrected at least two reference points There is provided a length measuring device including a length calculating unit that calculates a length.

さらに、前記画像処理部で画像処理された画像情報を表示する表示部と、前記撮像部で撮影された画像と前記長さの算出結果とを前記表示部に出力する表示制御部と、を備えることが好ましい。出力は、別途、外部モニタに行っても良い。   Furthermore, a display unit that displays image information image-processed by the image processing unit, and a display control unit that outputs an image captured by the imaging unit and a calculation result of the length to the display unit. It is preferable. The output may be performed separately on an external monitor.

さらに、測距部を有し、前記距離算出部は、前記測距部により、距離を計算することを特徴とする。   Furthermore, it has a ranging part, The said distance calculation part calculates distance by the said ranging part, It is characterized by the above-mentioned.

前記長さ算出部は、指定された被写体の位置関係に応じ、前記撮像部で撮影された被写体の位置関係について、前記少なくとも2つの基準点の座標の修正を行うことができる。   The length calculation unit can correct the coordinates of the at least two reference points with respect to the positional relationship of the subject imaged by the imaging unit in accordance with the positional relationship of the designated subject.

例えば、少なくとも2つの撮像部により撮影した画像情報から距離情報を算出し、距離情報に基づいて被写体の位置関係を把握し、長さ算出時の基準とする少なくとも2つの基準点の位置を被写体の位置関係に基づいて修正し、修正した基準点間の長さを算出することができる。   For example, distance information is calculated from image information captured by at least two imaging units, the positional relationship of the subject is grasped based on the distance information, and the positions of at least two reference points used as a reference when calculating the length are determined. Correction is made based on the positional relationship, and the length between the corrected reference points can be calculated.

前記撮像部は、1つの撮像部により構成されていても良く、前記撮像部は、第1及び第2の少なくとも2つの撮像部を有するように構成されていても良い。すなわち、撮像部は、1つであっても、2つ以上であっても良い。   The imaging unit may be configured by a single imaging unit, and the imaging unit may be configured to include at least two imaging units of first and second. That is, there may be one imaging unit or two or more imaging units.

撮像部が2つ以上ある場合において、少なくとも2つの撮像部により撮影した画像情報から距離情報を算出し、距離情報に基づいて被写体の位置関係を把握し、長さ算出時の基準とする少なくとも2つの基準点の位置を被写体の位置関係に基づいて修正し、修正した基準点間の長さを算出することができる。   When there are two or more image capturing units, distance information is calculated from image information captured by at least two image capturing units, the positional relationship of the subject is grasped based on the distance information, and at least 2 as a reference for length calculation The positions of the two reference points can be corrected based on the positional relationship of the subject, and the length between the corrected reference points can be calculated.

前記長さ算出部は、前記撮像部で取得した画像内から特徴点を検出する特徴点検出部と、検出した特徴点から測長を行う位置の基準点候補を検出する基準点候補検出部と、測長対象の判定を行う測長モード判定部と、基準点間の長さを算出する長さ計測部と、を有することができる。   The length calculation unit includes a feature point detection unit that detects a feature point from the image acquired by the imaging unit, and a reference point candidate detection unit that detects a reference point candidate for a position to be measured from the detected feature point. A length measurement mode determination unit that determines a length measurement target and a length measurement unit that calculates a length between reference points can be included.

前記表示制御部は、前記撮像部で撮影された画像のうち少なくとも1つの画像に、測長時の補助となる撮影ガイドを重畳して出力するようにしても良い。   The display control unit may superimpose and output a shooting guide to assist at the time of length measurement on at least one of the images shot by the imaging unit.

前記撮影ガイド付近の領域を拡大し、前記表示部の一部に表示するようにできると便利である。   It is convenient if the area near the photographing guide can be enlarged and displayed on a part of the display unit.

本発明の他の観点によれば、撮影された画像情報に画像処理をする画像処理ステップを有し、前記画像処理ステップは、撮影された画像情報から距離情報を算出する距離算出ステップと、長さ算出時に基準とする少なくとも2つの基準点の座標を、前記距離情報の位置依存性に基づいて修正し、修正した少なくとも2つの基準点間の長さを算出する長さ算出ステップと、を有することを特徴とする測長方法が提供される。   According to another aspect of the present invention, there is an image processing step for performing image processing on captured image information, and the image processing step includes a distance calculation step for calculating distance information from the captured image information, A length calculation step of correcting the coordinates of at least two reference points used as a reference when calculating the length based on the position dependency of the distance information, and calculating a length between the corrected at least two reference points. A length measurement method is provided.

撮影された前記画像と前記長さの算出結果とを表示部に出力する表示制御ステップを備えることが好ましい。   It is preferable to include a display control step of outputting the captured image and the length calculation result to a display unit.

本発明は、上記に記載の測長方法をコンピュータに実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。   The present invention may be a program for causing a computer to execute the length measuring method described above, or a computer-readable recording medium for recording the program.

本発明に係る測長装置によれば、ユーザの負担が少ない簡単な操作によって、被写体の長さをリアルタイムで知ることが可能になる。   According to the length measuring device according to the present invention, it is possible to know the length of the subject in real time by a simple operation with less burden on the user.

(A)は、本発明の第1及び第2の実施の形態における測長装置の一構成例を示すブロック図であり、(B)は、長さ算出部の一構成例を示す機能ブロック図である。(A) is a block diagram which shows one structural example of the length measuring apparatus in the 1st and 2nd embodiment of this invention, (B) is a functional block diagram which shows one structural example of the length calculation part. It is. 本実施の形態による測長装置の使用環境例を示す図である。It is a figure which shows the example of a use environment of the length measuring apparatus by this Embodiment. 本実施の形態による測長装置を情報端末で実現した場合の一構成例を示す外観構成図である。It is an external appearance block diagram which shows one structural example at the time of implement | achieving the length measuring apparatus by this Embodiment with an information terminal. 撮影ガイドの設定例を示す図である。It is a figure which shows the example of a setting of an imaging | photography guide. 測長処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of a length measurement process. 長さ算出処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of a length calculation process. 物体測長モードの測長環境例と、撮影画像と距離の関係を示す図である。It is a figure which shows the example of the length measurement environment of object length measurement mode, and the relationship between a picked-up image and distance. 間隔測長モードの測長環境例と、撮影画像と距離の関係を示す図である。It is a figure which shows the example of the length measurement environment of an interval length measurement mode, and the relationship between a picked-up image and distance. 測長モード判定時の参照範囲設定例を示す図である。It is a figure which shows the example of a reference range setting at the time of length measurement mode determination. 本発明の第2の実施の形態における測長処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the length measurement process in the 2nd Embodiment of this invention. 本発明の第3の実施の形態における測長装置の一構成例を示す機能ブロック図である。It is a functional block diagram which shows the example of 1 structure of the length measuring apparatus in the 3rd Embodiment of this invention.

(第1の実施の形態)
以下に、本発明の実施の形態について、図面を参照しながら詳細に説明する。
(First embodiment)
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1(A)は、本実施の形態に係る測長装置のハードウェア構成例を示す機能ブロック図である。第1の実施の形態に係る測長装置1は、測長対象である被写体を撮像する第1撮像部10および第2撮像部11と、第1及び第2撮像部10、11の出力画像に基づいて画像処理を行う画像処理部12と、画像処理部12の出力情報を表示する表示部13と、を備えている。   FIG. 1A is a functional block diagram illustrating a hardware configuration example of the length measuring apparatus according to the present embodiment. The length measuring device 1 according to the first embodiment includes output images of a first imaging unit 10 and a second imaging unit 11 that image a subject to be measured, and first and second imaging units 10 and 11. An image processing unit 12 that performs image processing based on the image processing unit 12 and a display unit 13 that displays output information of the image processing unit 12 are provided.

また、画像処理部12は、第1、第2撮像部10、11から被写体までの距離情報を算出する距離算出部14と、撮像した被写体の長さを算出する長さ算出部15と、表示情報を制御する表示制御部16と、を備えている。   The image processing unit 12 includes a distance calculation unit 14 that calculates distance information from the first and second imaging units 10 and 11 to the subject, a length calculation unit 15 that calculates the length of the captured subject, and a display. And a display control unit 16 for controlling information.

本実施の形態における測長装置は、例えば、CPU(Central Processing Unit)などのプロセッサや、RAM(Random Access Memory)などの主記憶装置などを備え、記憶装置に格納されたプログラムを実行して上記した各処理部の処理を実現することができる。または、FPGA(Field Programmable Gate Array)などのプログラム可能な集積回路や、上記処理専用の集積回路を備えることで、ハードウェアにより上記処理を実現できる。   The length measuring device in the present embodiment includes, for example, a processor such as a CPU (Central Processing Unit), a main storage device such as a RAM (Random Access Memory), etc., and executes a program stored in the storage device to The processing of each processing unit can be realized. Alternatively, by providing a programmable integrated circuit such as an FPGA (Field Programmable Gate Array) or an integrated circuit dedicated to the above processing, the above processing can be realized by hardware.

第1撮像部10および第2撮像部11は、被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。   The first imaging unit 10 and the second imaging unit 11 capture an object and output an image. The received light is converted into an electrical signal and used as an image (CCD (Charge Coupled Device), CMOS (Complementary Metal Oxide Semiconductor). And an optical system such as a lens for condensing light from the subject on the image sensor.

また、表示部13は、例えば、液晶素子や有機EL(Electro Luminescence)などを画素とする表示ディスプレイである。   The display unit 13 is a display that uses, for example, a liquid crystal element or an organic EL (Electro Luminescence) as a pixel.

次に、測長装置1の使用例について、図2と図3を用いて説明する。
図2は、本発明に係る測長装置を、携帯電話機やスマートフォンなどの情報端末によって実現した場合の使用例であり、測長装置1によって被写体20を正面から撮影し、被写体20の長さ、ここでは例えば人物の身長を測定している様子を示している。また、図3は図2に示す測長装置1の外観構成の概要を示している。なお、図2、図3では、図1のブロック図と同じ構成のものは同じ符号を付している。
Next, a usage example of the length measuring device 1 will be described with reference to FIGS. 2 and 3.
FIG. 2 is an example of use when the length measuring device according to the present invention is realized by an information terminal such as a mobile phone or a smartphone. The subject 20 is photographed from the front by the length measuring device 1, the length of the subject 20, Here, for example, the state of measuring the height of a person is shown. FIG. 3 shows an outline of the external configuration of the length measuring apparatus 1 shown in FIG. 2 and 3, the same components as those in the block diagram of FIG. 1 are denoted by the same reference numerals.

図3(A)は、測長装置1の背面図を示しており、第1、第2撮像部10、11の2つの撮像部がステレオ配置で搭載されている。ステレオ配置とは、2つの撮像部の光軸が略平行となるように並べた配置を言う。本実施の形態では、例として2つの撮像部10、11には同一構成のものを用いるが、2つの撮像部で同領域を撮像し画素間の対応を取ることが可能であれば、解像度や画角など構成の異なる撮像部を用いても構わない。   FIG. 3A shows a rear view of the length measuring device 1, in which two imaging units, the first and second imaging units 10 and 11, are mounted in a stereo arrangement. The stereo arrangement refers to an arrangement in which the optical axes of the two imaging units are arranged in parallel. In the present embodiment, the two imaging units 10 and 11 having the same configuration are used as an example. However, if the two imaging units can capture the same region and take correspondence between pixels, resolution and Imaging units having different configurations such as an angle of view may be used.

また、図3(A)では、2つの撮像部を垂直方向の縦並びで示しているが、水平方向の横並びとしても良く、図示した撮像装置を横向きに傾けて使用することも可能である。   In FIG. 3A, the two image pickup units are shown as being vertically arranged in the vertical direction, but may be arranged horizontally in the horizontal direction, and the image pickup apparatus shown in the figure can be used while being inclined horizontally.

図3(B)は、測長装置1の正面図を示しており、例えば液晶ディスプレイである表示部13には、撮像部10・11の映像がライブビューとして表示される。図3(B)では、被写体20を撮影している映像が表示されている。本実施の形態では、第1撮像部10を基準として用い、その映像を表示部13に表示する構成としているが、基準とする撮像部は第1撮像部10、第2撮像部11のいずれでもよい。   FIG. 3B shows a front view of the length measuring device 1. For example, the video of the imaging units 10 and 11 is displayed as a live view on the display unit 13 which is a liquid crystal display. In FIG. 3B, an image of photographing the subject 20 is displayed. In the present embodiment, the first imaging unit 10 is used as a reference and the video is displayed on the display unit 13. However, the reference imaging unit may be either the first imaging unit 10 or the second imaging unit 11. Good.

表示部13には、第1撮像部10の画像に撮影ガイド枠30と撮影ガイド枠31とを重畳した画像が表示される。撮影ガイド枠30・31は、事前に設定してここでは図示していない記憶装置に記憶しておくと良い。また、撮影ガイド枠30・31は、表示部13の画面上で常に同じ画像座標位置に表示される。つまり、被写体もしくは測長装置が移動した場合でも、撮影ガイド枠30・31の位置は変化しない。図3(B)では、例として矩形のガイド枠30・31を垂直方向に配置するように設定したが、撮影ガイド枠の形状や配置方法はこれに限られない。   The display unit 13 displays an image obtained by superimposing the shooting guide frame 30 and the shooting guide frame 31 on the image of the first imaging unit 10. The shooting guide frames 30 and 31 may be set in advance and stored in a storage device (not shown). The photographing guide frames 30 and 31 are always displayed at the same image coordinate position on the screen of the display unit 13. That is, even when the subject or the length measuring device moves, the positions of the photographing guide frames 30 and 31 do not change. In FIG. 3B, the rectangular guide frames 30 and 31 are set to be arranged in the vertical direction as an example, but the shape and arrangement method of the photographing guide frame are not limited to this.

例えば、図4(A)のように、楕円形枠を水平方向に配置してもよいし、図4(B)の人型シルエットや図4(C)の上下ラインのように設定してもよく、どのような形状で設定してもよい。また、これらの設定は事前に設定するだけでなく、測長装置の起動時に、点や円形、矩形、線分などの図形を用いたGUI(Graphical User Interface)によって、ユーザ自身が設定する構成としてもよい。   For example, as shown in FIG. 4 (A), the oval frame may be arranged in the horizontal direction, or it may be set like the humanoid silhouette in FIG. 4 (B) or the upper and lower lines in FIG. 4 (C). Well, it may be set in any shape. These settings are not only set in advance, but are also configured by the user himself / herself through GUI (Graphical User Interface) using figures such as dots, circles, rectangles, and line segments when starting the length measuring device. Also good.

測長装置1は、撮影ガイド枠内の特徴点から被写体の上端・下端など2箇所の基準点を検出し(基準点検出方法詳細は後述する)、各基準点の3次元位置を算出し、基準点を結ぶ線分の長さを算出することで測長を行う。撮影ガイド枠の位置は固定であるので、ユーザは表示部13の映像を確認しながら測長装置1を移動させ、撮影ガイド枠に測長したい被写体を合わせる。このとき、表示部13の一部に撮影ガイド枠周辺領域の映像を拡大表示すれば、ユーザによる位置合わせ時の操作性向上が望める。また、以上で検出した基準点間の長さは常に算出され、表示領域33への表示も常に更新される。同時に、表示部13へ測長位置32を表示することで、ユーザはリアルタイムに測長位置と測長結果を確認することができる。ユーザへの操作方法説明は、表示領域34に示すように表示することで行うことができる。また、文字による表示だけでなく音声などのガイドによって行ってもよい。   The length measuring device 1 detects two reference points such as the upper and lower ends of the subject from the feature points in the photographing guide frame (details of the reference point detection method will be described later), calculates the three-dimensional position of each reference point, The length is measured by calculating the length of the line segment connecting the reference points. Since the position of the shooting guide frame is fixed, the user moves the length measuring device 1 while confirming the video on the display unit 13, and aligns the subject to be measured with the shooting guide frame. At this time, if the video around the photographing guide frame is enlarged and displayed on a part of the display unit 13, it is possible to improve the operability at the time of alignment by the user. Further, the length between the reference points detected as described above is always calculated, and the display in the display area 33 is always updated. At the same time, by displaying the measurement position 32 on the display unit 13, the user can confirm the measurement position and the measurement result in real time. The explanation of the operation method to the user can be performed by displaying as shown in the display area 34. Further, not only the display by characters but also a guide such as voice may be used.

また、測長装置1にフラッシュメモリなどの記憶装置、もしくはメモリーカードなどの外部記憶装置を備えることで、撮影映像を静止画として保存したり、測長結果のデータをテキストや静止画に重畳表示した状態で保存したりすることも可能である。この処理は、例えば、ユーザがハードウェアボタン35を押下したことを判定し、押下した時点の情報を記憶装置に書き込む構成とすることで実現できる。また、ボタン押下時に、表示部13にライブビュー表示していた映像を静止させ、表示領域33に更新表示していた測長結果も固定表示とすることで、ユーザがその時点の測長位置・結果を確認することが可能となる。また、操作方法はハードウェアボタンに限られるものではなく、例えば表示部13部分を抵抗膜方式や静電容量方式などの一般的なタッチパネルとすることで、画面上に表示した仮想ボタンをタッチしたり、画面上に表示されている被写体をタッチしたりするなどの操作で実現することもできる。   In addition, the measuring device 1 is equipped with a storage device such as a flash memory, or an external storage device such as a memory card, so that the captured video can be saved as a still image, or the measurement result data can be superimposed on text or still images It is also possible to save in the state. This process can be realized, for example, by determining that the user has pressed the hardware button 35 and writing the information at the time of pressing to the storage device. In addition, when the button is pressed, the video displayed in the live view on the display unit 13 is stopped, and the length measurement result that has been updated and displayed in the display area 33 is also fixedly displayed. The result can be confirmed. The operation method is not limited to hardware buttons. For example, the display unit 13 may be a general touch panel such as a resistive film type or a capacitance type, so that a virtual button displayed on the screen is touched. Or by touching a subject displayed on the screen.

次に、測長方法の処理詳細について図を用いて説明する。
図5は、本実施の形態における測長装置1の測長処理の流れを示すフローチャート図である。初めに、第1、第2撮像部10、11により被写体を撮像し2つの画像を取得する(ステップS10)。次に、距離算出部14は、ステップ10で取得した2つの画像から距離情報を算出する(ステップS11)。続いて長さ算出部15は、基準とする撮像部10の画像から被写体の測長基準点を検出し、基準点間の距離を算出することで被写体の長さを算出する(ステップS12)。最後に表示制御部16は、基準とする撮像部10の画像に撮影ガイド枠と測長位置を重畳した画像と、測長結果を表示部13に出力する(ステップS13)。
Next, processing details of the length measurement method will be described with reference to the drawings.
FIG. 5 is a flowchart showing the flow of the length measurement process of the length measuring device 1 in the present embodiment. First, the subject is imaged by the first and second imaging units 10 and 11, and two images are acquired (step S10). Next, the distance calculation unit 14 calculates distance information from the two images acquired in step 10 (step S11). Subsequently, the length calculation unit 15 detects the length measurement reference point of the subject from the image of the imaging unit 10 serving as a reference, and calculates the length of the subject by calculating the distance between the reference points (step S12). Finally, the display control unit 16 outputs an image obtained by superimposing the shooting guide frame and the length measurement position on the image of the imaging unit 10 as a reference, and the length measurement result to the display unit 13 (step S13).

ステップS11では、距離算出部14において、ステップ10で取得した2つの画像からステレオ方式により距離算出が行われる。ステレオ方式は、略平行に並べた二台の撮像部でほぼ同じ領域を撮像し、得られた2つの画像間で対応する画素の視差を求め、視差を基に距離を算出するものである。ステレオ方式において、2つの画像間で対応する画素を求めることをステレオマッチングという。例えば、次のような処理を行う。   In step S11, the distance calculation unit 14 calculates a distance from the two images acquired in step 10 by a stereo method. In the stereo method, the same region is imaged by two imaging units arranged substantially in parallel, the parallax of corresponding pixels between the two obtained images is obtained, and the distance is calculated based on the parallax. In the stereo method, obtaining corresponding pixels between two images is called stereo matching. For example, the following processing is performed.

一方の画像のある画素について、他方の画像上を水平方向に走査することで画素マッチングを行う。画素マッチングは注目画素を中心としたブロック単位で行われ、ブロック内の画素の絶対値差分の総和をとるSAD(Sum of Absolute Difference)を計算し、SADの値が最小となるブロックを決定することで、一方の画像の注目画素に対応する他方の画像上の画素を求める。SADによる計算手法以外に、SSD(Sum of Squared Difference)やグラフカット、DP(Dynamic Programming)マッチングといった計算手法もある。対応画素が求まることでその画素の視差値がわかる。2つの撮像部が左右方向でなく、上下方向に配置されていた場合でも視差値は算出可能で、その場合は撮像画像の走査を水平方向に代えて垂直方向にすれば良い。   Pixel matching is performed by scanning a certain pixel of one image in the horizontal direction on the other image. Pixel matching is performed in units of blocks centered on the pixel of interest, and a SAD (Sum of Absolute Difference) that calculates the sum of absolute value differences of pixels in the block is calculated to determine a block that minimizes the SAD value. Thus, the pixel on the other image corresponding to the target pixel of one image is obtained. In addition to the SAD calculation method, there are calculation methods such as SSD (Sum of Squared Difference), graph cut, and DP (Dynamic Programming) matching. When the corresponding pixel is obtained, the parallax value of the pixel is known. The parallax value can be calculated even when the two imaging units are arranged in the vertical direction instead of the horizontal direction. In this case, the scanning of the captured image may be performed in the vertical direction instead of the horizontal direction.

求めた視差値から、三角測量の原理に基づき式(1)によって距離値が算出される。ここで、Zは距離値、fは撮像部の焦点距離、bは2つの撮像部間の基線長、dは視差値である。   From the obtained parallax value, the distance value is calculated by the formula (1) based on the principle of triangulation. Here, Z is a distance value, f is a focal length of the imaging unit, b is a baseline length between two imaging units, and d is a parallax value.

Figure 2013217662
Figure 2013217662

以上で説明した距離算出は、画像全体について行ってもよいし、撮影ガイド枠の周辺位置について行ってもよい。この距離情報は、後述する長さ算出処理において用いられるため、長さ算出時に必要な領域の距離情報が取得できればよい。   The distance calculation described above may be performed for the entire image or for the peripheral position of the photographing guide frame. Since this distance information is used in a length calculation process to be described later, it is only necessary to acquire distance information of a region necessary for length calculation.

図1(B)は、長さ算出部15の一構成例を示す機能ブロック図である。長さ算出部15は、特徴点検出部15−1と、基準点候補検出部15−2と、測長モード判定部15−3と、長さ計測部15−4と、入出力部15−5と、を有している。   FIG. 1B is a functional block diagram illustrating a configuration example of the length calculation unit 15. The length calculation unit 15 includes a feature point detection unit 15-1, a reference point candidate detection unit 15-2, a length measurement mode determination unit 15-3, a length measurement unit 15-4, and an input / output unit 15-. 5.

ステップS12では、長さ算出部15において、図6に示す長さ算出処理フローチャートに基づいて長さ算出が行われる。   In step S12, the length calculation unit 15 performs length calculation based on the length calculation processing flowchart shown in FIG.

まず、特徴点検出部15−1が、撮像部10で取得した画像内から特徴点を検出する(ステップS20)。検出範囲は画像全体としてもよいし、撮影ガイド枠内もしくは撮影ガイド周辺に限定してもよい。特徴点検出は、ハリスのコーナー検出手法など一般的な特徴点検出手法によって行うことができる。特徴点検出手法はこれに限られず、画像から被写体の特徴点を検出できればどのような手法を用いてもよい。   First, the feature point detection unit 15-1 detects a feature point from the image acquired by the imaging unit 10 (step S20). The detection range may be the entire image, or may be limited within the shooting guide frame or around the shooting guide. The feature point detection can be performed by a general feature point detection method such as a Harris corner detection method. The feature point detection method is not limited to this, and any method may be used as long as the feature point of the subject can be detected from the image.

次に、基準点候補検出部15−2が、検出した特徴点から測長を行う位置の基準点候補を検出する(ステップ21)。図3(B)の場合であれば、ユーザは撮影ガイド枠30、31の中央位置に被写体端点を合わせているはずであるので、撮影ガイド枠の中央位置に最も近い特徴点を基準点候補とする。   Next, the reference point candidate detection unit 15-2 detects a reference point candidate at a position to be measured from the detected feature points (step 21). In the case of FIG. 3B, since the user should have aligned the subject end point with the center position of the shooting guide frames 30, 31, the feature point closest to the center position of the shooting guide frame is set as the reference point candidate. To do.

以上では、撮影ガイドを表示部に表示し、撮影ガイド枠内の特徴点から基準点候補を検出する方法を述べたが、表示部をタッチパネルとしてユーザが直接指で指定した点を基準点候補としてもよいし、キー操作によってカーソルを動かして基準点候補を指定してもよい。   In the above, the method for displaying the shooting guide on the display unit and detecting the reference point candidate from the feature points in the shooting guide frame has been described. Alternatively, the reference point candidate may be designated by moving the cursor by key operation.

次に、測長モード判定部15−3が、測長対象の判定を行う。つまり、1つの物体の長さや幅を測定する物体測長モードと、2つの物体の間隔を測定する間隔測長モードのいずれであるか判定する(ステップS22)。   Next, the length measurement mode determination unit 15-3 determines the length measurement target. That is, it is determined which of the object measurement mode for measuring the length and width of one object and the interval measurement mode for measuring the interval between two objects (step S22).

物体測長モードは、図7に示すように、1つの被写体aの幅(線分70)を測定するような場合である。間隔測長モードは、図8に示すように被写体aと被写体bの端点の間隔(線分80)を測定するような場合である。   The object measurement mode is a case where the width (line segment 70) of one subject a is measured as shown in FIG. The interval length measurement mode is a case where the interval (line segment 80) between the end points of the subject a and the subject b is measured as shown in FIG.

しかし、上記の方法で検出した基準点候補が、被写体上ではなく誤って背景側の位置となってしまうことがある。これは、特徴点検出により基準点候補を求めた場合、画像情報からは被写体と背景の区別はできず、被写体エッジ部分の特徴点が背景側に含まれることもあるためである。また、ユーザがタッチパネルやカーソルにより指定した場合は、ユーザの指定ミスが発生するためである。   However, the reference point candidate detected by the above method may be erroneously positioned on the background side instead of on the subject. This is because when the reference point candidate is obtained by feature point detection, the subject and the background cannot be distinguished from the image information, and the feature point of the subject edge portion may be included on the background side. Further, when the user designates with a touch panel or a cursor, a user's designation mistake occurs.

例えば、物体測長モードであれば、ユーザは図7(B)に示す線分70を測定したいにも関わらず、線分71を測定してしまうような場合である。また、間隔測長モードであれば、図8(B)の線分80を測定したいにも関わらず、線分81を測定しまうような場合である。   For example, in the object length measurement mode, the user may measure the line segment 71 although he / she wants to measure the line segment 70 shown in FIG. In the interval length measurement mode, the line segment 81 is measured although it is desired to measure the line segment 80 in FIG. 8B.

これらの測定位置誤りを防ぐため、ステップS22では、上記2つの測長モードの自動判定を行うとともに、ステップ21で検出した基準点候補の位置修正を行う。   In order to prevent these measurement position errors, in step S22, the above two length measurement modes are automatically determined, and the position of the reference point candidate detected in step 21 is corrected.

測長モードの判定は、距離値の勾配を参照して被写体の配置関係を推定して行う。例えば、図9に示すように、最初に見つけた基準点候補の位置を外側に延長した線分上を参照範囲とし、この線分上の距離は、参照範囲90の左側から「近い、遠い、近い」というように変化していることがわかる。したがって、参照範囲90の内側には物体が存在せず間隔測長を行っていると判断できる。反対に、参照範囲の距離が左側から「遠い、近い、遠い」というように変化した場合には、参照範囲の内側に物体が存在するので、物体測長を行っていると判断することができる。このとき、「近い」と「遠い」は、連続する位置の距離値変化が一定値以上であった場合、つまり、被写体のエッジ部分などで急激に距離値が変化した場合を判断する。これによって、1つの被写体の表面に凹凸がある場合などの誤判定を防ぐ。このように、長さ算出時に基準とする少なくとも2つの基準点の座標を、前記距離情報の位置依存性に基づいて修正し、修正した少なくとも2つの基準点間の長さを算出することができきる。
以上の方法で測長モードを判定し、測長モードに応じて基準点候補の位置を修正する。
The length measurement mode is determined by referring to the gradient of the distance value and estimating the arrangement relationship of the subject. For example, as shown in FIG. 9, a reference range is defined on a line segment obtained by extending the position of the reference point candidate first found outward, and the distance on this line segment is “close, far, It turns out that it is changing as “close”. Therefore, it can be determined that there is no object inside the reference range 90 and the interval length measurement is being performed. On the other hand, when the distance of the reference range changes from the left side to “far, close, far”, it can be determined that the object is measured because the object exists inside the reference range. . At this time, “near” and “far” are determined when the distance value change at successive positions is equal to or greater than a certain value, that is, when the distance value suddenly changes at the edge portion of the subject. This prevents erroneous determination such as when there is unevenness on the surface of one subject. As described above, the coordinates of at least two reference points used as a reference when calculating the length can be corrected based on the position dependency of the distance information, and the length between the corrected at least two reference points can be calculated. Yes.
The length measurement mode is determined by the above method, and the position of the reference point candidate is corrected according to the length measurement mode.

いずれの測長モードであった場合でも、基準点は背景や後方に位置する物体上ではなく、手前に位置する物体上である必要がある。   Regardless of the length measurement mode, the reference point needs to be on the object located in front rather than on the background or the object located behind.

そこで、物体測長モードであれば、基準点候補の距離が周辺の距離と比較して「遠い」と判断されていた場合、画面の中央方向に基準点候補をずらしていくことで、手前の被写体上の位置を新たな基準点とする。   Therefore, in the object length measurement mode, if the reference point candidate distance is determined to be “far” compared to the surrounding distance, the reference point candidate is shifted toward the center of the screen, The position on the subject is set as a new reference point.

また、間隔測長モードであれば、基準点候補の距離が周辺の距離と比較して「遠い」と判断されていた場合、画面の外側方向に基準点候補をずらしていき、手前の被写体上の位置を新たな基準点とする。   In the interval length measurement mode, if the reference point candidate distance is determined to be “far” compared to the surrounding distance, the reference point candidate is shifted in the outward direction of the screen and Is the new reference point.

以上の方法で基準点が決定すると、長さ計測部15−4が、ステップS23において基準点間の長さを算出する。これらの処理を繰り返し、最終的には、入出力部15−5が、表示制御部16に、長さ情報を出力する。   When the reference points are determined by the above method, the length measuring unit 15-4 calculates the length between the reference points in step S23. These processes are repeated, and finally the input / output unit 15-5 outputs the length information to the display control unit 16.

1つの基準点の画像上2次元位置(u,v)と、基準点の距離Zと、撮像部の焦点距離fとから、基準点の空間上の3次元位置(X,Y,Z)は式(2)によって算出することができる。   From the two-dimensional position (u, v) on the image of one reference point, the distance Z of the reference point, and the focal length f of the imaging unit, the three-dimensional position (X, Y, Z) in the space of the reference point is It can be calculated by equation (2).

Figure 2013217662
Figure 2013217662

式(2)により算出した、2つの基準点の3次元位置をそれぞれP1(X1,Y1,Z1)、P2(X2,Y2,Z2)とすると、基準点間の長さLは式(3)によって算出される。   When the three-dimensional positions of the two reference points calculated by Expression (2) are P1 (X1, Y1, Z1) and P2 (X2, Y2, Z2), respectively, the length L between the reference points is expressed by Expression (3). Is calculated by

Figure 2013217662
Figure 2013217662

以上に説明したように、本実施の形態における測長装置は、1つの物体の長さを測定する物体測長モードと、2つの物体の間隔を測定する間隔測長モードと、を自動判別し、判別した測長モードに応じて基準点の位置修正を行うことで、ユーザの望む位置の長さを精度よく測定することができる。また、撮影ガイドを表示し、撮影ガイドに測長したい被写体位置を合わせるようにすれば、ユーザの操作の負担を軽減しながら長さ測定が可能となる。   As described above, the length measuring apparatus according to the present embodiment automatically determines the object length measuring mode for measuring the length of one object and the distance length measuring mode for measuring the distance between two objects. By correcting the position of the reference point according to the determined length measurement mode, the length of the position desired by the user can be accurately measured. Also, if the shooting guide is displayed and the subject position to be measured is aligned with the shooting guide, the length can be measured while reducing the burden on the user's operation.

(第2の実施の形態)
上記第1の実施の形態では、測長モードを自動で判別する測長方法について説明した。しかし、以下に述べるように、測長モードをユーザが指定する方法によっても、実施の形態1と同様の効果を得ることができる。
(Second Embodiment)
In the first embodiment, the length measurement method for automatically determining the length measurement mode has been described. However, as described below, the same effect as in the first embodiment can also be obtained by a method in which the user specifies the length measurement mode.

第2の実施の形態における測長装置は、第1の実施の形態と同様に図1(A)に示す構成を有する。処理は、図10で示される処理を行う。尚、図10において、図5、図6と同一の処理については同一の符号を付している。   The length measuring device in the second embodiment has the configuration shown in FIG. 1A as in the first embodiment. The process is the process shown in FIG. In FIG. 10, the same processes as those in FIGS. 5 and 6 are denoted by the same reference numerals.

以下に、本実施の形態における測長装置の処理方法を、図10のフローチャート図を用いて説明する。   Below, the processing method of the length measuring apparatus in this Embodiment is demonstrated using the flowchart figure of FIG.

まず、測長装置の使用開始時に、測長モードが選択される(ステップS30)。第1の実施の形態で述べたように、測長モードとは物体測長モードと間隔測長モードの2つである。測長モード選択方法は、ボタン操作やタッチパネル操作によって行うことができる。   First, at the start of use of the length measuring device, the length measuring mode is selected (step S30). As described in the first embodiment, the length measurement mode includes the object length measurement mode and the interval length measurement mode. The length measurement mode selection method can be performed by button operation or touch panel operation.

次に、ステップS10、ステップS11は、第1の実施の形態で説明した内容と同一の処理が行われる。   Next, in steps S10 and S11, the same processing as that described in the first embodiment is performed.

次に、ステップS31の長さ算出処理が行われる。ステップS31内の処理は図6に示したフローチャート図における基準点候補検出(ステップS21)と測長モード判定(ステップS22)を、基準点検出(ステップS32)に変更したものである。ステップS32の基準点検出は、第1の実施の形態で説明したステップS21とステップS22の処理から測長モードの自動判別部分を除いた処理である。図1(B)の構成も同様に変更される。したがって、ステップS32では、ステップS30の情報に基づいて、基準点候補検出と、基準点候補の位置修正と、が同時に行われる。
最後のステップS13は、第1の実施の形態で説明した内容と同一の処理が行われる。
Next, the length calculation process of step S31 is performed. In the processing in step S31, reference point candidate detection (step S21) and length measurement mode determination (step S22) in the flowchart shown in FIG. 6 are changed to reference point detection (step S32). The reference point detection in step S32 is processing in which the automatic determination part of the length measurement mode is removed from the processing in steps S21 and S22 described in the first embodiment. The configuration in FIG. 1B is similarly changed. Therefore, in step S32, based on the information in step S30, the reference point candidate detection and the reference point candidate position correction are performed simultaneously.
In the last step S13, the same processing as that described in the first embodiment is performed.

以上のように、測長モードを指定するようにしたことで、確実に測長モードがわかったうえで、第1の実施の形態と同様に所望の位置の長さを精度よく測定することができる。   As described above, by specifying the length measurement mode, the length of the desired position can be accurately measured as in the first embodiment after the length measurement mode is surely known. it can.

(第3の実施の形態)
上記第1の実施の形態もしくは第2の実施の形態では、2つの撮像部10・11の2つの画像からステレオ方式により距離算出を行ったが、図11に示す測長装置100の構成のように、いずれかの撮像部(図11の構成例では、図1に示した第2の撮像部11)を測距部101に置き換えている。この場合、図11の画像処理部102は、図1で示した画像処理部12から距離算出部13を取り除いた構成となり、長さ算出部14には、測距部101から出力される距離情報が直接入力される。図1と図11で同じ構成の部分は同じ符号を付している。
(Third embodiment)
In the first embodiment or the second embodiment, the distance calculation is performed by the stereo method from the two images of the two imaging units 10 and 11, but the configuration of the length measuring device 100 illustrated in FIG. In addition, one of the imaging units (in the configuration example of FIG. 11, the second imaging unit 11 illustrated in FIG. 1) is replaced with a distance measuring unit 101. In this case, the image processing unit 102 in FIG. 11 is configured by removing the distance calculation unit 13 from the image processing unit 12 illustrated in FIG. 1, and the length calculation unit 14 includes distance information output from the distance measurement unit 101. Is entered directly. 1 and 11 are denoted by the same reference numerals.

図11の構成においても、図5のフローチャート図と同様の処理方法で、第1の実施の形態と同様の効果を得ることができる。ただし、ステップS11の距離算出処理は測距部101による距離取得処理であり、ステップS10の画像取得と同時に行われる。   Also in the configuration of FIG. 11, the same effect as that of the first embodiment can be obtained by the same processing method as that of the flowchart of FIG. However, the distance calculation process in step S11 is a distance acquisition process by the distance measuring unit 101, and is performed simultaneously with the image acquisition in step S10.

測距部101は、TOF(Time of Flight)方式に代表される赤外線を利用した手法を用いても良いし、距離情報を取得できるものであればどのような手法を用いても構わない。   The distance measuring unit 101 may use a method using infrared rays typified by a TOF (Time of Flight) method, or any method that can acquire distance information.

TOF方式は、LED(Light Emitting Diode)などの光源から赤外線など眼に見えない光を照射し、その光が被写体などに当たり反射して返ってくる飛行時間を計測することで距離を測距するものである。その計測を細かく分割された領域毎に計測することで、一点だけでなく被写体の様々な部分の測距が可能となる。なお、飛行時間の測定の方法としては、レーザ光をパルス照射し、パルスを発射してから反射光が戻ってくるまでの時間を計測する方法や、照射する赤外線を変調し、照射したときの位相と、反射光との位相差から算出する方法などがある。   The TOF method measures the distance by irradiating invisible light such as infrared rays from a light source such as an LED (Light Emitting Diode), and measuring the time of flight when the light hits the subject and returns. It is. By measuring the measurement for each finely divided area, it is possible to measure not only one point but also various parts of the subject. In addition, as a method of measuring the time of flight, pulsed laser light, measuring the time from when the pulse is emitted until the reflected light returns, or when the irradiated infrared light is modulated and irradiated There is a method of calculating from the phase difference between the phase and the reflected light.

以上の3つの実施の形態で説明したように、本発明の測長装置によれば、少なくとも2つの撮像部により撮影した画像情報から算出するか、もしくは測距部により距離情報を取得し、取得した距離情報に基づいて被写体の位置関係を把握し、被写体の位置関係に基づいて、長さ算出時の基準とする少なくとも2つの基準点の位置を修正し、修正した基準点間の長さを算出することで、ユーザの望む位置の長さを精度よく測定することが可能となる。   As described in the above three embodiments, according to the length measuring device of the present invention, it is calculated from image information captured by at least two imaging units, or distance information is acquired by a distance measuring unit and acquired. Based on the measured distance information, the subject's positional relationship is grasped, and based on the subject's positional relationship, the positions of at least two reference points to be used as a reference when calculating the length are corrected, and the length between the corrected reference points is calculated. By calculating, it is possible to accurately measure the length of the position desired by the user.

なお、上記の実施の形態では、説明を分かり易くするため、物体測長モードと間隔測長モードとに分けて測長モードの判別を行ったが、この2つのモードに判別することは必須ではない。例えば、窓ガラスの幅を測長する場合には、窓ガラス自体の距離情報の取得が難しく、窓ガラスの向こう側の距離情報を取得し、窓ガラス部分は背景側として判断されてしまい、物体の幅の測長ではなく、2つの物体の間隔の測長であると判別されてしまう。しかし、実際には窓枠から窓枠の間隔を測定すれば窓ガラスの幅を測定したことと同等であるため、上記のように測長モードの判別を行う必要はない。   In the above embodiment, in order to make the explanation easy to understand, the length measurement mode is discriminated into the object length measurement mode and the interval length measurement mode. However, it is indispensable to distinguish between these two modes. Absent. For example, when measuring the width of a window glass, it is difficult to acquire distance information of the window glass itself, distance information on the other side of the window glass is acquired, and the window glass part is determined as the background side, and the object It is determined that the measurement is not the measurement of the width of the object but the measurement of the distance between the two objects. However, in actuality, measuring the distance between the window frames from the window frame is equivalent to measuring the width of the window glass, and therefore it is not necessary to determine the length measurement mode as described above.

また、表示部に撮影ガイドを表示し、撮影ガイドに被写体位置を合わせるようにして測長を行うことで、ユーザは簡単で負担の少ない操作により測長が可能となる。また、そのときに撮影ガイド領域を拡大表示すれば、被写体の位置合わせが容易となる。   In addition, by displaying the shooting guide on the display unit and measuring the length so that the subject position is aligned with the shooting guide, the user can measure the length with a simple and less burdensome operation. Further, if the shooting guide area is enlarged and displayed at that time, the subject can be easily aligned.

また、以上の説明では、スマートフォンなどの情報端末に本発明の測長装置を実装した例を述べたが、これに限られるものではなく、ディジタルカメラなど撮像部を備えた装置を用いることで、同様の効果を得ることができる。   In the above description, the example in which the length measuring device of the present invention is mounted on an information terminal such as a smartphone is described, but the present invention is not limited to this, and by using a device including an imaging unit such as a digital camera, Similar effects can be obtained.

上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。   In the above-described embodiment, the configuration and the like illustrated in the accompanying drawings are not limited to these, and can be appropriately changed within a range in which the effect of the present invention is exhibited. In addition, various modifications can be made without departing from the scope of the object of the present invention.

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。   Each component of the present invention can be arbitrarily selected, and an invention having a selected configuration is also included in the present invention.

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。   In addition, a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed. The “computer system” here includes an OS and hardware such as peripheral devices.

また、「コンピュータシステム」は、WWW(World Wide Web)システムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。   Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW (World Wide Web) system is used.

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。   The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system. At least a part of the functions may be realized by hardware such as an integrated circuit.

本発明は、測長装置に利用可能である。   The present invention is applicable to a length measuring device.

1 測長装置
10 第1撮像部
11 第2撮像部
12 画像処理部
13 表示部
14 距離算出部
15 長さ算出部
15−1 特徴点検出部
15−2 基準点候補検出部
15−3 測長モード判定部
15−4 長さ計測部
15−5 入出力部
16 表示制御部
20 被写体
30 撮影ガイド枠
31 撮影ガイド枠
32 測長位置
33 表示領域
34 表示領域
35 ボタン
70 線分
71 線分
80 線分
81 線分
90 参照範囲
100 測長装置
101 測距部
102 画像処理部
DESCRIPTION OF SYMBOLS 1 Length measuring apparatus 10 1st imaging part 11 2nd imaging part 12 Image processing part 13 Display part 14 Distance calculation part 15 Length calculation part 15-1 Feature point detection part 15-2 Reference point candidate detection part 15-3 Length measurement Mode determination unit 15-4 Length measurement unit 15-5 Input / output unit 16 Display control unit 20 Subject 30 Shooting guide frame 31 Shooting guide frame 32 Measurement position 33 Display region 34 Display region 35 Button 70 Line segment 71 Line segment 80 Line Minute 81 Line segment 90 Reference range 100 Length measuring device 101 Distance measuring section 102 Image processing section

Claims (12)

撮像部で撮影された画像情報に画像処理をする画像処理部と、を備える測長装置であって、
前記画像処理部は、
前記撮像部で撮影された画像情報から距離情報を算出する距離算出部と、
長さ算出時に基準とする少なくとも2つの基準点の座標を、前記距離情報の位置依存性に基づいて修正し、修正した少なくとも2つの基準点間の長さを算出する長さ算出部と
を有することを特徴とする測長装置。
An image processing unit that performs image processing on image information captured by an imaging unit, and a length measuring device comprising:
The image processing unit
A distance calculating unit that calculates distance information from image information captured by the imaging unit;
A length calculation unit that corrects the coordinates of at least two reference points to be used as a reference when calculating the length based on the position dependency of the distance information, and calculates a length between the corrected at least two reference points; A length measuring device characterized by that.
さらに、前記画像処理部で画像処理された画像情報を表示する表示部と、
前記撮像部で撮影された画像と前記長さの算出結果とを前記表示部に出力する表示制御部と
を有することを特徴とする測長装置。
And a display unit for displaying image information subjected to image processing by the image processing unit;
A length measuring apparatus comprising: a display control unit that outputs an image captured by the imaging unit and a calculation result of the length to the display unit.
さらに、測距部を有し、
前記距離算出部は、前記測距部により、距離を計算することを特徴とする請求項1に記載の測長装置。
Furthermore, it has a distance measuring unit,
The length measuring apparatus according to claim 1, wherein the distance calculating unit calculates a distance by the distance measuring unit.
前記長さ算出部は、
指定された被写体の位置関係に応じ、前記撮像部で撮影された被写体の位置関係について、前記少なくとも2つの基準点の座標の修正を行うことを特徴とする、請求項1から3までのいずれか1項に記載の測長装置。
The length calculator is
4. The coordinate of the at least two reference points is corrected for the positional relationship of the subject imaged by the imaging unit according to the specified positional relationship of the subject. The length measuring device according to item 1.
前記撮像部は、1つの撮像部により構成されていることを特徴とする請求項1から4までのいずれか1項に記載の測長装置。   The length measuring device according to any one of claims 1 to 4, wherein the imaging unit is configured by a single imaging unit. 前記撮像部は、第1及び第2の少なくとも2つの撮像部を有することを特徴とする請求項1から4までのいずれか1項に記載の測長装置。   5. The length measuring device according to claim 1, wherein the imaging unit includes at least two imaging units of first and second. 前記長さ算出部は、
前記撮像部で取得した画像内から特徴点を検出する特徴点検出部と、
検出した特徴点から測長を行う位置の基準点候補を検出する基準点候補検出部と、
測長対象の判定を行う測長モード判定部と、
基準点間の長さを算出する長さ計測部と
を有することを特徴とする請求項1から6までのいずれか1項に記載の測長装置。
The length calculator is
A feature point detection unit for detecting a feature point from the image acquired by the imaging unit;
A reference point candidate detection unit for detecting a reference point candidate for a position to be measured from the detected feature points;
A length measurement mode determination unit for determining the length measurement target;
The length measuring device according to claim 1, further comprising a length measuring unit that calculates a length between reference points.
前記表示制御部は、前記撮像部で撮影された画像のうち少なくとも1つの画像に、測長時の補助となる撮影ガイドを重畳して出力することを特徴とする、請求項1から7までのいずれか1項に記載の測長装置。   8. The display control unit according to claim 1, wherein the display control unit superimposes and outputs a shooting guide to assist at the time of length measurement on at least one of the images shot by the imaging unit. The length measuring device according to any one of the above. 前記撮影ガイド付近の領域を拡大し、前記表示部の一部に表示することを特徴とする、請求項8に記載の測長装置。   The length measuring device according to claim 8, wherein an area near the photographing guide is enlarged and displayed on a part of the display unit. 撮影された画像情報に画像処理をする画像処理ステップを有し、
前記画像処理ステップは、
撮影された画像情報から距離情報を算出する距離算出ステップと、
長さ算出時に基準とする少なくとも2つの基準点の座標を、前記距離情報の位置依存性に基づいて修正し、修正した少なくとも2つの基準点間の長さを算出する長さ算出ステップと、
を有することを特徴とする測長方法。
An image processing step for performing image processing on the captured image information;
The image processing step includes
A distance calculating step for calculating distance information from the captured image information;
A length calculation step of correcting the coordinates of at least two reference points to be used as a reference when calculating the length based on the position dependency of the distance information, and calculating a length between the corrected at least two reference points;
A length measuring method characterized by comprising:
撮影された前記画像と前記長さの算出結果とを表示部に出力する表示制御ステップを有することを特徴とする請求項10に記載の測長方法。   The length measurement method according to claim 10, further comprising a display control step of outputting the photographed image and the calculation result of the length to a display unit. 請求項10又は11に記載の測長方法をコンピュータに実行させるためのプログラム。   The program for making a computer perform the length measuring method of Claim 10 or 11.
JP2012085773A 2012-03-29 2012-04-04 Length measuring device, length measuring method, program Active JP6016226B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012085773A JP6016226B2 (en) 2012-04-04 2012-04-04 Length measuring device, length measuring method, program
US14/387,952 US10091489B2 (en) 2012-03-29 2013-03-13 Image capturing device, image processing method, and recording medium
PCT/JP2013/057013 WO2013146269A1 (en) 2012-03-29 2013-03-13 Image capturing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012085773A JP6016226B2 (en) 2012-04-04 2012-04-04 Length measuring device, length measuring method, program

Publications (2)

Publication Number Publication Date
JP2013217662A true JP2013217662A (en) 2013-10-24
JP6016226B2 JP6016226B2 (en) 2016-10-26

Family

ID=49589941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012085773A Active JP6016226B2 (en) 2012-03-29 2012-04-04 Length measuring device, length measuring method, program

Country Status (1)

Country Link
JP (1) JP6016226B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017075961A (en) * 2016-12-14 2017-04-20 株式会社sizebook Mobile information device, size measurement method, and size measurement program
JP2017078892A (en) * 2015-10-19 2017-04-27 キヤノン株式会社 Image processing method and image processing device
WO2018061925A1 (en) * 2016-09-30 2018-04-05 日本電気株式会社 Information processing device, length measurement system, length measurement method, and program storage medium
WO2018061927A1 (en) * 2016-09-30 2018-04-05 日本電気株式会社 Information processing device, information processing method, and program storage medium
JP2018156617A (en) * 2017-03-15 2018-10-04 株式会社東芝 Processor and processing system
WO2019045089A1 (en) * 2017-09-04 2019-03-07 日本電気株式会社 Information processing device, length measurement system, length measurement method, and program storage medium
WO2019176090A1 (en) * 2018-03-16 2019-09-19 株式会社ソニー・インタラクティブエンタテインメント Body size estimation device, body size estimation method, and program
JP2019158519A (en) * 2018-03-12 2019-09-19 株式会社あかつき Measurement device, measurement method, and measurement program
JP2021125216A (en) * 2020-02-03 2021-08-30 アップル インコーポレイテッドApple Inc. System, method, and graphical user interface for annotating, measuring, and modeling environment
US11143504B2 (en) 2015-11-16 2021-10-12 Sony Semiconductor Solutions Corporation Image capture device and image capture system
CN114207499A (en) * 2019-08-13 2022-03-18 富士胶片株式会社 Endoscope system and method for operating same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008215938A (en) * 2007-03-01 2008-09-18 Railway Technical Res Inst Apparatus for recognizing ahead-train railway signal/sign
JP2009258273A (en) * 2008-04-15 2009-11-05 Olympus Corp Measuring endoscope apparatus and program thereof
JP2011232330A (en) * 2010-04-08 2011-11-17 Casio Comput Co Ltd Imaging apparatus, distance measuring method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008215938A (en) * 2007-03-01 2008-09-18 Railway Technical Res Inst Apparatus for recognizing ahead-train railway signal/sign
JP2009258273A (en) * 2008-04-15 2009-11-05 Olympus Corp Measuring endoscope apparatus and program thereof
JP2011232330A (en) * 2010-04-08 2011-11-17 Casio Comput Co Ltd Imaging apparatus, distance measuring method, and program

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017078892A (en) * 2015-10-19 2017-04-27 キヤノン株式会社 Image processing method and image processing device
US11143504B2 (en) 2015-11-16 2021-10-12 Sony Semiconductor Solutions Corporation Image capture device and image capture system
WO2018061925A1 (en) * 2016-09-30 2018-04-05 日本電気株式会社 Information processing device, length measurement system, length measurement method, and program storage medium
WO2018061927A1 (en) * 2016-09-30 2018-04-05 日本電気株式会社 Information processing device, information processing method, and program storage medium
JPWO2018061927A1 (en) * 2016-09-30 2019-06-24 日本電気株式会社 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM STORAGE MEDIUM
JPWO2018061925A1 (en) * 2016-09-30 2019-06-24 日本電気株式会社 INFORMATION PROCESSING APPARATUS, LENGTH MEASUREMENT SYSTEM, LENGTH MEASUREMENT METHOD, AND PROGRAM STORAGE MEDIUM
JP7188527B2 (en) 2016-09-30 2022-12-13 日本電気株式会社 Fish length measurement system, fish length measurement method and fish length measurement program
JP2021193394A (en) * 2016-09-30 2021-12-23 日本電気株式会社 Fish body length measuring system, fish body length measuring method, and fish body length measuring program
JP2017075961A (en) * 2016-12-14 2017-04-20 株式会社sizebook Mobile information device, size measurement method, and size measurement program
JP2018156617A (en) * 2017-03-15 2018-10-04 株式会社東芝 Processor and processing system
JP2021170385A (en) * 2017-03-15 2021-10-28 株式会社東芝 Processing device and processing system
WO2019045089A1 (en) * 2017-09-04 2019-03-07 日本電気株式会社 Information processing device, length measurement system, length measurement method, and program storage medium
JPWO2019045089A1 (en) * 2017-09-04 2020-08-27 日本電気株式会社 Information processing apparatus, length measuring system, length measuring method, and computer program
JP2019158519A (en) * 2018-03-12 2019-09-19 株式会社あかつき Measurement device, measurement method, and measurement program
JPWO2019176090A1 (en) * 2018-03-16 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント Body size estimation device, body size estimation method and program
WO2019176090A1 (en) * 2018-03-16 2019-09-19 株式会社ソニー・インタラクティブエンタテインメント Body size estimation device, body size estimation method, and program
US11589778B2 (en) 2018-03-16 2023-02-28 Sony Interactive Entertainment Inc. Body size estimation apparatus, body size estimation method, and program
CN114207499A (en) * 2019-08-13 2022-03-18 富士胶片株式会社 Endoscope system and method for operating same
JP2021125216A (en) * 2020-02-03 2021-08-30 アップル インコーポレイテッドApple Inc. System, method, and graphical user interface for annotating, measuring, and modeling environment
JP7139394B2 (en) 2020-02-03 2022-09-20 アップル インコーポレイテッド Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments

Also Published As

Publication number Publication date
JP6016226B2 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
JP6016226B2 (en) Length measuring device, length measuring method, program
WO2013146269A1 (en) Image capturing device, image processing method, and program
JP6075122B2 (en) System, image projection apparatus, information processing apparatus, information processing method, and program
US8388146B2 (en) Anamorphic projection device
CN110035218B (en) Image processing method, image processing device and photographing equipment
JP6620394B2 (en) Control device, control method and program
JP6502511B2 (en) Calculation device, control method of calculation device, and calculation program
TW201510771A (en) Pointing direction detecting device and its method, program and computer readable-medium
KR102078198B1 (en) Shooting Method for Three-Dimensional Modeling And Electrical Device Thereof
JP6804056B2 (en) Projection type display device, control method of projection type display device, and program
CN113052919A (en) Calibration method and device of visual sensor, electronic equipment and storage medium
JP2016217944A (en) Measurement device and measurement method
CN113870213A (en) Image display method, image display device, storage medium, and electronic apparatus
JP5996233B2 (en) Imaging device
US20170302908A1 (en) Method and apparatus for user interaction for virtual measurement using a depth camera system
JP6789899B2 (en) Measuring device and operating method of measuring device
KR101822169B1 (en) Electronic device for providing panorama image and control method thereof
JP6478641B2 (en) Image processing apparatus, information processing method, and program
JP6679430B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP2018032991A (en) Image display unit, image display method and computer program for image display
JP2020187557A (en) Temperature image display device, temperature image display system and temperature image display program
JP6515978B2 (en) Image processing apparatus and image processing method
WO2018161322A1 (en) Depth-based image processing method, processing device and electronic device
JP2016111521A (en) Information processing device, information processing program and information processing method
TW201642008A (en) Image capturing device and dynamic focus method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160801

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160921

R150 Certificate of patent or registration of utility model

Ref document number: 6016226

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150