JP2017161403A - Imaging device, method, and program, and display control device and program - Google Patents
Imaging device, method, and program, and display control device and program Download PDFInfo
- Publication number
- JP2017161403A JP2017161403A JP2016047171A JP2016047171A JP2017161403A JP 2017161403 A JP2017161403 A JP 2017161403A JP 2016047171 A JP2016047171 A JP 2016047171A JP 2016047171 A JP2016047171 A JP 2016047171A JP 2017161403 A JP2017161403 A JP 2017161403A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- imaging device
- image
- captured image
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、撮像方法、撮像プログラム、表示制御装置、及び表示制御プログラムに関する。 The present invention relates to an imaging device, an imaging method, an imaging program, a display control device, and a display control program.
従来、パイプなどの設備の点検や検査に関する技術が存在する。例えば、挿入側前端中央部に照明灯付き直視レンズと周壁部に照明灯付き側視レンズを配置したカメラヘッドを備えた検査装置が提案されている。この検査装置は、カメラヘッド内に直視レンズと側視レンズとの光軸線上の直交位置に単一のＣＣＤチップを可動自在に配設している。このＣＣＤチップは、内蔵したモータ等よりなる首振り手段にて直視レンズ側又は側視レンズ側に対向させられる。 Conventionally, there are techniques related to inspection and inspection of equipment such as pipes. For example, there has been proposed an inspection apparatus including a camera head in which a direct-view lens with an illuminating lamp is disposed at the central portion on the insertion-side front end and a side-view lens with an illuminating lamp is disposed on a peripheral wall portion. In this inspection apparatus, a single CCD chip is movably disposed at a position orthogonal to the optical axis of the direct-view lens and the side-view lens in the camera head. The CCD chip is opposed to the direct-view lens side or the side-view lens side by a swinging means including a built-in motor or the like.
また、照明部を配する工業用小型テレビカメラを前端に搭載し、下部に走行手段を備えた管路の検査装置が提案されている。この検査装置は、検査装置本体から導出する電源兼制御用ケーブルを、検査装置本体の後端上隅部に枢着の後方及び上方間を回動自在とした回転コネクタに接続し、回転コネクタをマンホールの垂直搬入時に検査装置本体に対し起立配置とする。そして、この検査装置は、管路の進入にて回転コネクタを水平回転し電源兼制御用ケーブルを後方へ導出する。 There has also been proposed a pipe inspection apparatus in which an industrial small television camera having an illumination unit is mounted at the front end and a traveling means is provided at the lower part. In this inspection apparatus, a power and control cable led out from the inspection apparatus main body is connected to a rotary connector that is pivotable between the rear and upper sides of the pivot at the upper corner of the rear end of the inspection apparatus main body. When the manhole is carried in vertically, it will be placed upright with respect to the inspection device body. And this inspection apparatus rotates a rotation connector horizontally by the approach of a pipe line, and guides a power supply and control cable back.
また、管内部を撮像する撮像手段と、撮像手段と離れて設置されると共に、伝送される像を映像化する受像手段と、受像手段と撮像手段とを接続する伝送手段とで構成される管路用の観察装置が提案されている。この観察装置は、撮像手段の軸心上に位置して軸心に対し傾斜した反射体と、軸心を中心として反射体を回転させる回転手段と、反射体を撮像手段の撮像範囲から退去させる退去手段とを備える。 Also, a tube comprising an imaging means for imaging the inside of the tube, an image receiving means for visualizing a transmitted image, and a transmission means for connecting the image receiving means and the imaging means, apart from the imaging means. Road observation devices have been proposed. The observation apparatus includes a reflector that is positioned on the axis of the imaging unit and is inclined with respect to the axis, a rotating unit that rotates the reflector around the axis, and a reflector that is retracted from the imaging range of the imaging unit. And withdrawing means.
パイプ内のように閉鎖された空間内の異常個所の検出及び検査を行う場合には、従来技術のように、カメラなどの点検装置を空間内に挿入し、カメラにより撮像された画像を目視により確認し、異常個所を特定したり、特定した個所の異常を検査したりする。このような異常個所の検出及び検査の作業は、人手による作業であるため効率が悪い。 When detecting and inspecting an abnormal part in a closed space such as in a pipe, an inspection device such as a camera is inserted into the space as in the prior art, and the image captured by the camera is visually observed. Check and identify the abnormal part, or inspect the specified part for abnormalities. Such an operation for detecting and inspecting an abnormal part is a manual operation and thus is inefficient.
一つの側面として、本発明は、閉鎖された空間内の異常個所の検出及び検査を効率良く行うことを目的とする。 In one aspect, an object of the present invention is to efficiently detect and inspect an abnormal part in a closed space.
本発明は、一つの態様では、駆動制御に応じて移動可能な撮像装置において、第１の撮像装置と、第２の撮像装置と、制御部とを有することを特徴とする。制御部は、前記第１の撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出すると、前記撮像画像に基づいて、検出した前記異常個所の位置を算出する。また、制御部は、駆動部を制御して、撮像装置が算出した前記位置に移動し、前記第２の撮像装置により複数の焦点距離に基づいて前記異常個所が含まれる複数の撮像画像を撮像するように制御する。 In one aspect, the present invention is characterized in that an imaging device that can move according to drive control includes a first imaging device, a second imaging device, and a control unit. When detecting an abnormal part of the imaging target based on the captured image captured by the first imaging device, the control unit calculates the position of the detected abnormal part based on the captured image. Further, the control unit controls the driving unit to move to the position calculated by the imaging device, and to capture a plurality of captured images including the abnormal portion based on a plurality of focal lengths by the second imaging device. Control to do.
一つの側面として、閉鎖された空間内の異常個所の検出及び検査を効率良く行うことができる、という効果を有する。 As one aspect, the present invention has an effect that it is possible to efficiently detect and inspect an abnormal part in a closed space.
以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。本実施形態では、パイプ内の異常個所の検出及び検査を行う場合について説明する。 Hereinafter, an example of an embodiment according to the present invention will be described in detail with reference to the drawings. In the present embodiment, a case will be described in which an abnormal part in a pipe is detected and inspected.
＜第１実施形態＞
図１に示すように、第１実施形態に係る撮像装置１０は、パイプ３０内を移動しながら、腐食による侵食などの異常個所３２を検出し、異常個所３２の深さをプロファイルするなどの検査を行う。
<First Embodiment>
As shown in FIG. 1, the imaging apparatus 10 according to the first embodiment detects an abnormal location 32 such as erosion due to corrosion while moving in a pipe 30 and performs an inspection such as profiling the depth of the abnormal location 32. I do.
撮像装置１０は、図１に示すように、第１撮像装置１１と、第１照明装置１２と、駆動部１４と、第２撮像装置１６と、第２照明装置１７と、制御部２０とを含む。 As shown in FIG. 1, the imaging device 10 includes a first imaging device 11, a first illumination device 12, a drive unit 14, a second imaging device 16, a second illumination device 17, and a control unit 20. Including.
第１撮像装置１１は、例えば、可視光カメラや赤外カメラなどであり、例えば、撮像装置１０の進行方向斜め下方向の所定範囲を撮像範囲とするように、撮像装置１０の前方に設置されている。 The first imaging device 11 is, for example, a visible light camera or an infrared camera. For example, the first imaging device 11 is installed in front of the imaging device 10 so that a predetermined range obliquely downward in the traveling direction of the imaging device 10 is an imaging range. ing.
第１照明装置１２は、第１撮像装置１１の撮像範囲に光を照射するように、例えば、撮像装置１０の前方に設置されている。 For example, the first lighting device 12 is installed in front of the imaging device 10 so as to irradiate the imaging range of the first imaging device 11 with light.
駆動部１４は、撮像装置１０全体を移動させる機構である。駆動部１４は、例えば、モータと、車輪やキャタピラ等の回転機構とを含んで構成することができ、モータにより回転機構を駆動して、撮像装置１０を前後左右の各方向に移動させる。 The drive unit 14 is a mechanism that moves the entire imaging apparatus 10. The drive unit 14 can be configured to include, for example, a motor and a rotation mechanism such as a wheel or a caterpillar, and the rotation mechanism is driven by the motor to move the imaging device 10 in the front, rear, left, and right directions.
第２撮像装置１６は、複数の焦点距離の画像を撮像し、合焦した際の焦点距離に基づいて、撮像画像の各画素に対応する撮像範囲の各位置までの距離を計測する、いわゆる合焦法を用いた３−dimensional（３Ｄ）カメラである。第２撮像装置１６は、例えば、撮像装置１０真下の所定範囲を撮像範囲とするように、撮像装置１０の下面に設置される。 The second imaging device 16 captures images with a plurality of focal lengths, and measures the distance to each position in the imaging range corresponding to each pixel of the captured image based on the focal length when focused. It is a 3-dimensional (3D) camera using a focusing method. For example, the second imaging device 16 is installed on the lower surface of the imaging device 10 such that a predetermined range directly below the imaging device 10 is an imaging range.
第２照明装置１７は、第２撮像装置１６の撮像範囲に光を照射するように、例えば、撮像装置１０の下面に設置されている。 For example, the second illumination device 17 is installed on the lower surface of the imaging device 10 so as to irradiate the imaging range of the second imaging device 16 with light.
なお、第１撮像装置１１、第１照明装置１２、第２撮像装置１６、及び第２照明装置１７の各々の設置位置は上記の例に限定されず、撮像範囲や撮像装置１０の形態等に応じて適切な位置に設置すればよい。 Note that the installation positions of the first imaging device 11, the first illumination device 12, the second imaging device 16, and the second illumination device 17 are not limited to the above example, and the imaging range, the configuration of the imaging device 10, and the like are not limited. It may be installed at an appropriate position accordingly.
制御部２０は、撮像装置１０全体の制御を行う。図２に、制御部２０の機能ブロック図を示す。図２に示すように、制御部２０は、第１撮像制御部２１と、検出部２２と、算出部２３と、駆動制御部２４と、第２撮像制御部２５と、表示制御部２６と、通信制御部２７とを含む。 The control unit 20 controls the entire imaging apparatus 10. FIG. 2 shows a functional block diagram of the control unit 20. As shown in FIG. 2, the control unit 20 includes a first imaging control unit 21, a detection unit 22, a calculation unit 23, a drive control unit 24, a second imaging control unit 25, a display control unit 26, Communication control unit 27.
第１撮像制御部２１は、第１撮像装置１１による撮像、及び第１照明装置１２による光の照射を制御する。具体的には、第１撮像制御部２１は、第１撮像装置１１による撮像を実行させ、撮像された第１撮像画像を取得する。第１撮像制御部２１は、取得した第１撮像画像を、第１撮像画像が撮像された際の撮像装置１０の位置の情報と共に、検出部２２へ受け渡す。詳細は後述するが、撮像装置１０の位置の情報は、駆動制御部２４から受け渡される。また、第１撮像制御部２１は、第１撮像画像を表示制御部２６へも受け渡す。 The first imaging control unit 21 controls imaging by the first imaging device 11 and light irradiation by the first illumination device 12. Specifically, the first imaging control unit 21 performs imaging by the first imaging device 11 and acquires the captured first captured image. The first imaging control unit 21 delivers the acquired first captured image to the detection unit 22 together with information on the position of the imaging device 10 when the first captured image is captured. Although details will be described later, the position information of the imaging device 10 is transferred from the drive control unit 24. The first imaging control unit 21 also passes the first captured image to the display control unit 26.
また、第１撮像制御部２１は、第１撮像装置１１による撮像が行われる際に、第１撮像装置１１の撮像範囲に光が照射されるように、第１照明装置１２を制御する。 In addition, the first imaging control unit 21 controls the first illumination device 12 so that light is emitted to the imaging range of the first imaging device 11 when imaging by the first imaging device 11 is performed.
検出部２２は、第１撮像制御部２１から受け渡された第１撮像画像を画像解析することにより、撮像対象物であるパイプ３０内における腐食による侵食等の異常個所３２を示す領域を検出する。例えば、検出部２２は、第１撮像画像から、予め定めた閾値以下の輝度値の画素群からなる領域であって、領域の面積が予め定めた所定範囲のサイズである領域を、異常個所３２を示す領域として検出する。図３に、第１撮像装置１１により撮像された第１撮像画像３４から検出された異常個所３２を示す領域３２Ａの一例を示す。図３は、パイプ３０内における腐食による侵食個所を、異常個所３２を示す領域３２Ａとして検出した例である。検出部２２は、第１撮像画像３４内において検出した異常個所３２を示す領域３２Ａの位置（例えば、領域３２Ａ内の中心座標の座標値）を、第１撮像画像３４が撮像されたときの撮像装置１０の位置の情報と共に算出部２３へ受け渡す。 The detection unit 22 performs image analysis on the first captured image delivered from the first imaging control unit 21 to detect a region indicating an abnormal portion 32 such as erosion due to corrosion in the pipe 30 that is the imaging target. . For example, the detection unit 22 detects a region that is a pixel group having a luminance value equal to or lower than a predetermined threshold value from the first captured image, and has a region 32 having a predetermined size within a predetermined range. This is detected as a region indicating. FIG. 3 shows an example of a region 32 </ b> A indicating the abnormal part 32 detected from the first captured image 34 captured by the first imaging device 11. FIG. 3 shows an example in which an erosion location due to corrosion in the pipe 30 is detected as a region 32A indicating an abnormal location 32. As shown in FIG. The detection unit 22 captures the position of the region 32A indicating the abnormal part 32 detected in the first captured image 34 (for example, the coordinate value of the center coordinates in the region 32A) when the first captured image 34 is captured. The information is transferred to the calculation unit 23 together with the position information of the device 10.
算出部２３は、検出部２２により検出された異常個所３２のパイプ３０内における位置を算出する。具体的には、算出部２３は、第１撮像画像３４内における異常個所３２を示す領域３２Ａの位置（座標値）と、第１撮像装置１１による撮像位置及び撮像条件と、パイプ３０内における撮像装置１０の位置とに基づいて、異常個所３２の位置を算出する。 The calculation unit 23 calculates the position of the abnormal location 32 detected by the detection unit 22 in the pipe 30. Specifically, the calculation unit 23, the position (coordinate value) of the region 32 </ b> A indicating the abnormal part 32 in the first captured image 34, the imaging position and imaging condition by the first imaging device 11, and imaging in the pipe 30. Based on the position of the apparatus 10, the position of the abnormal part 32 is calculated.
図４に、側面視における第１撮像装置１１と第１撮像画像３４と異常個所３２との関係を概略的に示す。図４では、第１撮像画像３４を第１撮像装置１１の撮像範囲内に仮想的に配置した仮想撮像画像面３４Ａを示している。後述の図５についても同様である。例えば、図４に示すように、第１撮像装置１１が、撮像装置１０の接地面から高さＨ（ｍｍ）の位置に、俯角Ｄ（度）で取り付けられており、パイプ３０の奥行き方向に対する第１撮像装置１１の画角がＶｙ（度）であるとする。また、第１撮像画像３４（仮想撮像画像面３４Ａ）の奥行き方向の画素数をＷｙ、第１撮像画像３４（仮想撮像画像面３４Ａ）の中心から異常個所３２を示す領域３２Ａの中心座標までの奥行き方向の画素数をｐｙとする。また、第１撮像装置１１の光軸と、第１撮像装置１１と異常個所３２の位置を撮像範囲の幅方向の中心線に射影した位置３２Ｙとを結ぶ線とのなす角をαとする。 FIG. 4 schematically shows a relationship among the first imaging device 11, the first captured image 34, and the abnormal part 32 in a side view. 4 shows a virtual captured image plane 34A in which the first captured image 34 is virtually arranged within the imaging range of the first imaging device 11. The same applies to FIG. 5 described later. For example, as shown in FIG. 4, the first imaging device 11 is attached at a depression angle D (degrees) at a height H (mm) from the ground plane of the imaging device 10, and the depth direction of the pipe 30 is It is assumed that the angle of view of the first imaging device 11 is V y (degrees). Also, the number of pixels in the depth direction of the first captured image 34 (virtual captured image plane 34A) is W y , and from the center of the first captured image 34 (virtual captured image plane 34A) to the center coordinates of the region 32A indicating the abnormal part 32. Let py be the number of pixels in the depth direction. Further, an angle formed by the optical axis of the first imaging device 11 and a line connecting the first imaging device 11 and a position 32Y obtained by projecting the position of the abnormal portion 32 to the center line in the width direction of the imaging range is denoted by α.
この場合、算出部２３は、撮像装置１０（第１撮像装置１１）と異常個所３２との奥行き方向の距離Ｌｙを下記（１）式により算出する。
Ｌｙ＝Ｈ×（１−ｔａｎ（Ｄ）×ｔａｎα）
÷（ｔａｎ（Ｄ）＋ｔａｎα） ・・・（１）
なお、ｔａｎαは、下記（２）式で表される。
ｔａｎα＝ｐｙ×ｔａｎ（Ｖｙ／２）÷（Ｗｙ／２） ・・・（２）
In this case, the calculation unit 23 calculates the distance Ly in the depth direction between the imaging device 10 (first imaging device 11) and the abnormal part 32 by the following equation (1).
L y = H × (1−tan (D) × tan α)
÷ (tan (D) + tan α) (1)
Tan α is represented by the following formula (2).
tanα = p y × tan (V y / 2) ÷ (W y / 2) ··· (2)
また、図５に、平面視における第１撮像装置１１と第１撮像画像３４と異常個所３２との関係を概略的に示す。例えば、図５に示すように、パイプ３０の水平方向（幅方向）に対する第１撮像装置１１の画角がＶｘ（度）、第１撮像画像３４（仮想撮像画像面３４Ａ）の水平方向の画素数をＷｘ、第１撮像画像３４（仮想撮像画像面３４Ａ）の中心から異常個所３２を示す領域３２Ａの中心座標までの水平方向の画素数をｐｘとする。 FIG. 5 schematically shows the relationship among the first imaging device 11, the first captured image 34, and the abnormal part 32 in plan view. For example, as shown in FIG. 5, the angle of view of the first imaging device 11 with respect to the horizontal direction (width direction) of the pipe 30 is V x (degrees), and the horizontal direction of the first captured image 34 (virtual captured image plane 34A). the number of pixels W x, the number of pixels in the horizontal direction to the center coordinate of the center region 32A showing an abnormal point 32 from the first image 34 (virtual taken image plane 34A) and p x.
この場合、算出部２３は、撮像装置１０（第１撮像装置１１）と異常個所３２との水平方向の距離Ｌｘを下記（３）式により算出する。
Ｌｘ＝（ｘ×ｐｘ）÷Ｗｘ ・・・（３）
なお、ｘは、下記（４）式で表される。
ｘ＝２Ｌｙ×ｔａｎ（Ｖｘ／２） ・・・（４）
In this case, the calculation unit 23 calculates the horizontal distance L x between the imaging device 10 (first imaging device 11) and the abnormal part 32 by the following equation (3).
L x = (x × p x ) ÷ W x (3)
X is expressed by the following formula (4).
x = 2L y × tan (V x / 2) (4)
算出部２３は、上記（１）式及び（３）式により算出した撮像装置１０から異常個所３２までの距離と、パイプ３０内における撮像装置１０の位置とを合わせて、パイプ３０内における異常個所３２の位置を算出する。算出部２３は、算出した異常個所３２の位置の情報を、例えば図６に示すようなリストとして、撮像装置１０の所定の記憶領域に一旦記憶すると共に、表示制御部２６へ受け渡す。また、算出部２３は、パイプ３０の全長分の異常個所３２の検出が終了すると、記憶しておいた異常個所３２のリストと、予め用意されたパイプ３０の形状データとに基づいて、例えば、図７に示すような、異常個所３２の位置を示すマップを作成してもよい。算出部２３は、異常個所３２の位置を示すリスト又はマップを駆動制御部２４へ受け渡す。 The calculating unit 23 combines the distance from the imaging device 10 to the abnormal part 32 calculated by the above formulas (1) and (3) and the position of the imaging device 10 in the pipe 30 to obtain the abnormal part in the pipe 30. 32 positions are calculated. The calculation unit 23 temporarily stores the calculated information on the position of the abnormal part 32 in a predetermined storage area of the imaging device 10 as a list as illustrated in FIG. 6, for example, and transfers the information to the display control unit 26. Further, when the detection of the abnormal portion 32 for the entire length of the pipe 30 is completed, the calculation unit 23, based on the stored list of abnormal portions 32 and the shape data of the pipe 30 prepared in advance, for example, A map showing the position of the abnormal part 32 as shown in FIG. 7 may be created. The calculation unit 23 delivers a list or map indicating the position of the abnormal part 32 to the drive control unit 24.
駆動制御部２４は、検出部２２による異常個所３２の検出がパイプ３０の全長にわたって行われるように、駆動部１４を制御して撮像装置１０を所定距離ずつ移動させる。具体的には、駆動制御部２４は、第１撮像装置１１による撮像範囲が、パイプ３０内の所定位置（例えば、撮像装置１０の進入入口付近の位置）に設定した基準位置からパイプ３０内の奥側へ向けて順次変更されるように、撮像装置１０をパイプ３０内で前進させる。また、駆動制御部２４は、モータや車輪の回転数などにより、基準位置からの撮像装置１０の移動距離を算出し、算出した移動距離を、パイプ３０内における撮像装置１０の位置を示す情報として第１撮像制御部２１へ受け渡す。 The drive control unit 24 controls the drive unit 14 to move the imaging device 10 by a predetermined distance so that the detection of the abnormal portion 32 by the detection unit 22 is performed over the entire length of the pipe 30. Specifically, the drive control unit 24 sets the imaging range of the first imaging device 11 in the pipe 30 from the reference position set at a predetermined position in the pipe 30 (for example, a position near the entrance of the imaging device 10). The imaging device 10 is advanced in the pipe 30 so as to be sequentially changed toward the back side. In addition, the drive control unit 24 calculates the moving distance of the imaging device 10 from the reference position based on the number of rotations of the motor and wheels, and the calculated moving distance is used as information indicating the position of the imaging device 10 in the pipe 30. Transfer to the first imaging control unit 21.
また、駆動制御部２４は、算出部２３から異常個所３２の位置を示すリスト又はマップを受け取ると、各異常個所３２が第２撮像装置１６の撮像範囲に含まれる位置になるように、駆動部１４を制御して撮像装置１０を移動させる。なお、駆動制御部２４は、複数の異常個所３２が所定距離以内に近接して検出されている場合には、それら複数の異常個所３２が第２撮像装置１６の撮像範囲に含まれる位置になるように撮像装置１０を移動させる。 Further, when the drive control unit 24 receives a list or map indicating the position of the abnormal location 32 from the calculation unit 23, the drive control unit 24 causes each abnormal location 32 to be a position included in the imaging range of the second imaging device 16. 14 is controlled to move the imaging apparatus 10. Note that when a plurality of abnormal locations 32 are detected in proximity to each other within a predetermined distance, the drive control unit 24 becomes a position where the plurality of abnormal locations 32 are included in the imaging range of the second imaging device 16. The imaging device 10 is moved as described above.
具体的には、駆動制御部２４は、撮像装置１０をパイプ３０内の基準位置に移動させ、リスト又はマップを参照して異常個所３２の位置を取得し、取得した位置に応じた移動距離分、撮像装置１０を移動させる。なお、駆動制御部２４は、撮像装置１０を基準位置に移動させることなく、異常個所３２の検出が終了した位置（パイプ３０内の奥側の位置）から、撮像装置１０を後進させて異常個所３２の位置まで移動させてもよい。駆動制御部２４は、異常個所３２が第２撮像装置１６の撮像範囲に含まれる位置に撮像装置１０を移動させると、異常個所３２の位置への撮像装置１０の移動が完了したことを第２撮像制御部２５に通知する。 Specifically, the drive control unit 24 moves the imaging device 10 to the reference position in the pipe 30, acquires the position of the abnormal part 32 with reference to the list or map, and moves by the moving distance corresponding to the acquired position. Then, the imaging device 10 is moved. The drive control unit 24 moves the imaging device 10 backward from the position where the detection of the abnormal part 32 is completed (the position on the back side in the pipe 30) without moving the imaging apparatus 10 to the reference position. You may move to the position of 32. When the imaging unit 10 is moved to a position where the abnormal part 32 is included in the imaging range of the second imaging device 16, the drive control unit 24 determines that the movement of the imaging apparatus 10 to the position of the abnormal part 32 is completed. Notify the imaging control unit 25.
なお、第２撮像装置１６として合焦法による３Ｄカメラを適用する場合、図８に示すように、異常個所３２の真上に第２撮像装置１６が位置するように撮像装置１０を移動させることが好ましい。異常個所３２の真上から撮像を行うことにより、３Ｄカメラにより異常個所３２の深さを精度良くプロファイルすることができるためである。 In addition, when applying the 3D camera by a focusing method as the 2nd imaging device 16, as shown in FIG. 8, the imaging device 10 is moved so that the 2nd imaging device 16 may be located right above the abnormal location 32. Is preferred. This is because the depth of the abnormal portion 32 can be accurately profiled by the 3D camera by performing imaging from directly above the abnormal portion 32.
第２撮像制御部２５は、第２撮像装置１６による撮像、及び第２照明装置１７による光の照射を制御する。具体的には、第２撮像制御部２５は、異常個所３２の位置への撮像装置１０の移動が完了したことの通知を駆動制御部２４から受け取ると、第２撮像装置１６による撮像を実行させ、撮像された第２撮像画像を取得する。第２撮像装置１６から取得される第２撮像画像の各画素は、第２撮像装置１６からその画素に対応する撮像範囲の位置までの距離の情報を保持する。第２撮像制御部２５は、第２撮像装置１６から取得した第２撮像画像を通信制御部２７へ受け渡す。 The second imaging control unit 25 controls imaging by the second imaging device 16 and light irradiation by the second illumination device 17. Specifically, when the second imaging control unit 25 receives a notification from the drive control unit 24 that the movement of the imaging device 10 to the position of the abnormal part 32 has been completed, the second imaging control unit 25 causes the second imaging device 16 to perform imaging. Then, the captured second captured image is acquired. Each pixel of the second captured image acquired from the second imaging device 16 holds information on the distance from the second imaging device 16 to the position of the imaging range corresponding to the pixel. The second imaging control unit 25 delivers the second captured image acquired from the second imaging device 16 to the communication control unit 27.
図９に、パイプ３０内の異常個所３２を第２撮像装置１６で撮像した第２撮像画像３６の一例を示す。また、図９の上段右図の３Ｄ表示、及び図９下段の高さ（深さ）プロファイル（第２撮像画像３６内のＸ方向及びＹ方向の各位置における高さ（深さ）のプロファイル）の図は、第２撮像画像３６の各画素が保持する距離の情報をグラフ化したものである。また、比較例として、異常個所３２が検出されていない個所を第２撮像装置１６で撮像した第２撮像画像３６、距離情報の３Ｄ表示、及び高さ（深さ）プロファイルの一例を図１０に示す。 FIG. 9 shows an example of a second captured image 36 in which the abnormal part 32 in the pipe 30 is captured by the second imaging device 16. Also, the 3D display in the upper right diagram of FIG. 9 and the height (depth) profile in the lower diagram of FIG. 9 (the profile of the height (depth) at each position in the X direction and the Y direction in the second captured image 36). FIG. 8 is a graph of distance information held by each pixel of the second captured image 36. As a comparative example, FIG. 10 shows an example of a second captured image 36 obtained by imaging a location where no abnormal location 32 is detected by the second imaging device 16, 3D display of distance information, and a height (depth) profile. Show.
また、第２撮像制御部２５は、第２撮像装置１６による撮像が行われる際に、第２撮像装置１６の撮像範囲に光が照射されるように、第２照明装置１７を制御する。 Further, the second imaging control unit 25 controls the second illumination device 17 so that light is emitted to the imaging range of the second imaging device 16 when imaging by the second imaging device 16 is performed.
表示制御部２６は、通信機能及び表示装置を備え、かつパイプ３０の外に配置される情報処理装置の表示装置に表示するための表示画像の画像データを生成する。情報処理装置は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等である。具体的には、表示制御部２６は、第１撮像制御部２１から受け渡された第１撮像画像３４上に、検出部２２で検出された異常個所３２を示す領域３２Ａを示すマークを重畳した表示画像を示す画像データを生成する。 The display control unit 26 has a communication function and a display device, and generates image data of a display image to be displayed on the display device of the information processing device arranged outside the pipe 30. The information processing apparatus is, for example, a personal computer, a tablet terminal, a smartphone, or the like. Specifically, the display control unit 26 superimposes a mark indicating an area 32 </ b> A indicating the abnormal part 32 detected by the detection unit 22 on the first captured image 34 delivered from the first imaging control unit 21. Image data indicating a display image is generated.
さらに、表示制御部２６は、表示画像に、撮像装置１０からの奥行き方向の距離が等しい位置を示す複数の等距離線も重畳表示されるように画像データを生成する。等距離線を表示する表示画面上の位置は、上記（１）式及び（２）式において、Ｌｙに等距離線を表示する撮像装置１０からの距離を代入して、画像中心からの画素数ｐｙとして求めればよい。表示制御部２６は、生成した画像データを通信制御部２７へ受け渡す。 Further, the display control unit 26 generates image data so that a plurality of equidistant lines indicating positions having the same distance in the depth direction from the imaging device 10 are superimposed on the display image. Position on the display screen displaying the equidistant lines in the formula (1) and (2), by substituting the distance from the imaging device 10 for displaying the equidistant lines L y, the pixel from the image center it may be calculated as the number p y. The display control unit 26 passes the generated image data to the communication control unit 27.
図１１に、表示画像３７の一例を示す。図１１は、図３に示す第１撮像画像３４に異常個所３２を示す領域３２Ａを示すマーク３８と、等距離線３９とを重畳した例である。また、図１１の例では、各等距離線３９が示す位置までの撮像装置１０からの距離、及び検出された異常個所３２の位置を示す数値も合わせて表示している。異常個所３２の位置として、奥行き方向の位置は、撮像装置１０からの距離で表しており、水平方向の位置は、画像中心からの距離で表している。なお、画像中心に対して左側（図１１の表示画像３７では下側）をプラスの距離で、右側（図１１の表示画像３７では上側）をマイナスの距離で表している。 FIG. 11 shows an example of the display image 37. FIG. 11 shows an example in which the mark 38 indicating the region 32A indicating the abnormal part 32 and the equidistant line 39 are superimposed on the first captured image 34 shown in FIG. In the example of FIG. 11, the distance from the imaging device 10 to the position indicated by each equidistant line 39 and the numerical value indicating the position of the detected abnormal location 32 are also displayed. As the position of the abnormal part 32, the position in the depth direction is represented by the distance from the imaging device 10, and the position in the horizontal direction is represented by the distance from the image center. Note that the left side (lower side in the display image 37 in FIG. 11) is a positive distance and the right side (upper side in the display image 37 in FIG. 11) is a negative distance from the image center.
通信制御部２７は、表示制御部２６から受け渡された表示画像３７の画像データを、Ｗｉ−Ｆｉ（登録商標）などの通信インターフェース（Ｉ／Ｆ）により、パイプ３０外部の情報処理装置へ送信するように制御する。これにより、情報処理装置の表示装置に、図１１に示すような表示画像３７を表示することができる。また、通信制御部２７は、第２撮像制御部２５から受け渡された第２撮像画像３６もパイプ３０外部の情報処理装置へ送信するように制御する。これにより、情報処理装置の表示装置に、図９に示すような異常個所の高さ（深さ）プロファイルや３Ｄ表示を表示することができる。 The communication control unit 27 transmits the image data of the display image 37 delivered from the display control unit 26 to an information processing apparatus outside the pipe 30 by a communication interface (I / F) such as Wi-Fi (registered trademark). Control to do. Accordingly, a display image 37 as shown in FIG. 11 can be displayed on the display device of the information processing apparatus. The communication control unit 27 also controls to transmit the second captured image 36 transferred from the second imaging control unit 25 to the information processing apparatus outside the pipe 30. Thereby, the height (depth) profile and 3D display of the abnormal part as shown in FIG. 9 can be displayed on the display device of the information processing apparatus.
なお、通信制御部２７は、第１撮像制御部２１から取得した第１撮像画像３４と算出部２３による算出結果とを情報処理装置へ送信し、情報処理装置において、表示画像３７の画像データを生成して表示装置に表示してもよい。この場合、表示制御部２６は、制御部２０の構成から省略してもよい。 The communication control unit 27 transmits the first captured image 34 acquired from the first imaging control unit 21 and the calculation result by the calculation unit 23 to the information processing apparatus, and the image data of the display image 37 is transmitted to the information processing apparatus. It may be generated and displayed on a display device. In this case, the display control unit 26 may be omitted from the configuration of the control unit 20.
また、異常個所３２の検出及び検査の作業中には、画像データ等の情報処理装置への送信を行わず、画像データ等を撮像装置１０に挿入されたメモリカード等に記憶しておく。そして、パイプ３０全長の検査が終了した際に、メモリカードを取り出して、記憶しておいたデータを読み出すようにしてもよい。この場合、通信制御部２７は、制御部２０の構成から省略してもよい。 Further, during the operation of detecting the abnormal part 32 and the inspection, the image data or the like is not transmitted to the information processing apparatus, but the image data or the like is stored in a memory card or the like inserted in the imaging apparatus 10. Then, when the inspection of the entire length of the pipe 30 is completed, the memory card may be taken out and the stored data may be read out. In this case, the communication control unit 27 may be omitted from the configuration of the control unit 20.
撮像装置１０の制御部２０は、例えば図１２に示すコンピュータ４０で実現することができる。コンピュータ４０はCentral Processing Unit（ＣＰＵ）４１、一時記憶領域としてのメモリ４２、及び不揮発性の記憶部４３を備える。また、コンピュータ４０は、第１撮像装置１１、第１照明装置１２、駆動部１４、第２撮像装置１６、第２照明装置１７と接続される入出力Ｉ／Ｆ４４を備える。また、コンピュータ４０は、メモリカード等の記録媒体４９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部４５、並びにＷｉ−Ｆｉ（登録商標）などの通信Ｉ／Ｆ４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力Ｉ／Ｆ４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。 The control unit 20 of the imaging apparatus 10 can be realized by, for example, a computer 40 illustrated in FIG. The computer 40 includes a central processing unit (CPU) 41, a memory 42 as a temporary storage area, and a nonvolatile storage unit 43. The computer 40 includes an input / output I / F 44 connected to the first imaging device 11, the first illumination device 12, the drive unit 14, the second imaging device 16, and the second illumination device 17. The computer 40 also includes a read / write (R / W) unit 45 that controls reading and writing of data with respect to a recording medium 49 such as a memory card, and a communication I / F 46 such as Wi-Fi (registered trademark). The CPU 41, the memory 42, the storage unit 43, the input / output I / F 44, the R / W unit 45, and the communication I / F 46 are connected to each other via a bus 47.
記憶部４３はHard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を制御部２０として機能させるための制御プログラム５０が記憶されている。制御プログラム５０は、第１撮像制御プロセス５１と、検出プロセス５２と、算出プロセス５３と、駆動制御プロセス５４と、第２撮像制御プロセス５５と、表示制御プロセス５６と、通信制御プロセス５７とを有する。 The storage unit 43 can be realized by a hard disk drive (HDD), a solid state drive (SSD), a flash memory, or the like. The storage unit 43 as a storage medium stores a control program 50 for causing the computer 40 to function as the control unit 20. The control program 50 includes a first imaging control process 51, a detection process 52, a calculation process 53, a drive control process 54, a second imaging control process 55, a display control process 56, and a communication control process 57. .
ＣＰＵ４１は、制御プログラム５０を記憶部４３から読み出してメモリ４２に展開し、制御プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、第１撮像制御プロセス５１を実行することで、図２に示す第１撮像制御部２１として動作する。また、ＣＰＵ４１は、検出プロセス５２を実行することで、図２に示す検出部２２として動作する。また、ＣＰＵ４１は、算出プロセス５３を実行することで、図２に示す算出部２３として動作する。また、ＣＰＵ４１は、駆動制御プロセス５４を実行することで、図２に示す駆動制御部２４として動作する。また、ＣＰＵ４１は、第２撮像制御プロセス５５を実行することで、図２に示す第２撮像制御部２５として動作する。また、ＣＰＵ４１は、表示制御プロセス５６を実行することで、図２に示す表示制御部２６として動作する。また、ＣＰＵ４１は、通信制御プロセス５７を実行することで、図２に示す通信制御部２７として動作する。これにより、制御プログラム５０を実行したコンピュータ４０が、撮像装置１０の制御部２０として機能することになる。 The CPU 41 reads the control program 50 from the storage unit 43 and develops it in the memory 42, and sequentially executes the processes included in the control program 50. The CPU 41 operates as the first imaging control unit 21 illustrated in FIG. 2 by executing the first imaging control process 51. Further, the CPU 41 operates as the detection unit 22 illustrated in FIG. 2 by executing the detection process 52. Further, the CPU 41 operates as the calculation unit 23 illustrated in FIG. 2 by executing the calculation process 53. The CPU 41 operates as the drive control unit 24 shown in FIG. 2 by executing the drive control process 54. Further, the CPU 41 operates as the second imaging control unit 25 illustrated in FIG. 2 by executing the second imaging control process 55. The CPU 41 operates as the display control unit 26 shown in FIG. 2 by executing the display control process 56. The CPU 41 operates as the communication control unit 27 illustrated in FIG. 2 by executing the communication control process 57. As a result, the computer 40 that has executed the control program 50 functions as the control unit 20 of the imaging apparatus 10.
なお、制御プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。 The function realized by the control program 50 can be realized by, for example, a semiconductor integrated circuit, more specifically, an application specific integrated circuit (ASIC).
次に、第１実施形態に係る撮像装置１０の作用について説明する。撮像装置１０がパイプ３０内の一端に設定した基準位置に配置され、作業開始の指示が撮像装置１０に入力されると、制御部２０において、図１３に示す制御処理が実行される。 Next, the operation of the imaging device 10 according to the first embodiment will be described. When the imaging device 10 is arranged at a reference position set at one end in the pipe 30 and a work start instruction is input to the imaging device 10, the control process shown in FIG. 13 is executed in the control unit 20.
図１３に示す制御処理のステップＳ１１で、第１撮像制御部２１が、第１照明装置１２により第１撮像装置１１の撮像範囲に光を照射させ、第１撮像装置１１による撮像を実行させ、撮像された第１撮像画像３４を取得する。第１撮像制御部２１は、取得した第１撮像画像３４を、第１撮像画像３４が撮像された際の撮像装置１０の位置の情報と共に、検出部２２へ受け渡す。また、第１撮像制御部２１は、第１撮像画像３４を表示制御部２６へも受け渡す。 In step S11 of the control process shown in FIG. 13, the first imaging control unit 21 causes the first illumination device 12 to irradiate the imaging range of the first imaging device 11, and causes the first imaging device 11 to perform imaging. The captured first captured image 34 is acquired. The first imaging control unit 21 delivers the acquired first captured image 34 to the detection unit 22 together with information on the position of the imaging device 10 when the first captured image 34 is captured. The first imaging control unit 21 also passes the first captured image 34 to the display control unit 26.
次に、ステップＳ１２で、検出部２２が、第１撮像制御部２１から受け渡された第１撮像画像３４を画像解析することにより、撮像対象物であるパイプ３０内における腐食による侵食等の異常個所３２を示す領域３２Ａを検出する。検出部２２は、第１撮像画像３４内において検出した異常個所３２を示す領域３２Ａの座標値を、第１撮像画像３４が撮像されたときの撮像装置１０の位置の情報と共に算出部２３へ受け渡す。 Next, in step S12, the detection unit 22 performs image analysis on the first captured image 34 delivered from the first imaging control unit 21, thereby causing abnormalities such as erosion due to corrosion in the pipe 30 that is the imaging target. A region 32A indicating the location 32 is detected. The detection unit 22 receives the coordinate value of the area 32 </ b> A indicating the abnormal part 32 detected in the first captured image 34, together with information on the position of the imaging device 10 when the first captured image 34 is captured, to the calculation unit 23. hand over.
次に、ステップＳ１３で、算出部２３が、撮像装置１０から異常個所３２までの距離を、例えば、上記（１）式及び（３）式により算出する。そして、算出部２３は、撮像装置１０から異常個所３２までの距離と、パイプ３０内における撮像装置１０の位置とを合わせて、パイプ３０内における異常個所３２の位置を算出する。算出部２３は、算出した異常個所の位置の情報を、例えば図６に示すようなリストとして、撮像装置１０の所定の記憶領域に一旦記憶すると共に、表示制御部２６へ受け渡す。なお、上記ステップＳ１２で異常個所３２が検出されなかった場合には、本ステップの処理はスキップする。 Next, in step S13, the calculation unit 23 calculates the distance from the imaging device 10 to the abnormal part 32 using, for example, the above formulas (1) and (3). Then, the calculation unit 23 calculates the position of the abnormal portion 32 in the pipe 30 by combining the distance from the imaging device 10 to the abnormal portion 32 and the position of the imaging device 10 in the pipe 30. The calculation unit 23 temporarily stores the calculated information on the position of the abnormal location in a predetermined storage area of the imaging device 10 as a list as illustrated in FIG. 6, for example, and transfers the information to the display control unit 26. In addition, when the abnormal part 32 is not detected by the said step S12, the process of this step is skipped.
次に、ステップＳ１４で、表示制御部２６が、第１撮像制御部２１から受け渡された第１撮像画像３４上に、異常個所３２を示す領域３２Ａを示すマーク３８と、撮像装置１０からの等距離線３９とを重畳した表示画像３７の画像データを生成する。表示制御部２６は、生成した表示画像３７の画像データを通信制御部２７へ受け渡す。通信制御部２７は、表示画像３７の画像データを通信Ｉ／Ｆ４６を介して、パイプ３０の外に配置された情報処理装置に送信する。これにより、情報処理装置の表示装置に、例えば図１１に示すような表示画像３７が表示され、パイプ３０内で検出された異常個所３２の画像をリアルタイムで確認することもできる。なお、画像データの生成及び情報処理装置への送信を行うことなく、撮像装置１０に挿入されたメモリカード等に第１撮像画像３４を記憶しておいて、検査終了後に取り出すようにしてもよい。 Next, in step S <b> 14, the display control unit 26 displays the mark 38 indicating the region 32 </ b> A indicating the abnormal part 32 on the first captured image 34 delivered from the first imaging control unit 21, and the imaging device 10. Image data of the display image 37 on which the equidistant lines 39 are superimposed is generated. The display control unit 26 passes the generated image data of the display image 37 to the communication control unit 27. The communication control unit 27 transmits the image data of the display image 37 to the information processing apparatus arranged outside the pipe 30 via the communication I / F 46. Thereby, for example, a display image 37 as shown in FIG. 11 is displayed on the display device of the information processing apparatus, and an image of the abnormal part 32 detected in the pipe 30 can be confirmed in real time. Note that the first captured image 34 may be stored in a memory card or the like inserted in the imaging device 10 without being generated and transmitted to the information processing device, and taken out after the inspection is completed. .
次に、ステップＳ１５で、駆動制御部２４が、撮像装置１０がパイプ３０の他端に到達したか否かを判定する。この判定は、撮像装置１０の移動距離とパイプ３０の全長距離とを比較したり、パイプ３０の他端に設けられた終端を示す標識を、撮像装置１０に設けたセンサ（図示省略）で検出したりすることにより行うことができる。撮像装置１０がパイプ３０の他端に到達した場合には、処理はステップＳ１７へ移行し、撮像装置１０がパイプ３０の他端に到達していない場合には、処理はステップＳ１６へ移行する。 Next, in step S <b> 15, the drive control unit 24 determines whether the imaging device 10 has reached the other end of the pipe 30. This determination is made by comparing the moving distance of the imaging device 10 with the total length of the pipe 30 or detecting a marker indicating the end provided at the other end of the pipe 30 with a sensor (not shown) provided in the imaging device 10. It can be done by doing. If the imaging device 10 has reached the other end of the pipe 30, the process proceeds to step S17. If the imaging device 10 has not reached the other end of the pipe 30, the process proceeds to step S16.
ステップＳ１６では、駆動制御部２４が、撮像装置１０をパイプ３０内で所定距離前進させるように、駆動部１４を制御する。また、駆動制御部２４は、基準位置からの撮像装置１０の移動距離を算出し、算出した移動距離を、パイプ３０内における撮像装置１０の位置を示す情報として、第１撮像制御部２１へ受け渡す。そして、処理はステップＳ１１に戻る。これにより、第１撮像装置１１による撮像範囲が変更され、新たな撮像範囲から異常個所３２の検出が行われる。なお、取得済みの第１撮像画像３４から既に検出済みの異常個所３２については、次に取得される第１撮像画像３４からは、画像内での対象物の追跡技術を用いて検出することができる。 In step S <b> 16, the drive control unit 24 controls the drive unit 14 so that the imaging device 10 is advanced by a predetermined distance in the pipe 30. Further, the drive control unit 24 calculates the movement distance of the imaging device 10 from the reference position, and receives the calculated movement distance as information indicating the position of the imaging device 10 in the pipe 30 to the first imaging control unit 21. hand over. Then, the process returns to step S11. Thereby, the imaging range by the first imaging device 11 is changed, and the abnormal part 32 is detected from the new imaging range. It should be noted that the abnormal part 32 that has already been detected from the acquired first captured image 34 can be detected from the first captured image 34 that is acquired next by using the tracking technique of the object in the image. it can.
一方、ステップＳ１７では、算出部２３により算出され、所定の記憶領域に記憶された異常個所３２の位置を示すリストが駆動制御部２４に受け渡される。なお、算出部２３は、異常個所３２の位置を示すリストに基づいて、異常個所３２の位置を示すマップを生成して、駆動制御部２４に受け渡してもよい。駆動制御部２４は、異常個所３２の位置を示すリスト又はマップを受け取ると、撮像装置１０をパイプ３０内の基準位置に移動させる。なお、異常個所３２の検出が終了した位置（パイプ３０の他端）から、異常個所の検査を開始する場合には、本ステップの処理はスキップする。 On the other hand, in step S <b> 17, a list indicating the position of the abnormal part 32 calculated by the calculation unit 23 and stored in a predetermined storage area is transferred to the drive control unit 24. The calculation unit 23 may generate a map indicating the position of the abnormal part 32 based on the list indicating the position of the abnormal part 32 and pass it to the drive control unit 24. When the drive control unit 24 receives a list or map indicating the position of the abnormal part 32, the drive control unit 24 moves the imaging device 10 to the reference position in the pipe 30. In addition, when the inspection of the abnormal part is started from the position where the detection of the abnormal part 32 is completed (the other end of the pipe 30), the process of this step is skipped.
次に、ステップＳ１８で、駆動制御部２４が、リスト又はマップを参照して異常個所３２の位置を取得し、取得した位置までの移動距離を算出する。そして、駆動制御部２４は、異常個所３２が第２撮像装置１６の撮像範囲に含まれる位置になるように、駆動部１４を制御して算出した移動距離分撮像装置１０を移動させる。 Next, in step S18, the drive control unit 24 acquires the position of the abnormal part 32 with reference to the list or the map, and calculates the movement distance to the acquired position. Then, the drive control unit 24 moves the imaging device 10 by the movement distance calculated by controlling the driving unit 14 so that the abnormal part 32 is located in the imaging range of the second imaging device 16.
次に、ステップＳ１９で、第２撮像制御部２５が、第２照明装置１７により第２撮像装置１６の撮像範囲に光を照射させ、第２撮像装置１６による撮像を実行させ、撮像された第２撮像画像３６を取得する。 Next, in step S19, the second imaging control unit 25 causes the second illumination device 17 to irradiate the imaging range of the second imaging device 16 and execute imaging by the second imaging device 16, and the second imaged image is captured. Two captured images 36 are acquired.
次に、ステップＳ２０で、第２撮像制御部２５が、第２撮像装置１６から取得した第２撮像画像３６を通信制御部２７へ受け渡す。そして、通信制御部２７は、第２撮像装置１６の撮像画像を通信Ｉ／Ｆ４６を介して、パイプ３０の外に配置された情報処理装置に送信する。なお、第２撮像画像３６を情報処理装置へ送信することなく、撮像装置１０に挿入されたメモリカード等に記憶しておいて、検査終了後に取り出すようにしてもよい。また、第２撮像画像３６自体をメモリカード等に記憶する場合に限らず、第２撮像画像３６に基づいて計測された深さの計測結果のみをメモリカード等に記憶するようにしてもよい。 Next, in step S <b> 20, the second imaging control unit 25 delivers the second captured image 36 acquired from the second imaging device 16 to the communication control unit 27. And the communication control part 27 transmits the picked-up image of the 2nd imaging device 16 to the information processing apparatus arrange | positioned out of the pipe 30 via communication I / F46. Note that the second captured image 36 may be stored in a memory card or the like inserted into the imaging device 10 without being transmitted to the information processing device, and taken out after the inspection is completed. The second captured image 36 itself is not limited to being stored in a memory card or the like, and only the measurement result of the depth measured based on the second captured image 36 may be stored in the memory card or the like.
次に、ステップＳ２１で、第２撮像制御部２５が、異常個所３２の位置を示すリスト又はマップに含まれる全ての異常個所３２を、第２撮像装置１６により撮像したか否かを判定する。まだ撮像していない異常個所３２が存在する場合には、処理はステップＳ１７に戻り、全ての異常個所３２の撮像が終了している場合には、制御処理は終了する。 Next, in step S <b> 21, the second imaging control unit 25 determines whether or not all the abnormal locations 32 included in the list or map indicating the location of the abnormal location 32 have been imaged by the second imaging device 16. If there is an abnormal part 32 that has not yet been imaged, the process returns to step S17. If imaging of all the abnormal parts 32 has been completed, the control process ends.
以上説明したように、第１実施形態に係る撮像装置１０は、第１撮像装置により撮像した第１撮像画像から異常個所を検出し、検出した異常個所の位置を算出する。そして、算出した異常個所の位置まで撮像装置１０を移動させ、第２撮像装置により異常個所を撮像し、異常個所の検査を行う。したがって、第１実施形態に係る撮像装置１０によれば、パイプ内のような閉鎖された空間内の異常個所の検出及び検査を効率良く行うことができる。 As described above, the imaging device 10 according to the first embodiment detects an abnormal location from the first captured image captured by the first imaging device, and calculates the position of the detected abnormal location. Then, the imaging device 10 is moved to the calculated position of the abnormal location, the abnormal location is imaged by the second imaging device, and the abnormal location is inspected. Therefore, according to the imaging device 10 according to the first embodiment, it is possible to efficiently detect and inspect an abnormal part in a closed space such as a pipe.
また、第１実施形態に係る撮像装置１０は、第１撮像画像に、検出された異常個所を示すマークと、撮像装置１０からの距離が等しい位置を示す等距離線とを重畳表示する。これにより、撮像画像を目視することにより異常個所３２の状態を確認する場合の支援を行うこともできる。 In addition, the imaging apparatus 10 according to the first embodiment superimposes and displays a mark indicating the detected abnormal part and an equidistant line indicating a position at the same distance from the imaging apparatus 10 on the first captured image. Thereby, it is also possible to provide assistance when the state of the abnormal part 32 is confirmed by viewing the captured image.
＜第２実施形態＞
次に、第２実施形態について説明する。第１実施形態では、パイプ３０の全長にわたって異常個所３２を検出した後に、検出した異常個所３２の各々を検査する場合について説明した。第２実施形態では、異常個所３２を検出しながら、異常個所３２の検査も行う場合について説明する。なお、第２実施形態に係る撮像装置において、第１実施形態に係る撮像装置１０と同様の部分については、同一符号を付して詳細な説明を省略する。
Second Embodiment
Next, a second embodiment will be described. In 1st Embodiment, after detecting the abnormal location 32 over the full length of the pipe 30, the case where each detected abnormal location 32 was test | inspected was demonstrated. In the second embodiment, a case will be described in which the abnormal part 32 is also inspected while the abnormal part 32 is detected. Note that in the imaging device according to the second embodiment, the same portions as those of the imaging device 10 according to the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
図１に示すように、第２実施形態に係る撮像装置２１０は、第１撮像装置１１と、第１照明装置１２と、駆動部１４と、第２撮像装置１６と、第２照明装置１７と、制御部２２０とを含む。 As illustrated in FIG. 1, the imaging device 210 according to the second embodiment includes a first imaging device 11, a first illumination device 12, a drive unit 14, a second imaging device 16, and a second illumination device 17. The control unit 220 is included.
制御部２２０は、図２に示すように、機能部として、第１撮像制御部２１と、検出部２２と、算出部２３と、駆動制御部２２４と、第２撮像制御部２５と、表示制御部２６と、通信制御部２７とを含む。 As shown in FIG. 2, the control unit 220 includes, as function units, a first imaging control unit 21, a detection unit 22, a calculation unit 23, a drive control unit 224, a second imaging control unit 25, and display control. Unit 26 and communication control unit 27.
駆動制御部２２４は、第１実施形態における駆動制御部２４と同様に、検出部２２による異常個所３２の検出がパイプ３０の全長にわたって行われるように、駆動部１４を制御して撮像装置２１０を所定距離ずつ移動させる。この際、駆動制御部２２４は、算出部２３により算出されて所定の記憶領域に記憶された異常個所３２の位置を示すリストを参照して、現在の撮像装置２１０の位置から最も近い距離にある直近の異常個所３２の位置まで撮像装置２１０が到達したか否かを判定する。この判定は、リストに記録された異常個所３２の位置と、基準位置からの撮像装置２１０の移動距離から算出されるパイプ３０内における撮像装置２１０の位置とを比較することにより行うことができる。なお、撮像装置２１０が異常個所３２まで到達するとは、直近の異常個所３２が第２撮像装置１６の撮像範囲に含まれる位置に撮像装置２１０が到達したことを意味する。 Similarly to the drive control unit 24 in the first embodiment, the drive control unit 224 controls the drive unit 14 to control the imaging device 210 so that the detection of the abnormal portion 32 by the detection unit 22 is performed over the entire length of the pipe 30. Move by a predetermined distance. At this time, the drive control unit 224 refers to the list indicating the position of the abnormal part 32 calculated by the calculation unit 23 and stored in the predetermined storage area, and is at the closest distance from the current position of the imaging device 210. It is determined whether or not the imaging device 210 has reached the position of the most recent abnormal part 32. This determination can be made by comparing the position of the abnormal part 32 recorded in the list with the position of the imaging device 210 in the pipe 30 calculated from the moving distance of the imaging device 210 from the reference position. Note that that the imaging device 210 reaches the abnormal location 32 means that the imaging device 210 has reached the position where the latest abnormal location 32 is included in the imaging range of the second imaging device 16.
駆動制御部２２４は、撮像装置２１０が直近の異常個所３２の位置に到達したと判定した場合には、撮像装置２１０が直近の異常個所３２の位置に到達したことを第２撮像制御部２５に通知する。第２撮像制御部２５では、この通知を受けて、第２撮像装置１６による撮像を実行する。また、駆動制御部２２４は、撮像装置２１０が直近の異常個所３２の位置に到達していないと判定した場合には、駆動部１４を制御して撮像装置２１０を所定距離ずつ移動させる制御を引き続き行う。 If the drive control unit 224 determines that the imaging device 210 has reached the position of the most recent abnormal part 32, the drive control unit 224 notifies the second imaging control unit 25 that the imaging apparatus 210 has reached the position of the most recent abnormal part 32. Notice. In response to this notification, the second imaging control unit 25 executes imaging by the second imaging device 16. If the drive control unit 224 determines that the imaging device 210 has not reached the position of the most recent abnormal part 32, the drive control unit 224 continues to control the drive unit 14 to move the imaging device 210 by a predetermined distance. Do.
撮像装置２１０の制御部２２０は、例えば図１２に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を制御部２２０として機能させるための制御プログラム２５０が記憶されている。制御プログラム２５０は、第１撮像制御プロセス５１と、検出プロセス５２と、算出プロセス５３と、駆動制御プロセス２５４と、第２撮像制御プロセス５５と、表示制御プロセス５６と、通信制御プロセス５７とを有する。 The control unit 220 of the imaging apparatus 210 can be realized by, for example, the computer 40 illustrated in FIG. The storage unit 43 of the computer 40 stores a control program 250 for causing the computer 40 to function as the control unit 220. The control program 250 includes a first imaging control process 51, a detection process 52, a calculation process 53, a drive control process 254, a second imaging control process 55, a display control process 56, and a communication control process 57. .
ＣＰＵ４１は、駆動制御プロセス２５４を実行することで、図２に示す駆動制御部２２４として動作する。他のプロセスについては、第１実施形態における制御プログラム５０の各プロセスと同様である。これにより、制御プログラム２５０を実行したコンピュータ４０が、撮像装置２１０の制御部２２０として機能することになる。 The CPU 41 operates as the drive control unit 224 illustrated in FIG. 2 by executing the drive control process 254. Other processes are the same as those of the control program 50 in the first embodiment. As a result, the computer 40 that has executed the control program 250 functions as the control unit 220 of the imaging apparatus 210.
なお、制御プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。 The function realized by the control program 250 can also be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC or the like.
次に、第２実施形態に係る撮像装置２１０の作用について説明する。撮像装置２１０がパイプ３０内の一端に設定した基準位置に配置され、作業開始の指示が撮像装置２１０に入力されると、制御部２２０において、図１４に示す制御処理が実行される。なお、第２実施形態における制御処理において、第１実施形態における制御処理（図１３）と同様の処理については、同一のステップ番号を付して詳細な説明を省略する。 Next, the operation of the imaging device 210 according to the second embodiment will be described. When the imaging device 210 is placed at a reference position set at one end in the pipe 30 and a work start instruction is input to the imaging device 210, the control process shown in FIG. In the control process in the second embodiment, the same process number as the control process in the first embodiment (FIG. 13) is denoted by the same step number, and detailed description thereof is omitted.
図１４に示す制御処理のステップＳ１１〜Ｓ１４で、第１実施形態と同様に、第１撮像装置１１により撮像された第１撮像画像３４から異常個所３２を示す領域３２Ａが検出され、異常個所３２の位置が算出されてリストに記録される。 In steps S <b> 11 to S <b> 14 of the control process illustrated in FIG. 14, similarly to the first embodiment, a region 32 </ b> A indicating an abnormal location 32 is detected from the first captured image 34 captured by the first imaging device 11, and the abnormal location 32 is detected. Is calculated and recorded in the list.
次に、ステップＳ２１で、駆動制御部２２４が、異常個所３２の位置を示すリストを参照して、直近の異常個所３２の位置まで撮像装置２１０が到達したか否かを判定する。撮像装置２１０が異常個所３２の位置まで到達している場合には、処理はステップＳ１９及びＳ２０を実行して、異常個所３２の検査を行い、処理はステップＳ１５へ移行する。一方、撮像装置２１０が異常個所３２の位置まで到達していない場合には、ステップＳ１９及びＳ２０の処理はスキップされ、処理はステップＳ１５へ移行する。 Next, in step S <b> 21, the drive control unit 224 refers to the list indicating the position of the abnormal part 32 and determines whether or not the imaging device 210 has reached the position of the latest abnormal part 32. If the imaging device 210 has reached the position of the abnormal part 32, the process executes steps S19 and S20 to inspect the abnormal part 32, and the process proceeds to step S15. On the other hand, when the imaging device 210 has not reached the position of the abnormal part 32, the processes of steps S19 and S20 are skipped, and the process proceeds to step S15.
ステップＳ１５では、駆動制御部２２４が、撮像装置２１０がパイプ３０の他端に到達したか否かを判定する。撮像装置２１０がパイプ３０の他端に到達していない場合には、処理はステップＳ１６へ移行し、撮像装置２１０がパイプ３０の他端に到達した場合には、制御処理は終了する。 In step S <b> 15, the drive control unit 224 determines whether the imaging device 210 has reached the other end of the pipe 30. When the imaging device 210 has not reached the other end of the pipe 30, the process proceeds to step S16. When the imaging device 210 has reached the other end of the pipe 30, the control process ends.
以上説明したように、第２実施形態に係る撮像装置２１０は、異常個所の検出及び位置の算出を行いながら、異常個所の検査も行う。したがって、第１実施形態に係る撮像装置１０と同様に、パイプ内のような閉鎖された空間内の異常個所の検出及び検査を効率良く行うことができる。また、撮像装置２１０の総移動量を、第１実施形態に係る撮像装置１０に比べて少なくすることができる。 As described above, the imaging apparatus 210 according to the second embodiment also performs inspection of abnormal locations while detecting abnormal locations and calculating positions. Therefore, similarly to the imaging device 10 according to the first embodiment, it is possible to efficiently detect and inspect abnormal portions in a closed space such as a pipe. Further, the total movement amount of the imaging device 210 can be reduced as compared with the imaging device 10 according to the first embodiment.
なお、上記各実施形態では、第２撮像装置として合焦法による測距を行う３Ｄカメラを用いて異常個所のプロファイルを得る場合について説明したが、これに限定されない。例えば、第２撮像装置として、ステレオカメラを用いてもよい。この場合も上記各実施形態と同様に、各画素がその画素に対応する位置までの距離の情報を保持した画像が第２撮像装置により得られる。また、第２撮像装置に替えて、レーザレーダなどの測距装置を用いて、異常個所のプロファイルを得るようにしてもよい。 In each of the above embodiments, the case where the profile of the abnormal part is obtained using the 3D camera that performs the distance measurement by the focusing method as the second imaging device has been described, but the present invention is not limited to this. For example, a stereo camera may be used as the second imaging device. In this case as well, as in the above embodiments, an image in which each pixel holds information on the distance to the position corresponding to the pixel is obtained by the second imaging device. Further, the profile of the abnormal part may be obtained by using a distance measuring device such as a laser radar instead of the second imaging device.
また、上記各実施形態では、パイプ内の腐食による侵食個所を異常個所として検出する場合を例に説明したが、これに限定されない。例えば、ひび割れや亀裂などを異常個所として検出するようにしてもよい。これらの場合、異常個所は撮像装置の下面に生じるとは限らない。また、パイプ内の腐食による侵食個所を異常個所として検出する場合でも、検査対象のパイプを流通する物質の種類によっては、侵食個所は撮像装置の下面に限らない可能性がある。そこで、第１撮像装置及び第２撮像装置の各々による撮像範囲が、パイプ内の全周をカバーできるように、複数の第１撮像装置及び複数の第２撮像装置を設けたり、第１撮像装置及び第２撮像装置の各々を可動式としたりしてもよい。 Moreover, although each said embodiment demonstrated as an example the case where the erosion location by the corrosion in a pipe was detected as an abnormal location, it is not limited to this. For example, a crack or a crack may be detected as an abnormal part. In these cases, the abnormal part does not always occur on the lower surface of the imaging apparatus. Further, even when an erosion site due to corrosion in the pipe is detected as an abnormal site, the erosion site may not be limited to the lower surface of the imaging device depending on the type of material flowing through the pipe to be inspected. Therefore, a plurality of first imaging devices and a plurality of second imaging devices are provided so that the imaging range of each of the first imaging device and the second imaging device can cover the entire circumference of the pipe, or the first imaging device. Each of the second imaging devices may be movable.
また、上記各実施形態では、パイプの全長にわたって異常個所の検出及び検査を行う場合について説明したが、これに限定されない。予め定めた範囲、例えば、腐食による侵食が生じやすいパイプの屈曲部分を検査するようにしてもよい。 Moreover, although each said embodiment demonstrated the case where an abnormal location was detected and test | inspected over the full length of a pipe, it is not limited to this. You may make it test | inspect the predetermined range, for example, the bending part of the pipe which is easy to generate | occur | produce erosion by corrosion.
また、上記各実施形態では、撮像対象物をパイプ内部とする場合について説明したが、本発明は、撮像装置が移動可能な空間であれば、パイプに限らず、例えばタンクなどの他の閉鎖空間を撮像対象物とする場合にも適用可能である。 In each of the above-described embodiments, the case where the imaging target is inside the pipe has been described. However, the present invention is not limited to the pipe as long as the imaging apparatus is movable, and other closed spaces such as a tank. The present invention can also be applied to the case where is used as an imaging target.
また、上記では、制御プログラム５０、２５０が記憶部４３に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。 In the above description, the control programs 50 and 250 are stored (installed) in the storage unit 43 in advance. However, the control programs 50 and 250 may be provided in a form recorded in a storage medium such as a CD-ROM or a DVD-ROM. Is possible.
以上の上記各実施形態に関し、更に以下の付記を開示する。 Regarding the above-described embodiments, the following additional notes are disclosed.
（付記１）
駆動制御に応じて移動可能な撮像装置において、
第１の撮像装置と、
第２の撮像装置と、
前記第１の撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出すると、前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、駆動部を制御して、算出した前記位置に移動し、前記第２の撮像装置により複数の焦点距離に基づいて前記異常個所が含まれる複数の撮像画像を撮像する制御部と、
を有することを特徴とする移動可能な撮像装置。
(Appendix 1)
In an imaging device that can move according to drive control,
A first imaging device;
A second imaging device;
Based on the captured image captured by the first imaging device, when detecting an abnormal location of the imaging target, based on the captured image, calculate the position of the detected abnormal location, and control the drive unit, A controller that moves to the calculated position and captures a plurality of captured images including the abnormal part based on a plurality of focal lengths by the second imaging device;
A movable imaging device comprising:
（付記２）
前記撮像画像を該撮像画像中の前記異常個所を示すマークとともに表示する際に、前記撮像画像の撮像の際の撮像位置と撮像条件とに基づいて、前記撮像装置の撮像位置からの距離が等間隔となる位置に対応づけて、前記撮像画像上に複数のラインを表示する制御を行う表示制御部を含む付記１記載の撮像装置。
(Appendix 2)
When the captured image is displayed together with a mark indicating the abnormal part in the captured image, the distance from the imaging position of the imaging device is equal based on the imaging position and the imaging conditions at the time of imaging of the captured image. The imaging apparatus according to supplementary note 1, including a display control unit that performs control to display a plurality of lines on the captured image in association with a position serving as an interval.
（付記３）
第１の撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出し、
前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、
駆動部を制御して、算出した前記位置に移動し、
第２の撮像装置により複数の焦点距離に基づいて前記異常個所が含まれる複数の撮像画像を撮像する、
ことを特徴とする撮像方法。
(Appendix 3)
Based on the captured image captured by the first imaging device, an abnormal part of the imaging object is detected,
Based on the captured image, calculate the position of the detected abnormal location,
Control the drive unit to move to the calculated position,
Capturing a plurality of captured images including the abnormal portion based on a plurality of focal lengths by a second imaging device;
An imaging method characterized by the above.
（付記４）
前記撮像画像を該撮像画像中の前記異常個所を示すマークとともに表示する際に、前記撮像画像の撮像の際の撮像位置と撮像条件とに基づいて、前記第１の撮像装置の撮像位置からの距離が等間隔となる位置に対応づけて、前記撮像画像上に複数のラインを表示する制御を行う付記３記載の撮像方法。
(Appendix 4)
When the captured image is displayed together with a mark indicating the abnormal part in the captured image, based on an imaging position and an imaging condition at the time of imaging the captured image, from the imaging position of the first imaging device The imaging method according to appendix 3, wherein control is performed to display a plurality of lines on the captured image in association with positions at which the distances are equally spaced.
（付記５）
第１の撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出し、
前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、
駆動部を制御して、算出した前記位置に移動し、
第２の撮像装置により複数の焦点距離に基づいて前記異常個所が含まれる複数の撮像画像を撮像する、
ことを含む処理をコンピュータに実行させる撮像プログラム。
(Appendix 5)
Based on the captured image captured by the first imaging device, an abnormal part of the imaging object is detected,
Based on the captured image, calculate the position of the detected abnormal location,
Control the drive unit to move to the calculated position,
Capturing a plurality of captured images including the abnormal portion based on a plurality of focal lengths by a second imaging device;
An imaging program for causing a computer to execute processing including the above.
（付記６）
前記撮像画像を該撮像画像中の前記異常個所を示すマークとともに表示する際に、前記撮像画像の撮像の際の撮像位置と撮像条件とに基づいて、前記第１の撮像装置の撮像位置からの距離が等間隔となる位置に対応づけて、前記撮像画像上に複数のラインを表示する制御を行う付記５記載の撮像プログラム。
(Appendix 6)
When the captured image is displayed together with a mark indicating the abnormal part in the captured image, based on an imaging position and an imaging condition at the time of imaging the captured image, from the imaging position of the first imaging device The imaging program according to appendix 5, which performs control for displaying a plurality of lines on the captured image in association with positions at which the distances are equally spaced.
（付記７）
駆動制御に応じて移動可能な検査装置において、
撮像装置と、
対象物までの距離を計測する測距装置と、
前記撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出すると、前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、駆動部を制御して、算出した前記位置に移動し、前記測距装置により前記異常個所が含まれる所定領域を測距する制御部と、
を有することを特徴とする移動可能な検査装置。
(Appendix 7)
In an inspection device that can move according to drive control,
An imaging device;
A ranging device that measures the distance to the object;
When an abnormal location of the imaging target is detected based on the captured image captured by the imaging device, the detected location of the abnormal location is calculated based on the captured image, the drive unit is controlled, and the calculated A control unit that moves to a position and measures a predetermined area including the abnormal portion by the distance measuring device;
A movable inspection device characterized by comprising:
（付記８）
撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出し、
前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、
駆動部を制御して、算出した前記位置に移動し、
対象物までの距離を計測する測距装置により前記異常個所が含まれる所定領域を測距する
ことを含む処理をコンピュータに実行させる検査方法。
(Appendix 8)
Based on the picked-up image picked up by the image pickup device, an abnormal part of the image pickup object is detected,
Based on the captured image, calculate the position of the detected abnormal location,
Control the drive unit to move to the calculated position,
An inspection method for causing a computer to execute a process including measuring a predetermined area including the abnormal portion by a distance measuring device that measures a distance to an object.
（付記９）
撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出し、
前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、
駆動部を制御して、算出した前記位置に移動し、
対象物までの距離を計測する測距装置により前記異常個所が含まれる所定領域を測距する
ことを含む処理をコンピュータに実行させる検査プログラム。
(Appendix 9)
Based on the picked-up image picked up by the image pickup device, an abnormal part of the image pickup object is detected,
Based on the captured image, calculate the position of the detected abnormal location,
Control the drive unit to move to the calculated position,
An inspection program for causing a computer to execute a process including measuring a predetermined area including the abnormal part by a distance measuring device that measures a distance to an object.
（付記１０）
駆動制御に応じて移動可能な撮像装置によって撮像され、撮像対象物の異常が検出された撮像画像を該撮像画像中の前記異常が検出された個所を示すマークとともに表示する際に、前記撮像画像の撮像の際の撮像位置と撮像条件とに基づいて、前記撮像装置の撮像位置からの距離が等間隔となる位置に対応づけて、前記撮像画像上に複数のラインを表示する制御を行う制御部、
を有することを特徴とする表示制御装置。
(Appendix 10)
When displaying a picked-up image picked up by an image pickup device that can move according to drive control and in which an abnormality of the object to be picked up is detected, together with a mark indicating the location where the abnormality is detected in the picked-up image, the picked-up image Control for displaying a plurality of lines on the captured image in association with positions at equal distances from the imaging position of the imaging device based on the imaging position and imaging conditions at the time of imaging Part,
A display control device comprising:
（付記１１）
駆動制御に応じて移動可能な撮像装置によって撮像され、撮像対象物の異常が検出された撮像画像を該撮像画像中の前記異常が検出された個所を示すマークとともに表示する際に、前記撮像画像の撮像の際の撮像位置と撮像条件とに基づいて、前記撮像装置の撮像位置からの距離が等間隔となる位置に対応づけて、前記撮像画像上に複数のラインを表示する制御を行う
ことを含む処理をコンピュータに実行させる表示制御方法。
(Appendix 11)
When displaying a picked-up image picked up by an image pickup device that can move according to drive control and in which an abnormality of the object to be picked up is detected, together with a mark indicating the location where the abnormality is detected in the picked-up image, the picked-up image Control to display a plurality of lines on the captured image in association with positions at equal distances from the imaging position of the imaging device based on the imaging position and imaging conditions at the time of imaging A display control method for causing a computer to execute a process including:
（付記１２）
駆動制御に応じて移動可能な撮像装置によって撮像され、撮像対象物の異常が検出された撮像画像を該撮像画像中の前記異常が検出された個所を示すマークとともに表示する際に、前記撮像画像の撮像の際の撮像位置と撮像条件とに基づいて、前記撮像装置の撮像位置からの距離が等間隔となる位置に対応づけて、前記撮像画像上に複数のラインを表示する制御を行う
ことを含む処理をコンピュータに実行させる表示制御プログラム。
(Appendix 12)
When displaying a picked-up image picked up by an image pickup device that can move according to drive control and in which an abnormality of the object to be picked up is detected, together with a mark indicating the location where the abnormality is detected in the picked-up image, the picked-up image Control to display a plurality of lines on the captured image in association with positions at equal distances from the imaging position of the imaging device based on the imaging position and imaging conditions at the time of imaging Display control program for causing a computer to execute processing including
（付記１３）
第１の撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出し、
前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、
算出した前記位置に移動するように駆動部を制御し、
第２の撮像装置により複数の焦点距離に基づいて前記異常個所が含まれる複数の撮像画像が撮像されるように制御する
ことを含む処理をコンピュータに実行させる撮像プログラムを記憶した記憶媒体。
(Appendix 13)
Based on the captured image captured by the first imaging device, an abnormal part of the imaging object is detected,
Based on the captured image, calculate the position of the detected abnormal location,
Controlling the drive unit to move to the calculated position,
The storage medium which memorize | stored the imaging program which makes a computer perform the process including control that the 2nd imaging device image | photographs the some captured image containing the said abnormal location based on several focal distances.
（付記１４）
撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出し、
前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、
駆動部を制御して、算出した前記位置に移動し、
対象物までの距離を計測する測距装置により前記異常個所が含まれる所定領域を測距する
ことを含む処理をコンピュータに実行させる検査プログラムを記憶した記憶媒体。
(Appendix 14)
Based on the picked-up image picked up by the image pickup device, an abnormal part of the image pickup object is detected
Based on the captured image, calculate the position of the detected abnormal location,
Control the drive unit to move to the calculated position,
A storage medium storing an inspection program for causing a computer to execute a process including measuring a predetermined area including the abnormal part by a distance measuring device that measures a distance to an object.
（付記１５）
駆動制御に応じて移動可能な撮像装置によって撮像され、撮像対象物の異常が検出された撮像画像を該撮像画像中の前記異常が検出された個所を示すマークとともに表示する際に、前記撮像画像の撮像の際の撮像位置と撮像条件とに基づいて、前記撮像装置の撮像位置からの距離が等間隔となる位置に対応づけて、前記撮像画像上に複数のラインを表示する制御を行う
ことを含む処理をコンピュータに実行させる表示制御プログラムを記憶した記憶媒体。
(Appendix 15)
When displaying a picked-up image picked up by an image pickup device that can move according to drive control and in which an abnormality of the object to be picked up is detected, together with a mark indicating the location where the abnormality is detected in the picked-up image, the picked-up image Control to display a plurality of lines on the captured image in association with positions at equal distances from the imaging position of the imaging device based on the imaging position and imaging conditions at the time of imaging A storage medium storing a display control program for causing a computer to execute a process including:
１０、２１０ 撮像装置
１１ 第１撮像装置
１２ 第１照明装置
１４ 駆動部
１６ 第２撮像装置
１７ 第２照明装置
２０、２２０ 制御部
２１ 第１撮像制御部
２２ 検出部
２３ 算出部
２４、２２４ 駆動制御部
２５ 第２撮像制御部
２６ 表示制御部
２７ 通信制御部
３０ パイプ
３２ 異常個所
３２Ａ 異常個所を示す領域
３４ 第１撮像画像
３６ 第撮像画像
３７ 表示画像
３８ 異常個所を示すマーク
３９ 等距離線
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記録媒体
５０、２５０ 制御プログラム
10, 210 Imaging device 11 First imaging device 12 First illumination device 14 Drive unit 16 Second imaging device 17 Second illumination device 20, 220 Control unit 21 First imaging control unit 22 Detection unit 23 Calculation unit 24, 224 Drive control Unit 25 second imaging control unit 26 display control unit 27 communication control unit 30 pipe 32 abnormal part 32A region 34 indicating abnormal part 34 first captured image 36 first captured image 37 display image 38 mark 39 indicating abnormal part equidistant line 40 computer 41 CPU
42 Memory 43 Storage 49 Recording medium 50, 250 Control program
Claims (6)
第１の撮像装置と、
第２の撮像装置と、
前記第１の撮像装置により撮像した撮像画像に基づいて、撮像対象物の異常個所を検出すると、前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、駆動部を制御して、算出した前記位置に移動し、前記第２の撮像装置により複数の焦点距離に基づいて前記異常個所が含まれる複数の撮像画像を撮像する制御部と、
を有することを特徴とする移動可能な撮像装置。 In an imaging device that can move according to drive control,
A first imaging device;
A second imaging device;
Based on the captured image captured by the first imaging device, when detecting an abnormal location of the imaging target, based on the captured image, calculate the position of the detected abnormal location, and control the drive unit, A controller that moves to the calculated position and captures a plurality of captured images including the abnormal part based on a plurality of focal lengths by the second imaging device;
A movable imaging device comprising:
前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、
駆動部を制御して、算出した前記位置に移動し、
第２の撮像装置により複数の焦点距離に基づいて前記異常個所が含まれる複数の撮像画像を撮像する、
処理をコンピュータが実行することを特徴とする撮像方法。 Based on the captured image captured by the first imaging device, an abnormal part of the imaging object is detected,
Based on the captured image, calculate the position of the detected abnormal location,
Control the drive unit to move to the calculated position,
Capturing a plurality of captured images including the abnormal portion based on a plurality of focal lengths by a second imaging device;
An imaging method, wherein a computer executes a process.
前記撮像画像に基づいて、検出した前記異常個所の位置を算出し、
駆動部を制御して、算出した前記位置に移動し、
第２の撮像装置により複数の焦点距離に基づいて前記異常個所が含まれる複数の撮像画像を撮像する、
処理をコンピュータに実行させることを特徴とする撮像プログラム。 Based on the captured image captured by the first imaging device, an abnormal part of the imaging object is detected,
Based on the captured image, calculate the position of the detected abnormal location,
Control the drive unit to move to the calculated position,
Capturing a plurality of captured images including the abnormal portion based on a plurality of focal lengths by a second imaging device;
An imaging program that causes a computer to execute processing.
を有することを特徴とする表示制御装置。 When displaying a picked-up image picked up by an image pickup device that can move according to drive control and in which an abnormality of the object to be picked up is detected, together with a mark indicating the location where the abnormality is detected in the picked-up image, the picked-up image Control for displaying a plurality of lines on the captured image in association with positions at equal distances from the imaging position of the imaging device based on the imaging position and imaging conditions at the time of imaging Part,
A display control device comprising:
処理をコンピュータに実行させることを特徴とする表示制御プログラム。 When displaying a picked-up image picked up by an image pickup device that can move according to drive control and in which an abnormality of the object to be picked up is detected, together with a mark indicating the location where the abnormality is detected in the picked-up image, the picked-up image A plurality of lines are displayed on the captured image in association with positions at equal distances from the imaging position of the imaging device based on the imaging position and imaging conditions at the time of imaging;
A display control program for causing a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016047171A JP6658124B2 (en) | 2016-03-10 | 2016-03-10 | Imaging device, method, and program, display control device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016047171A JP6658124B2 (en) | 2016-03-10 | 2016-03-10 | Imaging device, method, and program, display control device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017161403A true JP2017161403A (en) | 2017-09-14 |
| JP6658124B2 JP6658124B2 (en) | 2020-03-04 |
Family
ID=59856940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016047171A Active JP6658124B2 (en) | 2016-03-10 | 2016-03-10 | Imaging device, method, and program, display control device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6658124B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019200171A (en) * | 2018-05-18 | 2019-11-21 | ジャパンマリンユナイテッド株式会社 | Tank inspection device and method |
| JP2020160056A (en) * | 2019-03-22 | 2020-10-01 | 株式会社安藤・間 | Mobile crack detector and method for detecting crack |
| JP2021086473A (en) * | 2019-11-29 | 2021-06-03 | 株式会社日立製作所 | Image confirmation support system |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6454234A (en) * | 1987-08-25 | 1989-03-01 | Nippon Kokan Kk | Tv pig for inspection of pipe body |
| JPH02128907U (en) * | 1989-03-30 | 1990-10-24 | ||
| JPH03128442A (en) * | 1989-10-13 | 1991-05-31 | Kyushu Electric Power Co Inc | Pipe interior inspecting device |
| US5362962A (en) * | 1993-04-16 | 1994-11-08 | Edison Welding Institute | Method and apparatus for measuring pipeline corrosion |
| JP2003254913A (en) * | 2002-03-05 | 2003-09-10 | Tokyoto Gesuido Service Kk | Conduit interior inspection diagnosis support device, conduit interior inspection diagnosis support method and storage medium for storing conduit interior inspection diagnosis support program |
| JP2005114713A (en) * | 2003-09-19 | 2005-04-28 | Keyence Corp | Magnification observation device, method of observing magnified image, operation program for magnification observation, and computer-readable recording medium |
| JP2011145924A (en) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | Moving device and method |
| JP2014095627A (en) * | 2012-11-09 | 2014-05-22 | West Nippon Expressway Engineering Shikoku Co Ltd | Device for examining surface of road structure |
-
2016
- 2016-03-10 JP JP2016047171A patent/JP6658124B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6454234A (en) * | 1987-08-25 | 1989-03-01 | Nippon Kokan Kk | Tv pig for inspection of pipe body |
| JPH02128907U (en) * | 1989-03-30 | 1990-10-24 | ||
| JPH03128442A (en) * | 1989-10-13 | 1991-05-31 | Kyushu Electric Power Co Inc | Pipe interior inspecting device |
| US5362962A (en) * | 1993-04-16 | 1994-11-08 | Edison Welding Institute | Method and apparatus for measuring pipeline corrosion |
| JP2003254913A (en) * | 2002-03-05 | 2003-09-10 | Tokyoto Gesuido Service Kk | Conduit interior inspection diagnosis support device, conduit interior inspection diagnosis support method and storage medium for storing conduit interior inspection diagnosis support program |
| JP2005114713A (en) * | 2003-09-19 | 2005-04-28 | Keyence Corp | Magnification observation device, method of observing magnified image, operation program for magnification observation, and computer-readable recording medium |
| JP2011145924A (en) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | Moving device and method |
| JP2014095627A (en) * | 2012-11-09 | 2014-05-22 | West Nippon Expressway Engineering Shikoku Co Ltd | Device for examining surface of road structure |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019200171A (en) * | 2018-05-18 | 2019-11-21 | ジャパンマリンユナイテッド株式会社 | Tank inspection device and method |
| JP2020160056A (en) * | 2019-03-22 | 2020-10-01 | 株式会社安藤・間 | Mobile crack detector and method for detecting crack |
| JP7441067B2 (en) | 2019-03-22 | 2024-02-29 | 株式会社安藤・間 | Mobile crack detection device and crack detection method |
| JP2021086473A (en) * | 2019-11-29 | 2021-06-03 | 株式会社日立製作所 | Image confirmation support system |
| JP7336972B2 (en) | 2019-11-29 | 2023-09-01 | 株式会社日立製作所 | Image confirmation support system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6658124B2 (en) | 2020-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI521471B (en) | 3 - dimensional distance measuring device and method thereof | |
| JP6296477B2 (en) | Method and apparatus for determining the three-dimensional coordinates of an object | |
| JP2020174361A (en) | Distance measurement device for video camera focus application | |
| JP6460700B2 (en) | Method for diagnosing whether there is a defect on the inner wall of the tunnel and a program for diagnosing the presence of a defect on the inner wall of the tunnel | |
| JP2007071660A (en) | Working position measuring method in remote inspection, and instrument therefor | |
| TW201702780A (en) | Method for processing a floor | |
| JP6658124B2 (en) | Imaging device, method, and program, display control device, and program | |
| JP2005016991A (en) | Infrared structure diagnosis system | |
| JP2015072220A (en) | Narrow interval inspection device | |
| JP2017151026A (en) | Three-dimensional information acquiring device, three-dimensional information acquiring method, and program | |
| JP2011069797A (en) | Displacement measuring device and displacement measuring method | |
| JP6602624B2 (en) | Structure inspection system | |
| WO2017057356A1 (en) | Structure imaging apparatus, structure inspection apparatus, and structure inspection system | |
| JP6604242B2 (en) | Imaging apparatus, method, and program | |
| KR101943426B1 (en) | Method, apparatus, computer program and computer readable recording medium for generating a drawing of an inner wall condition of a conduit, method, apparatus, computer program and computer readable recording medium for inspecting an inner wall condition of a conduit | |
| JP2011180049A (en) | Pantograph monitoring system | |
| JP6482248B2 (en) | Narrow gap inspection device | |
| JP6662126B2 (en) | Detecting device, method and program | |
| CN103529956A (en) | Pointing device and processing method in rotation | |
| JP2006010312A (en) | Imaging device | |
| KR101497396B1 (en) | A system for measuring target location and method for measuring target location using the same | |
| JP7044331B2 (en) | Image processing systems, image processing methods and programs for efficiently inspecting structures such as bridges | |
| JP6581280B1 (en) | Monitoring device, monitoring system, monitoring method, monitoring program | |
| KR101295330B1 (en) | Diameter Measurement Device And Method using laser irradiation device | |
| WO2020234912A1 (en) | Mobile device, position display method, and position display program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6658124 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |