JP2022123715A

JP2022123715A - Measurement apparatus, measurement method, and program

Info

Publication number: JP2022123715A
Application number: JP2021021207A
Authority: JP
Inventors: 泉伊藤; Izumi Ito
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2021-02-12
Filing date: 2021-02-12
Publication date: 2022-08-24

Abstract

To provide a measuring device, measurement method and program which can accurately obtain the flatness property of a road surface while allowing zigzag travel by a vehicle.SOLUTION: A measurement device according to the present invention comprises: a stereo camera which images a measurement range and a target object on a road surface; extraction means which extracts a reference line from the target object in a photographed image captured by the stereo camera; and measurement means which measures the state of the road surface with a measurement line obtained by shifting the reference line to the measurement range in the photographed image.SELECTED DRAWING: Figure 1

Description

本発明は、計測装置、計測方法およびプログラムに関する。 The present invention relates to a measuring device, measuring method and program.

路面の損傷を点検する項目の一つに路面の平たん性がある。従来は、点検する路面を車両で走行しながら、車体に配置したレーザ測距器で路面から車体までの高さを計測し、その計測結果を用いて車両の進行方向における路面の平たん性を求める。 One of the items for inspecting road surface damage is the flatness of the road surface. Conventionally, while driving the vehicle on the road surface to be inspected, the height from the road surface to the vehicle body is measured with a laser rangefinder placed on the vehicle body, and the measurement results are used to determine the flatness of the road surface in the vehicle's traveling direction. Ask.

特許文献１において路面の平たん性を求める技術が開示されている。この技術では、車体の３箇所にレーザ測距器を配置し、各測距器で路面までの高さを計測する。実際に３箇所の高さを計測しながら車両で路面を走行し、収集した計測データから路面の平たん性を求める。 Japanese Laid-Open Patent Publication No. 2002-100001 discloses a technique for determining the flatness of a road surface. With this technology, laser rangefinders are placed at three locations on the vehicle body, and each rangefinder measures the height to the road surface. The vehicle travels on the road surface while actually measuring the height at three points, and the flatness of the road surface is obtained from the collected measurement data.

しかしながら、従来のようにレーザ測距器を使用する方式では得られる計測データが車両の走行軌跡に依存してしまう。そのため車両を狙いの位置で正確に走行させる必要があるが、車両の走行軌跡が蛇行を伴った場合には求められる平たん性の信頼性が低下するという問題があった。 However, in the conventional system using a laser rangefinder, the measurement data obtained depends on the running track of the vehicle. Therefore, it is necessary to accurately run the vehicle at the target position, but there is a problem that the reliability of the required flatness is lowered when the running path of the vehicle is meandering.

本発明は、上記に鑑みてなされたものであって、車両の走行に依らず路面の状態を精度よく求めることが可能な計測装置、計測方法およびプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a measuring device, a measuring method, and a program capable of accurately obtaining road surface conditions regardless of vehicle travel.

上述した課題を解決し、目的を達成するために、本発明の計測装置は、路面上の計測範囲と目標物とを共に撮影するステレオカメラと、前記ステレオカメラが撮影した撮影画像において前記目標物から基準線を抽出する抽出手段と、前記撮影画像において前記基準線を前記計測範囲にシフトした計測線で路面の状態を計測する計測手段と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the measuring apparatus of the present invention includes a stereo camera that captures images of both a measurement range on a road surface and a target, and an image of the target in the captured image captured by the stereo camera. and a measuring means for measuring the condition of the road surface with the measurement line shifted from the reference line to the measurement range in the photographed image.

本発明によれば、車両の走行に依らず路面の状態を精度よく求めることができるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, it is effective in being able to obtain|require the state of a road surface with high precision irrespective of the driving|running|working of a vehicle.

図１は、実施の形態に係る計測装置の適用例を示す図である。FIG. 1 is a diagram showing an application example of a measuring device according to an embodiment. 図２は、計測装置の全体構成の一例を示す図である。FIG. 2 is a diagram showing an example of the overall configuration of the measuring device. 図３は、ステレオカメラの構成の一例を示すブロック図である。FIG. 3 is a block diagram showing an example of the configuration of a stereo camera. 図４は、情報処理装置のハードウェア構成の一例を示す図である。FIG. 4 is a diagram illustrating an example of a hardware configuration of an information processing apparatus; 図５は、情報処理装置の機能ブロックの構成の一例を示す図である。FIG. 5 is a diagram illustrating an example of a configuration of functional blocks of an information processing apparatus; 図６は、実施例１にかかる平たん性計測線の設定処理の説明図である。FIG. 6 is an explanatory diagram of the flatness measurement line setting process according to the first embodiment. 図７は、実施例２にかかる平たん性計測線の設定処理の説明図である。FIG. 7 is an explanatory diagram of the flatness measurement line setting process according to the second embodiment. 図８は、実施例３にかかる平たん性計測線の設定処理の説明図である。FIG. 8 is an explanatory diagram of the flatness measurement line setting process according to the third embodiment. 図９は、制御部による全体の処理フローの一例を示す図である。FIG. 9 is a diagram illustrating an example of an overall processing flow by a control unit;

以下に添付図面を参照して、計測装置、計測方法およびプログラムの実施形態を詳細に説明する。一例として計測装置を車両に適用し、路面の状態を示す指標の一つである平たん性を計測する場合の例を示す。 Exemplary embodiments of a measuring device, a measuring method, and a program will be described in detail below with reference to the accompanying drawings. As an example, an example in which the measuring device is applied to a vehicle to measure the flatness, which is one of the indices indicating the condition of the road surface, will be described.

［既存の道路性状の平たん性点検についての概略］
実施の形態の説明に先んじて、既存の道路性状の平たん性点検について概略を説明する。道路性状を評価する指標の一つとして路面の平たん性がある。路面の平たん性は、例えば道路幅中央から左１ｍ±１５ｃｍの範囲（以下「計測範囲」と呼ぶ）の平たん性であることが求められている。例えば計測装置を搭載した車両で道路を走行し、走行中に計測範囲の３箇所（Ｐ１、Ｐ２、Ｐ３）のデータを随時収集し、収集したデータのうち位置毎（区間毎）に３箇所の計測データを用いて道路の各位置における路面の平坦性を求める。以下に示す式１（Ｓ０８２・２）および式２（Ｓ０８２・２）は、路面の平たん性を求める式の一例である。 [Outline of inspection for flatness of existing road conditions]
Prior to the description of the embodiments, an outline of an existing road property flatness inspection will be described. One of the indices for evaluating road properties is road surface flatness. The flatness of the road surface is required to be, for example, within a range of 1 m±15 cm to the left of the center of the width of the road (hereinafter referred to as "measurement range"). For example, a vehicle equipped with a measuring device is driven on a road, and while driving, data is collected at three points (P1, P2, and P3) within the measurement range. The measured data are used to determine the flatness of the road surface at each location on the road. Equation 1 (S082.2) and Equation 2 (S082.2) shown below are examples of equations for determining the flatness of the road surface.

具体的に、路面の平たん性は、位置毎に３箇所（Ｐ１、Ｐ２、Ｐ３）の計測結果を、式１のＸ１、Ｘ２、Ｘ３に代入し、位置毎に変位量ｄを求める。ここで、３箇所のうちの一つＰ２は基準点であり、その他のＰ１とＰ３は、基準点Ｐ２に対し道路に沿った前後の方向に所定間隔で位置する点（一例としてＸ１を後方の点、Ｘ３を前方の点とする）である。 Specifically, the flatness of the road surface is obtained by substituting the measurement results of three points (P1, P2, and P3) for each position into X1, X2, and X3 in Equation 1 to obtain the displacement amount d for each position. Here, one of the three points, P2, is a reference point, and the other points, P1 and P3, are points located at predetermined intervals in the front-rear direction along the road with respect to the reference point P2 (for example, X1 is a point behind the reference point). point, X3 as the forward point).

車両は３箇所の計測を行いながら走行し、車両の走行距離と計測結果とを計測装置本体に保存する。計測装置本体は、式１を使って計測データから各位置（各区間）の変位量ｄ（ｍｍ）を求める。また、車両を繰り返し走行させて計測データを繰り返し収集することにより、式２により各位置の変位量ｄの標準偏差を平たん性σとして求める。平たん性の単位は「ｍｍ」とする。 The vehicle travels while performing measurements at three locations, and the traveling distance of the vehicle and the measurement results are stored in the measuring device main body. The measurement device main body uses Equation 1 to obtain the displacement amount d (mm) at each position (each section) from the measurement data. Further, by repeatedly running the vehicle and repeatedly collecting measurement data, the standard deviation of the displacement amount d at each position is obtained as the flatness σ from Equation (2). The unit of flatness is "mm".

（第１の実施の形態）
図１は、実施の形態に係る計測装置の適用例を示す図である。図１には計測装置を搭載した車両の外観を示している。図１（ａ）は車両側面図であり、図１（ｂ）は車両正面図（または背面図）である。図１（ａ）および図１（ｂ）に示すように、車両１にはステレオカメラ１１と走行距離測定装置１２とを設けている。 (First embodiment)
FIG. 1 is a diagram showing an application example of a measuring device according to an embodiment. FIG. 1 shows the appearance of a vehicle equipped with a measuring device. FIG. 1(a) is a side view of the vehicle, and FIG. 1(b) is a front view (or rear view) of the vehicle. As shown in FIGS. 1( a ) and 1 ( b ), a vehicle 1 is provided with a stereo camera 11 and a travel distance measuring device 12 .

ステレオカメラ１１は、路面２の平たん性を求める計測範囲（例えば道路幅中央から左１ｍ±１５ｃｍの範囲）を撮影する撮影手段である。ステレオカメラ１１の配置は、車両１が撮影範囲Ｐを遮らないように配置する。図１（ａ）および図１（ｂ）に示す例では、ステレオカメラ１１を車両１の上部に設け、上方から路面２の計測範囲を撮影する。 The stereo camera 11 is a photographing means for photographing a measurement range for determining the flatness of the road surface 2 (for example, a range of 1 m±15 cm to the left from the center of the width of the road). The stereo camera 11 is arranged so that the vehicle 1 does not block the photographing range P. - 特許庁In the example shown in FIGS. 1(a) and 1(b), a stereo camera 11 is provided on the top of the vehicle 1 and photographs the measurement range of the road surface 2 from above.

撮影範囲Ｐは、計測範囲よりも広範囲に設定し、路面以外の基準線も含まれるようにする。基準線については後述する。図１（ａ）に示す例において、車両１の長さ方向における撮影範囲Ｐ_Ｌは測定間隔１．５ｍにより３ｍ以上に設定し、図１（ｂ）に示す例において、車両１の幅方向における撮影範囲Ｐ_Ｗは基準線を含めるために１ｍ以上に設定している。なお、撮影範囲Ｐの値Ｐ_Ｌ、値Ｐ_Ｗの条件は一例であり、これに限定されない。測定間隔の条件や、路面の状況や、路面周辺の状況などに応じて適宜決めてよい。 The photographing range P is set to be wider than the measurement range so that reference lines other than the road surface are also included. The reference line will be described later. In the example shown in FIG. 1(a), the photographing range P _L in the longitudinal direction of the vehicle 1 is set to 3 m or more with a measurement interval of 1.5 m, and in the example shown in FIG. The imaging range _PW is set to 1 m or more to include the reference line. Note that the conditions for the value P _L and the value P _W of the shooting range P are only examples, and are not limited to these. It may be determined as appropriate according to the measurement interval conditions, the road surface conditions, the conditions around the road surface, and the like.

本計測装置は、ステレオカメラ１１で撮影した画像から抽出した基準線を基準に路面２の計測範囲内に３箇所（Ｐ１、Ｐ２、Ｐ３）の計測点を設定し、その３箇所（Ｐ１、Ｐ２、Ｐ３）から路面の状態を計測する。３箇所（Ｐ１、Ｐ２、Ｐ３）の計測点の間隔ｗはｗ＝１．５ｍとなるように設定する。 This measurement device sets three measurement points (P1, P2, P3) within the measurement range of the road surface 2 based on the reference line extracted from the image taken by the stereo camera 11, and the three measurement points (P1, P2 , P3) to measure the condition of the road surface. The interval w between the three measurement points (P1, P2, P3) is set to w=1.5 m.

図２は、計測装置の全体構成の一例を示す図である。図２において、計測装置１０は、ステレオカメラ１１（第１のカメラ１１Ｌおよび第２のカメラ１１Ｒ）と、走行距離測定装置１２と、情報処理装置１３と、入力装置１４と、表示装置１５とを含む。 FIG. 2 is a diagram showing an example of the overall configuration of the measuring device. 2, measuring device 10 includes stereo camera 11 (first camera 11L and second camera 11R), distance measuring device 12, information processing device 13, input device 14, and display device 15. include.

ステレオカメラ１１（第１のカメラ１１Ｌおよび第２のカメラ１１Ｒ）は、それぞれイメージセンサを有し、撮影タイミング信号に基づき、露光時間、シャッタ速度などを制御して撮影範囲Ｐを含む対のフレーム画像を出力する。 The stereo cameras 11 (the first camera 11L and the second camera 11R) each have an image sensor, and control the exposure time, the shutter speed, etc. based on the photographing timing signal to produce a pair of frame images including the photographing range P. to output

走行距離測定装置１２は、車両１の走行距離を測定して走行距離データを取得する。走行距離測定装置１２は、ＧＮＳＳ(Global Navigation Satellite System)等の信号を受信する受信機である。 The mileage measuring device 12 measures the mileage of the vehicle 1 and acquires mileage data. The traveling distance measuring device 12 is a receiver that receives signals such as GNSS (Global Navigation Satellite System).

情報処理装置１３は、所定のタイミングでトリガを生成し、生成したトリガをステレオカメラ１１（第１のカメラ１１Ｌおよび第２のカメラ１１Ｒ）に送る。ステレオカメラ１１（第１のカメラ１１Ｌおよび第２のカメラ１１Ｒ）は、このトリガに応じて共に撮影を行う。ステレオカメラ１１（第１のカメラ１１Ｌおよび第２のカメラ１１Ｒ）により撮影された対の画像（ステレオ撮影画像）は、情報処理装置１３に供給される。情報処理装置１３は、ステレオカメラ１１（第１のカメラ１１Ｌおよび第２のカメラ１１Ｒ）から供給されたステレオ撮影画像と走行距離測定装置１２等から取得した走行距離データとを対応付けてストレージなどに順次蓄積する。情報処理装置１３は、蓄積したステレオ撮影画像に基づき、デプスマップの生成、生成したデプスマップの繋ぎ合わせなどの画像処理を実行し、撮影範囲Ｐの３次元データを生成する。 Information processing device 13 generates a trigger at a predetermined timing and sends the generated trigger to stereo camera 11 (first camera 11L and second camera 11R). The stereo cameras 11 (the first camera 11L and the second camera 11R) take pictures together in response to this trigger. A pair of images (stereo captured images) captured by the stereo camera 11 (the first camera 11L and the second camera 11R) are supplied to the information processing device 13 . The information processing device 13 associates the stereo captured images supplied from the stereo camera 11 (the first camera 11L and the second camera 11R) with the mileage data acquired from the mileage measuring device 12 or the like, and stores them in a storage or the like. Accumulate sequentially. The information processing device 13 generates three-dimensional data of the imaging range P by executing image processing such as generating a depth map and connecting the generated depth maps based on the accumulated stereo image.

さらに情報処理装置１３は、生成した３次元データに基づき、路面性状を示す指標（この例では路面の平たん性）を走行距離の所定区間毎に算出する。 Further, based on the generated three-dimensional data, the information processing device 13 calculates an index indicating the road surface condition (flatness of the road surface in this example) for each predetermined section of the travel distance.

入力装置１４は、例えばキーボード、マウス、タブレットといった入力デバイスである。表示装置１５は、ＬＣＤなどの表示デバイスである。情報処理装置１３は、例えば入力装置１４から撮影開始のユーザ操作を受け付けると、ステレオカメラ１１にトリガを送り撮影を開始させる。また、情報処理装置１３は、帳票作成のユーザ操作を受け付けると、路面性状（この例では主に平たん性）を算出し、表示装置１５に対し、算出した路面性状の調書を表示させる。また、情報処理装置１３は、調書を所定のデータ形式で出力するようにしてもよい。 The input device 14 is, for example, an input device such as a keyboard, mouse, or tablet. The display device 15 is a display device such as an LCD. For example, when receiving a user operation to start shooting from the input device 14, the information processing device 13 sends a trigger to the stereo camera 11 to start shooting. When the information processing device 13 receives a user operation for creating a form, the information processing device 13 calculates road surface conditions (mainly flatness in this example), and causes the display device 15 to display a report of the calculated road surface conditions. Further, the information processing device 13 may output the record in a predetermined data format.

図３は、ステレオカメラ１１の構成の一例を示すブロック図である。図３において、ステレオカメラ１１は、撮影光学系１１１Ｌおよび撮影光学系１１１Ｒと、イメージセンサ１１２Ｌおよびイメージセンサ１１２Ｒと、駆動部１１３Ｌおよび駆動部１１３Ｒと、信号処理部１１４Ｌおよび信号処理部１１４Ｒと、出力部１１５とを含む。 FIG. 3 is a block diagram showing an example of the configuration of the stereo camera 11. As shown in FIG. 3, the stereo camera 11 includes a photographing optical system 111L and a photographing optical system 111R, an image sensor 112L and an image sensor 112R, a driving section 113L and a driving section 113R, a signal processing section 114L and a signal processing section 114R, and an output 115.

撮影光学系１１１Ｌは、画角α、焦点距離ｆを有する光学系であって、被写体からの光をイメージセンサ１１２Ｌに結像する。例えばイメージセンサ１１２ＬはＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いた光センサであって、結像する光に応じた信号を出力する。なお、イメージセンサ１１２Ｌに、ＣＣＤ(Charge Coupled Device)による光センサを適用してもよい。駆動部１１３Ｌは、イメージセンサ１１２Ｌを駆動し、イメージセンサ１１２Ｌから出力された信号に対してノイズ除去、ゲイン調整などを施して出力する。信号処理部１１４Ｌは、駆動部１１３Ｌから出力された信号をＡ／Ｄ変換し、変換した画像信号に対してガンマ補正など所定の画像処理を施してディジタル方式の画像信号（第１のカメラ１１Ｌの撮影画像）を出力する。信号処理部１１４Ｌから出力された撮影画像は、出力部１１５に供給される。 The imaging optical system 111L is an optical system having an angle of view α and a focal length f, and forms an image of light from a subject on the image sensor 112L. For example, the image sensor 112L is a photosensor using a CMOS (Complementary Metal Oxide Semiconductor), and outputs a signal corresponding to light forming an image. Note that an optical sensor using a CCD (Charge Coupled Device) may be applied to the image sensor 112L. The drive unit 113L drives the image sensor 112L, performs noise removal, gain adjustment, etc. on the signal output from the image sensor 112L, and outputs the signal. The signal processing unit 114L A/D-converts the signal output from the driving unit 113L, performs predetermined image processing such as gamma correction on the converted image signal, and converts it into a digital image signal (the signal of the first camera 11L). image) is output. The captured image output from the signal processing unit 114L is supplied to the output unit 115. FIG.

撮影光学系１１１Ｒ、イメージセンサ１１２Ｒ、駆動部１１３Ｒ、および、信号処理部１１４Ｒの動作は、上述の撮影光学系１１１Ｌ、イメージセンサ１１２Ｌ、駆動部１１３Ｌ、および、信号処理部１１４Ｌと同様なので、説明を省略する。 The operations of the imaging optical system 111R, the image sensor 112R, the driving section 113R, and the signal processing section 114R are the same as those of the imaging optical system 111L, the image sensor 112L, the driving section 113L, and the signal processing section 114L. omitted.

駆動部１１３Ｌおよび駆動部１１３Ｒは、例えば情報処理装置１３から出力されたトリガが供給される。駆動部１１３Ｌおよび駆動部１１３Ｒは、このトリガに従い、イメージセンサ１１２Ｌおよびイメージセンサ１１２Ｒを駆動し、撮影を行う。 The driving unit 113L and the driving unit 113R are supplied with triggers output from the information processing device 13, for example. The driving section 113L and the driving section 113R drive the image sensor 112L and the image sensor 112R in accordance with this trigger to perform photographing.

駆動部１１３Ｌおよび１１３Ｒは、一例としてイメージセンサ１１２Ｌおよびイメージセンサ１１２Ｒにおける露光を一括同時露光方式により行う。この方式は、グローバルシャッタと呼ばれる。 As an example, the driving units 113L and 113R perform exposure in the image sensor 112L and the image sensor 112R by a batch simultaneous exposure method. This method is called a global shutter.

出力部１１５は、信号処理部１１４Ｌおよび信号処理部１１４Ｒから供給された各フレームの撮影画像（第１のカメラ１１Ｌの撮影画像および第２のカメラ１１Ｒの撮影画像）を、１対のステレオ撮影画像として出力する。出力部６０４から出力されたステレオ撮影画像は、情報処理装置１３に送られて順次蓄積される。 The output unit 115 converts the captured image of each frame (the captured image of the first camera 11L and the captured image of the second camera 11R) supplied from the signal processing unit 114L and the signal processing unit 114R into a pair of stereo captured images. output as The stereo captured images output from the output unit 604 are sent to the information processing device 13 and sequentially accumulated.

図４は、情報処理装置１３のハードウェア構成の一例を示す図である。図４において、情報処理装置１３は、それぞれバス１３０に接続されたＣＰＵ(Central Processing Unit)１３１と、ＲＯＭ(Read Only Memory)１３２と、ＲＡＭ(Random Access Memory)１３３と、グラフィクスＩ／Ｆ（インタフェース）１３４と、ストレージ１３５と、入力デバイス１３６と、データＩ／Ｆ１３７と、通信Ｉ／Ｆ１３８と、を備える。さらに、情報処理装置１３は、それぞれバス１３０に接続されたカメラＩ／Ｆ１３９と、ＧＮＳＳ部１４０と、を備える。 FIG. 4 is a diagram showing an example of the hardware configuration of the information processing device 13. As shown in FIG. 4, the information processing device 13 includes a CPU (Central Processing Unit) 131, a ROM (Read Only Memory) 132, a RAM (Random Access Memory) 133, and a graphics I/F (interface) connected to a bus 130. ) 134 , a storage 135 , an input device 136 , a data I/F 137 and a communication I/F 138 . Further, the information processing device 13 includes a camera I/F 139 and a GNSS section 140 which are connected to the bus 130 respectively.

ストレージ１３５は、データを不揮発に記憶する記憶媒体であって、ハードディスクドライブやフラッシュメモリを適用できる。ストレージ１３５は、ＣＰＵ１３１が動作するためのプログラムやデータが記憶される。 The storage 135 is a storage medium that stores data in a nonvolatile manner, and can be a hard disk drive or flash memory. The storage 135 stores programs and data for the CPU 131 to operate.

ＣＰＵ１３１は、例えば、ＲＯＭ１３２やストレージ１３５に予め記憶されたプログラムに従い、ＲＡＭ１３３をワークメモリとして用い、この情報処理装置１３の全体の動作を制御する。グラフィクスＩ／Ｆ１３４は、ＣＰＵ１３１によりプログラムに従い生成された表示制御信号に基づき、ディスプレイ１５０（表示装置１５）が対応可能な表示信号を生成する。ディスプレイ１５０は、グラフィクスＩ／Ｆ１３４から供給された表示信号に応じた画面を表示する。 The CPU 131 controls the overall operation of the information processing apparatus 13 using the RAM 133 as a work memory, for example, according to programs pre-stored in the ROM 132 or storage 135 . Graphics I/F 134 generates a display signal that can be handled by display 150 (display device 15) based on a display control signal generated by CPU 131 according to a program. Display 150 displays a screen according to the display signal supplied from graphics I/F 134 .

入力デバイス１３６（入力装置１４）は、ユーザ操作を受け付け、受け付けたユーザ操作に応じた制御信号を出力する。入力デバイス１３６としては、マウスやタブレットといったポインティングデバイスや、キーボードを適用できる。また、入力デバイス１３６とディスプレイ１５０とを一体的に形成し、所謂タッチパネル構成としてもよい。 The input device 136 (input device 14) receives a user operation and outputs a control signal according to the received user operation. As the input device 136, a pointing device such as a mouse or a tablet, or a keyboard can be applied. Also, the input device 136 and the display 150 may be integrally formed to form a so-called touch panel configuration.

データＩ／Ｆ１３７は、外部の機器との間でデータの送受信を行う。データＩ／Ｆ１３７としては、例えばＵＳＢ(Universal Serial Bus)を適用可能である。通信Ｉ／Ｆ１３８は、ＣＰＵ１３１の指示に従い、外部のネットワークに対する通信を制御する。 A data I/F 137 transmits and receives data to and from an external device. As the data I/F 137, for example, a USB (Universal Serial Bus) can be applied. Communication I/F 138 controls communication with an external network according to instructions from CPU 131 .

カメラＩ／Ｆ１３９は、ステレオカメラ１１（第１のカメラ１１Ｌおよび第２のカメラ１１Ｒ）のインタフェースである。カメラＩ／Ｆ１３９は、ステレオカメラ１１をトリガ信号で駆動し、ステレオカメラ１１から出力された１対のステレオ撮影画像を取得する。 Camera I/F 139 is an interface for stereo camera 11 (first camera 11L and second camera 11R). The camera I/F 139 drives the stereo camera 11 with a trigger signal and acquires a pair of stereo captured images output from the stereo camera 11 .

ＧＮＳＳ部１４０は、ＧＮＳＳの信号を受信し、位置情報および速度情報を取得する。ＧＮＳＳ部１４０は、受信したＧＮＳＳによる信号のドップラー効果に基づき車両１の速度情報を取得する。取得した速度情報から車両１の走行距離が求まる。 The GNSS unit 140 receives GNSS signals and acquires position information and speed information. The GNSS unit 140 acquires speed information of the vehicle 1 based on the Doppler effect of the received GNSS signal. The traveling distance of the vehicle 1 is obtained from the acquired speed information.

図５は、情報処理装置１３の機能ブロックの構成の一例を示す図である。図５において、情報処理装置１３は、制御部５０１と、ＵＩ部５０２と、位置情報取得部５０３と、撮影画像取得部５０４と、マッチング処理部５０５と、３Ｄ情報生成部５０６と、画像解析部５０７と、調書処理部５０８と、表示情報生成部５０９とを含む。 FIG. 5 is a diagram showing an example of the configuration of functional blocks of the information processing device 13. As shown in FIG. 5, the information processing apparatus 13 includes a control unit 501, a UI unit 502, a position information acquisition unit 503, a captured image acquisition unit 504, a matching processing unit 505, a 3D information generation unit 506, and an image analysis unit. 507 , a record processing unit 508 , and a display information generation unit 509 .

これら機能部は、ＣＰＵ１３１が所定のプログラムを実行することにより情報処理装置１３に実現される。なお、これら機能部の一部または全部を、ＡＳＩＣ等のハードウェア回路により構成してもよい。 These functional units are implemented in the information processing device 13 by the CPU 131 executing a predetermined program. A part or all of these functional units may be configured by a hardware circuit such as an ASIC.

制御部５０１は、情報処理装置１３全体の動作を統括的に制御するメイン制御部である。ＵＩ部５０２は、ユーザに対し操作や表示のためのユーザインタフェース機能を提供する。例えば、ボタン等の操作画面を表示してユーザによる入力操作を受け付けたり、帳票等の処理結果を表示したりする。 The control unit 501 is a main control unit that controls the overall operation of the information processing device 13 . A UI unit 502 provides the user with a user interface function for operation and display. For example, an operation screen such as a button is displayed to receive an input operation by the user, or a processing result such as a form is displayed.

位置情報取得部５０３は、ＧＮＳＳ部１４０から現在位置を示す位置情報を取得する。現在の位置情報とは車両１の現在位置を示す情報であり、一例としては緯度および経度である。 The location information acquisition unit 503 acquires location information indicating the current location from the GNSS unit 140 . The current position information is information indicating the current position of the vehicle 1, such as latitude and longitude.

撮影画像取得部５０４は、カメラＩ／Ｆ１３９にステレオ画像撮影を指示し、ステレオカメラ１１（第１のカメラ１１Ｌおよび第２のカメラ１１Ｒ）が撮影した対のステレオ撮影画像を取得する。また、撮影画像取得部５０４は、ステレオ撮影画像の取得の際に、位置情報取得部５０３から現在位置を示す位置情報を取得し、ステレオ撮影画像と位置情報とを対応付けてストレージ１３５などに保存する。 A captured image acquisition unit 504 instructs the camera I/F 139 to capture a stereo image, and acquires a pair of stereo captured images captured by the stereo camera 11 (the first camera 11L and the second camera 11R). In addition, when acquiring a stereo image, the captured image acquisition unit 504 acquires position information indicating the current position from the position information acquisition unit 503, associates the stereo image with the position information, and stores them in the storage 135 or the like. do.

マッチング処理部５０５は、撮影画像取得部５０４が取得した対のステレオ撮影画像毎に画像をマッチング処理する。３Ｄ情報生成部５０６は、マッチング後の画像に対し、三角法などにより画像内の各オブジェクトの深度情報を求め、各オブジェクトの深度情報を含む３Ｄ情報を生成する。 A matching processing unit 505 performs image matching processing for each pair of stereo captured images acquired by the captured image acquisition unit 504 . The 3D information generation unit 506 obtains depth information of each object in the image by triangulation or the like for the image after matching, and generates 3D information including the depth information of each object.

画像解析部５０７は、主に基準線の「抽出手段」と路面の状態の「計測手段」として機能する。例えば画像解析部５０７は、３Ｄ情報生成部５０６が生成した３Ｄ情報に基づき、路面性状を算出する。具体的には、画像解析部５０７は、３Ｄ情報から基準線を抽出し、抽出した基準線を、計測範囲に含まれるように道路幅方向に所定量（所定距離）だけ平行移動（シフト）する。つまり、３Ｄ情報に含まれる路面の計測範囲内に平たん性計測線（平たん性を算出する対象となる計測線）を設定する。 The image analysis unit 507 mainly functions as an “extracting means” for the reference line and a “measuring means” for the state of the road surface. For example, the image analysis unit 507 calculates road surface properties based on the 3D information generated by the 3D information generation unit 506 . Specifically, the image analysis unit 507 extracts a reference line from the 3D information, and translates (shifts) the extracted reference line by a predetermined amount (predetermined distance) in the road width direction so that it is included in the measurement range. . That is, flatness measurement lines (measurement lines for which flatness is to be calculated) are set within the measurement range of the road surface included in the 3D information.

基準線の抽出は、例えば路面の走行方向に沿う道路標識（白線等）や路肩との段差や歩道の縁石等の道路の目標物（以下、目標物体と言う）を利用する。３Ｄ情報に含まれるオブジェクトから、これら目標物体を認識することにより、目標物体とそれ以外の領域との境界線などを基準線として抽出する。 The extraction of the reference line uses, for example, road signs (white lines, etc.) along the running direction of the road surface, road targets (hereinafter referred to as target objects) such as steps from the road shoulder, sidewalk curbs, and the like. By recognizing these target objects from the objects included in the 3D information, boundary lines between the target objects and other areas are extracted as reference lines.

画像解析部５０７は、設定した平たん性計測線上において３箇所（Ｐ１、Ｐ２、Ｐ３）から路面の状態を計測する。具体的には、３箇所の計測データ（Ｘ１、Ｘ２、Ｘ３）から路面の平たん性を算出する。計測データは、３Ｄ情報から車両１と路面２との距離（高さ）を算出するなどして計測する。画像解析部５０７は、算出した値をストレージ１３５に保存する。 The image analysis unit 507 measures the condition of the road surface from three points (P1, P2, P3) on the set flatness measurement line. Specifically, the flatness of the road surface is calculated from the measurement data (X1, X2, X3) at three locations. The measurement data is measured by calculating the distance (height) between the vehicle 1 and the road surface 2 from the 3D information. The image analysis unit 507 saves the calculated value in the storage 135 .

なお、ステレオカメラ１１は車両１の進行方向に向けて連続するフレーム間で重複部分をもたせながら撮影する。このため、フレーム内の前後の関係からフレーム内の同じオブジェクトを追跡することができる。 Note that the stereo camera 11 shoots images in the traveling direction of the vehicle 1 while overlapping portions are provided between successive frames. Therefore, the same object within a frame can be tracked from the before-and-after relationship within the frame.

また、オブジェクトの認識は、各オブジェクトの画像特徴量に基づく物体認識や、ＡＩ学習により行うこともできる。 Object recognition can also be performed by object recognition based on the image feature amount of each object or by AI learning.

調書処理部５０８は、調書に関する処理を行う。例えば、調書処理部５０８は、算出された各状態特性値に基づき調書データを作成する。調書処理部５０８は、上述した規定単位毎に処理した規定調書データや、短単位毎に処理した局所調書データを作成し、例えばストレージ１３５に保存する。 A record processing unit 508 performs processing related to the record. For example, the record processing unit 508 creates record data based on the calculated state characteristic values. The working paper processing unit 508 creates the prescribed working paper data processed for each prescribed unit and the local working paper data processed for each short unit, and stores them in the storage 135, for example.

表示情報生成部５０９は、例えばユーザ入力に応じたＵＩ部５０２からの指示に従い、調書処理部５０８により出力された調書を表示する表示情報を生成する。また、表示情報生成部５０９は、ユーザ入力に応じたＵＩ部５０２からの指示に従い、画面を表示させる表示情報を生成する。 The display information generation unit 509 generates display information for displaying the report output by the report processing unit 508, for example, according to an instruction from the UI unit 502 according to user input. In addition, the display information generation unit 509 generates display information for displaying a screen according to an instruction from the UI unit 502 according to user input.

情報処理装置１３における実施形態に係る各機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。 A program for realizing each function according to the embodiment in the information processing device 13 is a file in an installable format or an executable format and stored on a CD (Compact Disk), a flexible disk (FD), a DVD (Digital Versatile Disk), or the like. provided on a computer-readable recording medium. Alternatively, the program may be provided by storing it on a computer connected to a network such as the Internet and downloading it via the network. Also, the program may be configured to be provided or distributed via a network such as the Internet.

当該プログラムは、制御部５０１と、ＵＩ部５０２と、位置情報取得部５０３と、撮影画像取得部５０４と、マッチング処理部５０５と、３Ｄ情報生成部５０６と、画像解析部５０７と、調書処理部５０８と、表示情報生成部５０９を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１３１がストレージ１３５などの記憶媒体から当該プログラムを読み出して実行することにより、上述した各部がＲＡＭ１３３などの主記憶装置上に読み出され生成される。 The program includes a control unit 501, a UI unit 502, a position information acquisition unit 503, a photographed image acquisition unit 504, a matching processing unit 505, a 3D information generation unit 506, an image analysis unit 507, and a report processing unit. 508 and a display information generation unit 509 are included in the module configuration. As actual hardware, the CPU 131 reads out the program from a storage medium such as the storage 135 and executes it, so that each unit described above is read out and generated on a main storage device such as the RAM 133 .

（実施例１）
続いて、画像解析部５０７が行う平たん性計測線の設定処理について実施例を説明する。図６は、実施例１にかかる平たん性計測線の設定処理の説明図である。図６には、路面外側基準線３１をもつ路面２を車両１が蛇行して走行する場合の例を示している。図６には、車両１と基準線との関係を分かりやすくするため車両１の上方から車両１が位置１ａ、位置１ｂ、位置１ｃの位置の順番で蛇行する様子を示している。 (Example 1)
Next, an embodiment of the flatness measurement line setting process performed by the image analysis unit 507 will be described. FIG. 6 is an explanatory diagram of the flatness measurement line setting process according to the first embodiment. FIG. 6 shows an example in which the vehicle 1 meanders and travels on the road surface 2 having the road surface outer reference line 31 . FIG. 6 shows how the vehicle 1 meanders in the order of positions 1a, 1b, and 1c from above the vehicle 1 in order to facilitate understanding of the relationship between the vehicle 1 and the reference line.

平たん性計測線２２は、平たん性を計測する規定内の計測範囲に設定する任意の線である。計測装置１０は、ステレオ撮影画像内で事前に、目標物体（所定のオブジェクト）を認識し、目標物体から抽出した基準線から所定距離にある位置に平たん性計測線２２を設定する。一例とし、実施例１では、路面外側基準線３１を目標物体と定め、路面外側基準線３１と走行路との境界線を抽出し、当該抽出結果（基準線抽出結果２１）を基準線に予め決めた方向に距離Ｄ１だけ平行移動した平行線を平たん性計測線２２として設定する。つまり、実施例１では基準線抽出結果２１が基準線に相当する。 The flatness measurement line 22 is an arbitrary line that is set within a specified measurement range for measuring flatness. The measuring apparatus 10 recognizes a target object (predetermined object) in the stereo image in advance, and sets a flatness measurement line 22 at a position at a predetermined distance from a reference line extracted from the target object. As an example, in the first embodiment, the road surface outer reference line 31 is defined as the target object, the boundary line between the road surface outer reference line 31 and the traveling road is extracted, and the extraction result (reference line extraction result 21) is used as the reference line in advance. A parallel line translated by a distance D1 in the determined direction is set as the flatness measurement line 22 . That is, in the first embodiment, the reference line extraction result 21 corresponds to the reference line.

路面外側基準線３１は、路面２の歩道側に設けられている走行方向を示す線（例えば白線）であり、路面外側基準線３１が含まれる路面２は多い。ステレオカメラ１１による撮影範囲Ｐは計測範囲と目標物体（この例では路面外側基準線３１）とを含む広い範囲のため、ステレオ撮影画像内には常に計測範囲と目標物体（路面外側基準線３１）とが含まれる。このように目標物体を路面外側基準線３１とすることにより、車両１が蛇行しても、一例の位置１ａ、位置１ｂ、位置１ｃに示すように各位置で撮影範囲Ｐに計測範囲と目標物体（路面外側基準線３１）とが含まれる。よって、ステレオ撮影画像において路面外側基準線３１の基準線を抽出し、基準線抽出結果２１を車道側（計測範囲側）に距離Ｄ１だけ平行移動する。これにより、路面２の幅方向において常に一定の位置（計測範囲内の一定の位置）に平たん性計測線２２を設定することができる。 The road surface outer reference line 31 is a line (for example, a white line) indicating the running direction provided on the sidewalk side of the road surface 2 , and many road surfaces 2 include the road surface outer reference line 31 . Since the imaging range P by the stereo camera 11 is a wide range including the measurement range and the target object (the road surface outer reference line 31 in this example), the measurement range and the target object (the road surface outer reference line 31) are always included in the stereo image. and are included. By setting the target object as the road surface outer reference line 31 in this way, even if the vehicle 1 meanders, the measurement range and the target object are set in the photographing range P at each position as shown in example positions 1a, 1b, and 1c. (road surface outer reference line 31). Therefore, the reference line of the road surface outer reference line 31 is extracted from the stereo image, and the reference line extraction result 21 is translated toward the roadway (measurement range side) by a distance D1. Thereby, the flatness measurement line 22 can always be set at a constant position (a constant position within the measurement range) in the width direction of the road surface 2 .

設定後は、平たん性計測線２２上に３点（Ｐ１、Ｐ２、Ｐ３）を位置補正済み測定点として設定し、各位置補正済み測定点Ｐ１、Ｐ２、Ｐ３をステレオ撮影画像から計測し、それらの計測データを式１、式２に当て嵌めて平たん性を求める。 After setting, three points (P1, P2, and P3) are set on the flatness measurement line 22 as position-corrected measurement points, and the position-corrected measurement points P1, P2, and P3 are measured from the stereo image, The flatness is obtained by applying these measurement data to the formulas (1) and (2).

なお、この例では目標物体として路面外側基準線３１を用いたが、路面２の中央線（白線破線）３２を用いてもよい。 In this example, the road surface outer reference line 31 is used as the target object, but the center line (white dashed line) 32 of the road surface 2 may be used.

（実施例２）
実施例１では、目標物として路面２の道路標識（白線等）を用いたが、目標物は、これに限らず、路端部（コンクリート、アスファルト等の異材料の境界）や、車道の外にある境界として視認可能なものであってもよい。車道の外とは、一例としては河川の側線、ブロック、あるいは公共施設の塀などであり、これらを目標物として用いることができる。 (Example 2)
In the first embodiment, road signs (white lines, etc.) on the road surface 2 are used as targets. It may be something visible as a boundary at. The outside of the roadway is, for example, a siding of a river, a block, or a fence of a public facility, and these can be used as targets.

図７は、実施例２にかかる平たん性計測線の設定処理の説明図である。図７には、路端部を目標物体（つまり目標物）とした場合の例を示している。 FIG. 7 is an explanatory diagram of the flatness measurement line setting process according to the second embodiment. FIG. 7 shows an example in which the road edge is the target object (that is, the target object).

平たん性計測線２２は、実施例２では歩道３の平たん性を計測するため、車道の外である歩道３側の規定の計測範囲に設定する。なお、実施例１のように車道側の平たん性を計測する場合には、車道側の計測範囲に設定すればよい。 The flatness measurement line 22 is set in a prescribed measurement range on the sidewalk 3 outside the roadway in order to measure the flatness of the sidewalk 3 in the second embodiment. When measuring the flatness on the roadway side as in the first embodiment, the measurement range may be set on the roadway side.

実施例２では、路端部を目標物体と定め、路端部と路面２との境界（「路端線」と呼ぶ）３６を抽出し、抽出結果（基準線抽出結果２１）を基準に予め決めた方向（この例では歩道３側）に距離Ｄ１だけ平行移動した平行線を平たん性計測線２２とする。つまり、この例では基準線抽出結果２１である路端線３６が基準線に相当する。 In the second embodiment, the road edge is defined as the target object, the boundary between the road edge and the road surface 2 (referred to as "road edge line") 36 is extracted, and based on the extraction result (reference line extraction result 21), A parallel line translated by a distance D1 in the determined direction (the sidewalk 3 side in this example) is defined as a flatness measurement line 22 . That is, in this example, the road edge line 36, which is the reference line extraction result 21, corresponds to the reference line.

ステレオカメラ１１による撮影範囲Ｐは路面２と目標物体（この例では路端部）と歩道３側の計測範囲とを含む範囲のため、ステレオ撮影画像内には常に路面２と目標物体（路端部）と歩道３の計測範囲とが含まれる。このように目標物体を路端部とし、ステレオ撮影画像において路端線３６を抽出し、路端線３６を計測範囲内に距離Ｄ１だけ平行移動する。これにより、歩道３の幅方向においても常に一定の位置（計測範囲内の位置）に平たん性計測線２２をとることができる。なお、歩道の場合、車両１の長さ方向における撮影範囲Ｐ_Ｌは測定間隔０．２５ｍとする。 Since the imaging range P by the stereo camera 11 includes the road surface 2, the target object (road edge in this example), and the measurement range on the sidewalk 3 side, the road surface 2 and the target object (road edge) are always included in the stereo image. part) and the measurement range of the sidewalk 3 are included. In this way, the target object is the road edge, the road edge 36 is extracted from the stereo image, and the road edge 36 is translated by the distance D1 within the measurement range. As a result, the flatness measurement line 22 can always be taken at a constant position (position within the measurement range) in the width direction of the sidewalk 3 as well. In the case of a sidewalk, the photographing range _PL in the longitudinal direction of the vehicle 1 is set to 0.25 m at the measurement interval.

この平たん性計測線２２を使用した計測は、実施例１と同様に説明できるため、これ以上の説明を省略する。 Since the measurement using this flatness measurement line 22 can be explained in the same manner as in the first embodiment, further explanation will be omitted.

なお、車道外の段差、路肩を形成しているコンクリートなどにおいては、路肩の上部、下部ともに同一材で形成されており、輝度差による境界視認が困難な場合がある。よって、このような状況で形状計測情報を用いることは有用である。 It should be noted that in the case of steps outside the roadway and concrete that forms the road shoulder, both the upper and lower parts of the shoulder are made of the same material, and it may be difficult to visually recognize the boundary due to the difference in brightness. Therefore, it is useful to use shape measurement information in such situations.

（実施例３）
路面２によっては実施例１に述べた、路面外側基準線３１が常に設けられているとは限らない。その場合には、路面外側基準線３１と例えば路端部などのそれぞれを目標物体の複数候補として認識し、走行中の車両１の位置に応じ何れか一つの目標物体の基準線を平たん性計測線の設定に利用する。 (Example 3)
Depending on the road surface 2, the road surface outer reference line 31 described in the first embodiment is not always provided. In that case, each of the road surface outer reference line 31 and, for example, the road edge is recognized as a plurality of target object candidates, and one of the reference lines of the target object is selected according to the position of the vehicle 1 during running. Used for setting measurement lines.

図８は、実施例３にかかる平たん性計測線の設定処理の説明図である。図８には、路面外側基準線３１がある位置とない位置が混在した路面を示している。 FIG. 8 is an explanatory diagram of the flatness measurement line setting process according to the third embodiment. FIG. 8 shows a road surface in which some positions have and some do not have the road surface outer reference line 31 .

平たん性計測線２２は、実施例１のように車道側の平たん性を計測するものとして説明する。図８においては、路面外側基準線３１を基準としてから内側に距離Ｄ１の位置に平たん性計測線を設定することを要求とする。この場合においては、位置１ａでは、路面外側基準線３１があるものの、位置１ｂでは、路面外側基準線３１が存在せず、位置１ｂで、路面外側基準線３１の基準線（第一候補の基準線）を利用することができない、そこで、位置１ａにおいて、第一候補である路面外側基準線３１と、第二候補となる路端部を認識し、路面外側基準線３１の基準線（第一候補の基準線）と路端部の基準線（第二候補の基準線）の間隔（距離）Ｄ５を計測しておく。そうすることで、位置１ｂにおいても、路面外側基準線３１がある場合の設定位置と同じ設定位置、即ち路端線３６から距離Ｄ１に加えさらに距離Ｄ５を平行移動したＤ１＋Ｄ５の位置に平たん性計測線２２を設定することができる。 The flatness measurement line 22 will be explained assuming that the flatness on the roadway side is measured as in the first embodiment. In FIG. 8, it is required to set the flatness measurement line at a position a distance D1 inside from the road surface outer reference line 31 as a reference. In this case, although the road surface outside reference line 31 exists at the position 1a, the road surface outside reference line 31 does not exist at the position 1b, and the reference line of the road surface outside reference line 31 (first candidate reference) exists at the position 1b. Therefore, at position 1a, the road surface outer reference line 31, which is the first candidate, and the road edge, which is the second candidate, are recognized, and the reference line of the road surface outer reference line 31 (first The interval (distance) D5 between the candidate reference line) and the road edge reference line (second candidate reference line) is measured. By doing so, even at the position 1b, the same set position as the set position when the road surface outer reference line 31 exists, that is, the position of D1+D5, which is the distance D1 and the distance D5 translated from the road edge line 36, has flatness. A measurement line 22 can be set.

なお、位置１ａから位置１ｂに変化するのではなく位置１ｂから位置１ｃに変化するような場合には、第一候補と第二候補を入れ替えて第一候補を路端部、第二候補を路面外側基準線３１とする。いずれにせよ目標物体として事前に複数の候補を設定し、基準線の間隔を算出しておくことにより、最初に検出された目標物体が途中で途切れてなくなったとしても他の候補を検出できれば、平たん性計測線２２の設定が随時可能である。 In addition, when the position 1b is changed to the position 1c instead of the position 1a to the position 1b, the first candidate and the second candidate are exchanged so that the first candidate is the road edge and the second candidate is the road surface. An outer reference line 31 is used. In any case, by setting a plurality of candidates as the target object in advance and calculating the interval between the reference lines, even if the first detected target object is interrupted and disappears, if other candidates can be detected, The flatness measurement line 22 can be set at any time.

（全体フロー）
図９は、制御部５０１による全体の処理フローの一例を示す図である。車両１が計測対象の道路（路線）に入り所定の速度走行を行って、制御部５０１がステレオ撮影を開始する（Ｓ１）。ステレオ撮影の開始は、ユーザが計測装置１０の計測開始ボタンを押下するなどして開始する。さらに、制御部５０１は、ステレオ撮影を開始すると、走行距離計測も開始する（Ｓ２）。車両１の走行は一般に４０～５０ｋｍ／ｈの速度でなされ、走行距離計測のサンプリング周期は一例として２００Ｈｚから５００Ｈｚ程度である。 (Overall flow)
FIG. 9 is a diagram showing an example of the overall processing flow by the control unit 501. As shown in FIG. The vehicle 1 enters the road (route) to be measured and travels at a predetermined speed, and the control unit 501 starts stereo photography (S1). Stereo imaging is started by the user pressing a measurement start button of the measurement device 10 or the like. Furthermore, when the stereo shooting is started, the control unit 501 also starts the travel distance measurement (S2). The vehicle 1 generally travels at a speed of 40 to 50 km/h, and the sampling period for measuring the traveling distance is, for example, about 200 Hz to 500 Hz.

続いて、制御部５０１は、走行距離計測値を読み取り、予め規定された平たん性の計測距離周期を超えたかどうかを判定する（Ｓ３）。 Subsequently, the control unit 501 reads the travel distance measurement value and determines whether or not it exceeds a predetermined flatness measurement distance cycle (S3).

予め規定された平たん性の計測距離周期を超えている場合（Ｓ３：Ｙｅｓ）、制御部５０１は平たん性の計測フローに入る（Ｓ４）。ここで計測距離周期は任意であるが、一例として１０ｍｍ～５０ｍｍ程度とする。 If the predetermined flatness measurement distance cycle is exceeded (S3: Yes), the control unit 501 enters the flatness measurement flow (S4). Here, the measurement distance period is arbitrary, but as an example, it is set to about 10 mm to 50 mm.

平たん性の計測フローとして、制御部５０１は、先ず撮影範囲Ｐに含まれるオブジェクト（路面や目標物体を含む）の認識処理を行う（Ｓ４）。目標物体の認識がなされたあと、制御部５０１は、目標物体の基準線抽出結果２１を抽出する（Ｓ５）。 As a flatness measurement flow, the control unit 501 first performs recognition processing of objects (including road surfaces and target objects) included in the imaging range P (S4). After the target object is recognized, the control unit 501 extracts the reference line extraction result 21 of the target object (S5).

次に、制御部５０１は、基準線抽出結果２１を一定距離Ｄ１だけ平行移動させて平たん性計測線２２を設定する（Ｓ６）。 Next, the control unit 501 sets the flatness measurement line 22 by translating the reference line extraction result 21 by a certain distance D1 (S6).

次に、制御部５０１は、平たん性計測線２２上に位置補正済計測点Ｐ１、Ｐ２、Ｐ３を設定する（Ｓ７）。３点の計測点のうち、例えば中央の点の位置Ｐ２をｄ値の計測位置として定義する。 Next, the control unit 501 sets position-corrected measurement points P1, P2, and P3 on the flatness measurement line 22 (S7). Of the three measurement points, for example, the central point P2 is defined as the d-value measurement position.

次に制御部５０１は、各計測点での計測を実施し、計測により得た計測データを数式１に代入することでｄ値を算出し（Ｓ８）、ｄ値と、その地点における走行距離とを対応付けてストレージに保存する（Ｓ９）。 Next, the control unit 501 performs measurement at each measurement point, calculates the d value by substituting the measurement data obtained by the measurement into Equation 1 (S8), and calculates the d value and the distance traveled at that point. are associated with each other and stored in the storage (S9).

制御部５０１は、車両走行区間が規定距離を超過したかを判定し（Ｓ１０）、既定距離を超過していない場合（Ｓ１０：Ｎｏ）、Ｓ２～Ｓ９までの一連のｄ値計測を繰り返す。既定距離は一般的に２０ｍ～１００ｍ程度に一定距離周期として設定される。 The control unit 501 determines whether the vehicle traveling section has exceeded the prescribed distance (S10), and if the prescribed distance has not been exceeded (S10: No), repeats a series of d value measurements from S2 to S9. The predetermined distance is generally set as a fixed distance period of about 20m to 100m.

既定距離を超過すると（Ｓ１０：Ｙｅｓ）、制御部５０１は、該当走行区間のｄ値が蓄積されたと判断し、区間内のｄ値群を用いて数式２により平たん性を算出する（Ｓ１１）。 If the predetermined distance is exceeded (S10: Yes), the control unit 501 determines that the d value of the corresponding travel section has been accumulated, and calculates the flatness using Equation 2 using the d value group within the section (S11). .

制御部５０１は、車両１が計測対象路線を走行中かを判定し（Ｓ１２）、その路線を走行中の場合（Ｓ１２：Ｙｅｓ）、Ｓ２～Ｓ１１を繰り返し行う。 The control unit 501 determines whether the vehicle 1 is traveling on the measurement target route (S12), and if it is traveling on the route (S12: Yes), repeats S2 to S11.

計測対象路線の走行を終えたと判断されたら（Ｓ１２：Ｎｏ）、撮影を終了する（Ｓ１３）。 If it is determined that the travel on the measurement target route is finished (S12: No), the photographing is finished (S13).

以上のように、本実施の形態では、路面上の計測範囲と道路目標物とを共に撮影し、ステレオカメラが撮影した撮影画像において道路目標物から基準線を抽出し、基準線を計測範囲にシフトした計測線で平たん性を算出するようにした。このため、車両が蛇行走行した場合であっても、基準線から計測線を正確に設定することができるため、蛇行を許容しながらも路面の平たん性を精度よく求めることができる。 As described above, in the present embodiment, both the measurement range on the road surface and the road target are photographed, the reference line is extracted from the road target in the photographed image captured by the stereo camera, and the reference line is included in the measurement range. The flatness is calculated by the shifted measurement line. Therefore, even when the vehicle meanders, the measurement line can be accurately set from the reference line, so that the evenness of the road surface can be obtained with high accuracy while allowing meandering.

なお、上述の実施の形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。 Although the above embodiment is a preferred embodiment of the present invention, it is not limited to this, and various modifications can be made without departing from the scope of the present invention.

１車両
２路面
１０計測装置
１１ステレオカメラ
１２走行距離測定装置
１３情報処理装置
５０１制御部
５０２ＵＩ部
５０３位置情報取得部
５０４撮影画像取得部
５０５マッチング処理部
５０６３Ｄ情報生成部
５０７画像解析部
５０８調書処理部
５０９表示情報生成部
Ｐ撮影範囲
Ｐ１、Ｐ２、Ｐ３基準性上の計測点 1 vehicle 2 road surface 10 measurement device 11 stereo camera 12 mileage measurement device 13 information processing device 501 control unit 502 UI unit 503 position information acquisition unit 504 captured image acquisition unit 505 matching processing unit 506 3D information generation unit 507 image analysis unit 508 record Processing unit 509 Display information generation unit P Shooting range P1, P2, P3 Measurement points on standardity

特開２０１２－１７３０９５号公報JP 2012-173095 A

Claims

a stereo camera that captures both the measurement range on the road surface and the target object;
extracting means for extracting a reference line from the target in the captured image captured by the stereo camera;
a measuring means for measuring the condition of the road surface with a measurement line obtained by shifting the reference line to the measurement range in the captured image;
A measuring device comprising:

The measuring means measures the state of the road surface from measurement data of a plurality of measurement points set on the measurement line, which is a predetermined distance parallel to the reference line in the road width direction.
The measuring device according to claim 1, characterized by:

The measuring device according to claim 1 or 2, wherein the measuring line is set on the roadway side.

The measuring device according to claim 1 or 2, wherein the measuring line is set outside the roadway.

The extracting means extracts a plurality of the reference lines in the captured image,
When the first candidate reference line is not extracted by the extracting means, the measuring means uses the second candidate reference line extracted by the extracting means to obtain the first candidate reference line and the second candidate reference line. Measure the condition of the road surface with a measurement line that is further translated by a distance in the road width direction from the reference line of
The measuring device according to any one of claims 1 to 4, characterized in that:

A measurement method for measuring the flatness of a road surface,
a step in which the stereo camera photographs both the measurement range on the road surface and the target object;
extracting a reference line from the target in the captured image captured by the stereo camera;
a step of measuring the condition of the road surface with a measurement line obtained by shifting the reference line to the measurement range in the captured image;
Measurement method including.

to the computer,
an extracting means for extracting a reference line from the target in an image captured by a stereo camera that captures both the measurement range on the road surface and the target;
a measuring means for measuring the condition of the road surface with a measurement line obtained by shifting the reference line to the measurement range in the captured image;
program to realize