JP2017125809A - Information processing apparatus, information processing system, and program - Google Patents
Information processing apparatus, information processing system, and program Download PDFInfo
- Publication number
- JP2017125809A JP2017125809A JP2016006248A JP2016006248A JP2017125809A JP 2017125809 A JP2017125809 A JP 2017125809A JP 2016006248 A JP2016006248 A JP 2016006248A JP 2016006248 A JP2016006248 A JP 2016006248A JP 2017125809 A JP2017125809 A JP 2017125809A
- Authority
- JP
- Japan
- Prior art keywords
- polarization information
- frozen
- information
- polarization
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
本発明は、物体の表面の凍結を検出する装置、システムおよびその検出する処理をコンピュータに実行させるためのプログラムに関する。 The present invention relates to an apparatus and system for detecting freezing of the surface of an object, and a program for causing a computer to execute a process for detecting the system.
カメラの撮像素子上に領域分割した偏光フィルタを設置し、画素毎に取得する光の偏光方向を変えることで、撮像した画像の偏光情報に基づき、輝度情報のみでは判断できない物体を判別する方法が知られている。この方法により、全体が黒色の被写体や透明な被写体であっても、その形状や存在を検知することができる。 A method of discriminating objects that cannot be determined only by luminance information based on the polarization information of the captured image by installing a polarization filter divided into regions on the image sensor of the camera and changing the polarization direction of the light acquired for each pixel. Are known. This method can detect the shape and presence of a black subject or a transparent subject as a whole.
例えば、このカメラを使用し、撮像した画像中の周波数成分の分布の特徴値を算出し、特徴値が設置された値より大か否かにより路面の凍結、湿潤、乾燥を判定する方法が提案されている（特許文献１参照）。 For example, using this camera, a feature value of the distribution of frequency components in the captured image is calculated, and a method to determine whether the road surface is frozen, wet, or dry based on whether the feature value is greater than the installed value is proposed (See Patent Document 1).
しかしながら、上記の方法では、様々な氷の状態、環境、路面状態に対応するためには、全ての状態の組み合わせのサンプルを準備し、各サンプルに対してパラメータを調整しなければならない。全ての状態の組み合わせのサンプルを準備することは困難で、現実的には位置を固定する等の制御された環境や外乱が少ない状況にしか対応できないという問題があった。 However, in the above method, in order to cope with various ice conditions, environments, and road surface conditions, it is necessary to prepare samples having combinations of all conditions and adjust parameters for each sample. It is difficult to prepare samples for all combinations of states, and there is a problem that, in reality, it is possible to deal only with a controlled environment such as fixing the position and a situation where there is little disturbance.
本発明は、上記に鑑みてなされたものであって、限られたサンプル数で、様々な環境における路面等の物体の表面の凍結を検出することができる装置、システムおよびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and provides an apparatus, system, and program capable of detecting freezing of the surface of an object such as a road surface in various environments with a limited number of samples. Objective.
上述した課題を解決し、目的を達成するために、本発明は、物体の表面の凍結を検出する情報処理装置であって、物体の偏光情報を取得可能な取得装置から偏光情報の入力を受け付ける入力部と、入力部が受け付けた偏光情報に基づき、物体の表面が凍結しているか否かを判定する凍結判定部とを含み、凍結判定部は、表面が凍結している物体についての偏光情報の数が０または表面が凍結していない物体についての偏光情報の数より少ない、予め取得された複数の偏光情報を用いて機械学習を行い、該機械学習の結果を用いて物体の表面が凍結しているか否かを判定する、情報処理装置を提供する。 In order to solve the above-described problems and achieve the object, the present invention is an information processing apparatus that detects freezing of the surface of an object, and receives input of polarization information from an acquisition apparatus that can acquire polarization information of the object. An input unit and a freezing determination unit that determines whether or not the surface of the object is frozen based on the polarization information received by the input unit. The freezing determination unit includes polarization information about the object whose surface is frozen Machine learning is performed using a plurality of pieces of polarization information acquired in advance, which is less than the number of polarization information for an object whose surface is not frozen or the surface is not frozen, and the surface of the object is frozen using the result of the machine learning Provided is an information processing apparatus for determining whether or not
本発明によれば、限られたサンプル数で、様々な環境における物体の表面の凍結を検出することが可能となる。 According to the present invention, it is possible to detect freezing of the surface of an object in various environments with a limited number of samples.
図１は、物体の偏光情報を取得可能な取得装置と、その物体の表面の凍結を検出する情報処理装置とを含む情報処理システムの構成例を示した図である。物体は、道路や線路等、いかなる物体であってもよいが、以下、車両が通行する道路とし、その表面を路面として説明する。また、表面の凍結は、路面に氷が形成された状態である。この情報処理システムは、路面の凍結を検出するシステムであるが、路面が水で濡れた湿潤状態や水で濡れていない乾燥状態も検出可能である。 FIG. 1 is a diagram illustrating a configuration example of an information processing system including an acquisition device that can acquire polarization information of an object and an information processing device that detects freezing of the surface of the object. The object may be any object such as a road or a track. Hereinafter, the object will be described as a road on which a vehicle passes, and the surface thereof will be described as a road surface. In addition, freezing of the surface is a state in which ice is formed on the road surface. This information processing system is a system that detects freezing of the road surface, but can also detect a wet state where the road surface is wet with water and a dry state where the road surface is not wet.
情報処理システムは、必要に応じて、路面に光を照射する照射装置としての光源１０を備えることができる。光源１０としては、蛍光灯、水銀ランプ、キセノンランプ、ハロゲンランプ、メタルハライドランプ、HID(High Intensity Discharge)ランプ、LED(Light Emitting Diode)等を挙げることができる。 The information processing system can include a light source 10 as an irradiation device that irradiates light to the road surface as necessary. Examples of the light source 10 include a fluorescent lamp, a mercury lamp, a xenon lamp, a halogen lamp, a metal halide lamp, an HID (High Intensity Discharge) lamp, and an LED (Light Emitting Diode).
取得装置は、路面の偏光情報のみを取得するセンサであってもよいが、偏光情報に加えて、輝度情報も取得可能な撮像装置１１とすることができる。以下、取得装置を撮像装置１１とし、撮像装置１１が偏光情報を含む画像を撮像して取得するものとして説明する。 The acquisition device may be a sensor that acquires only the polarization information of the road surface, but the imaging device 11 can acquire luminance information in addition to the polarization information. In the following description, it is assumed that the acquisition device is the imaging device 11 and the imaging device 11 captures and acquires an image including polarization information.
撮像装置１１は、CCD(Charged Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備える。撮像素子は、入射された光を電気信号に変換するデバイスである。撮像装置１１は、この撮像素子上に偏光フィルタ１２を設置し、輝度情報とともに偏光情報も取得することができるようになっている。偏光は、振動方向が規則的な光である。黒色体や透明な物体であっても、形状等が異なると、偏光状態が異なることから、撮像装置１１は、偏光フィルタ１２を用い、この偏光状態の差異を撮像して取得する。 The imaging device 11 includes an imaging element such as a CCD (Charged Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. An image sensor is a device that converts incident light into an electrical signal. The imaging device 11 is provided with a polarizing filter 12 on the imaging element, and can acquire polarization information as well as luminance information. Polarized light is light having a regular vibration direction. Even if it is a black body or a transparent object, if the shape or the like is different, the polarization state is different. Therefore, the imaging device 11 uses the polarization filter 12 to capture and acquire the difference in polarization state.
情報処理装置１３は、撮像装置１１とケーブルにより有線接続され、撮像装置１１が撮像した偏光情報と輝度情報とを有する画像を取得する。情報処理装置１３は、凍結した路面を撮像した画像の数が０または乾燥状態の路面および湿潤状態の路面といった凍結していない路面を撮像した画像の数より少ない、予め取得された複数の画像を学習データとして用い、機械学習を行ってアルゴリズムを発展させる。情報処理装置１３は、判定する対象の路面を撮像した画像を取得した場合、機械学習の結果としての上記のアルゴリズムを使用し、取得した画像に基づき、その路面が凍結しているか否かを判定し、その路面の凍結を検出する。 The information processing device 13 is wired to the imaging device 11 via a cable, and acquires an image having polarization information and luminance information captured by the imaging device 11. The information processing device 13 obtains a plurality of previously acquired images in which the number of images obtained by imaging a frozen road surface is 0 or less than the number of images obtained by imaging a road surface that is not frozen, such as a dry road surface and a wet road surface. It is used as learning data, and machine learning is performed to develop the algorithm. When the information processing device 13 acquires an image obtained by imaging a road surface to be determined, the information processing device 13 uses the above algorithm as a result of machine learning, and determines whether the road surface is frozen based on the acquired image. The freezing of the road surface is detected.
撮像装置１１と情報処理装置１３とは、上記の有線接続に限らず、Wi-Fi等の無線LAN(Local Area Network)により接続されていてもよい。また、撮像装置１１と情報処理装置１３とは、情報処理装置１３がインターネット等のネットワークに接続され、そのネットワークに接続されたアクセスポイントを介して撮像装置１１と接続されていてもよい。 The imaging device 11 and the information processing device 13 are not limited to the above-described wired connection, and may be connected by a wireless LAN (Local Area Network) such as Wi-Fi. In addition, the imaging device 11 and the information processing device 13 may be connected to the imaging device 11 via an access point connected to the network, with the information processing device 13 connected to a network such as the Internet.
情報処理システムは、光源１０と撮像装置１１と情報処理装置１３のそれぞれを任意の位置に設置し、その位置を固定することができる。しかしながら、これに限られるものではなく、光源１０と撮像装置１１のみを、または光源１０と撮像装置１１と情報処理装置１３の全部を車両等の移動体に設置し、移動可能とされていてもよい。 The information processing system can fix each of the light source 10, the imaging device 11, and the information processing device 13 at arbitrary positions. However, the present invention is not limited to this. Even if only the light source 10 and the imaging device 11 or all of the light source 10, the imaging device 11 and the information processing device 13 are installed in a moving body such as a vehicle, the vehicle can be moved. Good.
図２および図３を参照して、撮像装置１１について説明する。撮像装置１１は、図示しない結像レンズと、撮像素子１４と、光学フィルタ１５とを含んで構成される。結像レンズは、入射される光を集光し、像を生成するためのレンズである。撮像素子１４は、図３に示すように基板１６上に画素（ピクセル）が二次元配列したもので、図２に示す例では、その配列は正方行列配置となっている。撮像素子１４は、結像レンズとは離間して配置され、入射された光を電気信号に変換する。なお、撮像素子１４は、モノクロのセンサであってもよいし、カラーセンサであってもよい。 The imaging device 11 will be described with reference to FIGS. 2 and 3. The imaging device 11 includes an imaging lens (not shown), an imaging element 14, and an optical filter 15. The imaging lens is a lens for collecting incident light and generating an image. As shown in FIG. 3, the imaging element 14 is a two-dimensional array of pixels (pixels) on a substrate 16. In the example shown in FIG. 2, the arrangement is a square matrix arrangement. The image sensor 14 is disposed away from the imaging lens and converts incident light into an electrical signal. Note that the image sensor 14 may be a monochrome sensor or a color sensor.
光学フィルタ１５は、図３に示すように偏光フィルタ１２を、フィルタ基板１７と充填材１８で挟持した構成とされている。光学フィルタ１５は、撮像素子１４と密着して配置され、接着剤としての充填材１８により一体化されている。 As shown in FIG. 3, the optical filter 15 is configured such that the polarizing filter 12 is sandwiched between a filter substrate 17 and a filler 18. The optical filter 15 is disposed in close contact with the image sensor 14 and is integrated by a filler 18 as an adhesive.
フィルタ基板１７は、結像レンズを通して光学フィルタ１５に入射する入射光を透過する透明な基板である。偏光フィルタ１２は、フィルタ基板１７の撮像素子１４側の面に偏光フィルタ層として形成される。充填材１８は、この偏光フィルタ層を覆うように形成される。光学フィルタ１５に入射された光のうち、偏光フィルタ１２を透過した光は、撮像素子１４の各画素領域に入射される。 The filter substrate 17 is a transparent substrate that transmits incident light incident on the optical filter 15 through the imaging lens. The polarizing filter 12 is formed as a polarizing filter layer on the surface of the filter substrate 17 on the image sensor 14 side. The filler 18 is formed so as to cover the polarizing filter layer. Of the light incident on the optical filter 15, the light transmitted through the polarization filter 12 is incident on each pixel region of the image sensor 14.
偏光フィルタ１２は、偏光方向が異なる複数種の偏光子を、撮像素子１４の画素サイズに併せて二次元的に配列してなる領域分割偏光フィルタである。図２に示す例では、隣接する４つの画素PC1〜PC4に対応して、偏光子POL1〜POL4が重ね合わされている。偏光フィルタ１２に用いられる偏光子の種類は、S偏光成分を透過させるものと、P偏光成分を透過させるものの２種類である。ここで、S偏光は、入射する光の偏光方向が反射面に平行に偏光した光で、P偏光は、その反射面に垂直に偏光した光である。これら２種類の偏光子は、撮像素子１４の画素配列の縦方向（二次元行列配列の列方向）を長手方向とする短冊状のパターン、横方向（二次元行列配列の行方向）を長手方向とする短冊状のパターンを有している。 The polarizing filter 12 is a region-dividing polarizing filter in which a plurality of types of polarizers having different polarization directions are two-dimensionally arranged in accordance with the pixel size of the image sensor 14. In the example shown in FIG. 2, the polarizers POL1 to POL4 are overlapped corresponding to the four adjacent pixels PC1 to PC4. There are two types of polarizers used in the polarizing filter 12, one that transmits the S-polarized component and one that transmits the P-polarized component. Here, S-polarized light is light in which the polarization direction of incident light is polarized parallel to the reflecting surface, and P-polarized light is light polarized perpendicular to the reflecting surface. These two types of polarizers are strip-shaped patterns whose longitudinal direction is the vertical direction of the pixel array of the image sensor 14 (column direction of the two-dimensional matrix array), and whose horizontal direction (row direction of the two-dimensional matrix array) is the longitudinal direction. And a strip-like pattern.
図２に示す例では、縦方向を長手方向とする短冊状のパターンを有する偏光子が、S偏光成分を透過させる偏光子であり、横方向を長手方向とする短冊状のパターンを有する偏光子が、P偏光成分を透過させる偏光子である。偏光フィルタ層が形成されている領域では、S偏光とP偏光が透過し、撮像素子１４は、その透過したS偏光とP偏光が受光される。このようにして、画素毎に、S偏光の像またはP偏光の像が撮像される。なお、これらは、後述する差分画像を形成することで視差画像として各種情報の検知に利用される。 In the example shown in FIG. 2, a polarizer having a strip-like pattern with the longitudinal direction as the longitudinal direction is a polarizer that transmits the S-polarized component, and a polarizer having a strip-like pattern with the lateral direction as the longitudinal direction. Is a polarizer that transmits the P-polarized light component. In the region where the polarizing filter layer is formed, S-polarized light and P-polarized light are transmitted, and the image sensor 14 receives the transmitted S-polarized light and P-polarized light. In this way, an S-polarized image or a P-polarized image is captured for each pixel. These are used for detection of various types of information as a parallax image by forming a differential image described later.
図２に示す例では、領域分割偏光フィルタを使用する構成を示したが、これに限定されるものではない。例えば、撮像装置１１としてのカメラの前面に偏光子を配置し、その偏光子を回転させながら複数枚の偏光角が異なる画像を取得する構成のカメラを使用してもよい。 In the example illustrated in FIG. 2, the configuration using the area-dividing polarizing filter is illustrated, but the configuration is not limited thereto. For example, a camera having a configuration in which a polarizer is arranged in front of a camera as the imaging device 11 and a plurality of images with different polarization angles are acquired while rotating the polarizer may be used.
図４を参照して、情報処理装置１３のハードウェア構成について説明する。情報処理装置１３は、ハードウェアとして、CPU２０、ROM２１、RAM２２、HDD２３、通信I/F２４、入出力I/F２５、表示装置２６、入力装置２７を備える。CPU２０、ROM２１、RAM２２、HDD２３、通信I/F２４、入出力I/F２５は、バス２８に接続され、バス２８を介して互いにデータ等のやりとりを行う。 The hardware configuration of the information processing apparatus 13 will be described with reference to FIG. The information processing apparatus 13 includes a CPU 20, a ROM 21, a RAM 22, an HDD 23, a communication I / F 24, an input / output I / F 25, a display device 26, and an input device 27 as hardware. The CPU 20, ROM 21, RAM 22, HDD 23, communication I / F 24, and input / output I / F 25 are connected to the bus 28 and exchange data with each other via the bus 28.
CPU２０は、情報処理装置１３全体の制御を行う演算処理装置である。ROM２１は、情報処理装置１３を起動させるためのブートプログラム、表示装置２６や入力装置２７等の動作を制御するためのファームウェア等を格納する不揮発性の記憶装置である。RAM２２は、CPU２０が各種の処理を実行する際の作業領域を提供する揮発性の記憶装置である。HDD２３は、上記の凍結を検出するために凍結かどうかを判定する処理を実現するためのプログラム、OS、各種のデータ等を格納する不揮発性の記憶装置である。 The CPU 20 is an arithmetic processing device that controls the entire information processing device 13. The ROM 21 is a non-volatile storage device that stores a boot program for starting the information processing device 13, firmware for controlling operations of the display device 26, the input device 27, and the like. The RAM 22 is a volatile storage device that provides a work area when the CPU 20 executes various processes. The HDD 23 is a non-volatile storage device that stores a program, an OS, various data, and the like for realizing a process for determining whether or not it is frozen in order to detect the above-described freezing.
通信I/F２４は、ネットワークを介して他の機器との通信を可能にするインタフェースである。通信I/F２４は、撮像装置１１とネットワークを介して通信する際に利用される。入出力I/F２５は、表示装置２６や入力装置２７を接続し、ユーザからの指示、判定結果の表示等を可能にする。この入出力I/F２５は、撮像装置１１と情報処理装置１３とをケーブルで接続する際にも利用される。表示装置２６は、CRT(Cathode Ray Tube)や液晶ディスプレイ等を用いることができ、入力装置２７は、マウスやキーボードを用いることができる。表示機能と入力機能の両方を備えるタッチパネルを採用してもよい。 The communication I / F 24 is an interface that enables communication with other devices via a network. The communication I / F 24 is used when communicating with the imaging device 11 via a network. The input / output I / F 25 is connected to the display device 26 and the input device 27, and enables an instruction from a user, display of a determination result, and the like. The input / output I / F 25 is also used when the imaging device 11 and the information processing device 13 are connected by a cable. The display device 26 can use a CRT (Cathode Ray Tube), a liquid crystal display, or the like, and the input device 27 can use a mouse or a keyboard. A touch panel having both a display function and an input function may be employed.
情報処理装置１３は、そのほか、CD-ROMドライブやSDカードスロット等の外部記憶装置I/F、マイク等の音声入力装置、スピーカ等の音声出力装置等を備えていてもよい。HDD２３は、SSD(Solid State Drive)等であってもよい。 In addition, the information processing device 13 may include an external storage device I / F such as a CD-ROM drive and an SD card slot, a voice input device such as a microphone, a voice output device such as a speaker, and the like. The HDD 23 may be an SSD (Solid State Drive) or the like.
図５は、情報処理装置１３の第１の実施例を示した機能ブロック図である。情報処理装置１３は、CPU２０が上記のプログラムを実行することにより各機能を実現するが、その機能部として、入力部３０、次元削減部３１、凍結判定部３２を備える。次元削減部３１は、必要に応じて設けることができ、情報処理装置１３は、入力部３０と凍結判定部３２のみから構成されていてもよい。ここでは、次元削減部３１を備えるものとして説明する。 FIG. 5 is a functional block diagram showing a first embodiment of the information processing apparatus 13. The information processing apparatus 13 implements each function by the CPU 20 executing the above-described program. The information processing apparatus 13 includes an input unit 30, a dimension reduction unit 31, and a freeze determination unit 32 as functional units. The dimension reduction unit 31 can be provided as necessary, and the information processing apparatus 13 may be configured by only the input unit 30 and the freezing determination unit 32. Here, description will be made assuming that the dimension reduction unit 31 is provided.
入力部３０は、検出対象となる路面１を撮像した偏光情報を有する画像の入力を受け付ける。入力部３０は、この画像の入力を、上記の撮像装置１１から受け付ける。また、入力部３０は、表面が凍結している路面を撮像した偏光情報を有する画像の数が０または表面が凍結していない乾燥状態および湿潤状態の路面を撮像した偏光情報を有する画像の数より少ない複数の画像（サンプル）を受け付ける。これらのサンプルは、学習データとして用いられる。 The input unit 30 receives an input of an image having polarization information obtained by imaging the road surface 1 to be detected. The input unit 30 receives this image input from the imaging device 11. Further, the input unit 30 has 0 polarization images obtained by imaging the road surface on which the surface is frozen, or 0 images having polarization information obtained by imaging the dry and wet road surfaces on which the surface is not frozen. Accept fewer multiple images (samples). These samples are used as learning data.
次元削減部３１は、学習データを用いて機械学習を行う。また、次元削減部３１は、入力部３０が受け付けた検出対象の画像に基づき、その画像の特徴を表し、該画像の次元数より少ない次元数の画像を生成する。すなわち、次元削減部３１は、学習したアルゴリズムを使用して、検出対象の画像の次元数を削減する。 The dimension reduction unit 31 performs machine learning using the learning data. Further, the dimension reduction unit 31 represents the feature of the image based on the detection target image received by the input unit 30, and generates an image having a smaller number of dimensions than the number of dimensions of the image. That is, the dimension reduction unit 31 uses the learned algorithm to reduce the number of dimensions of the detection target image.
次元削減は、画像の中で有用と思われる情報を抽出し、特徴として使用することができるようにし、未知のデータに対して正しく判定できるようにする汎化能力を付与するために実行される。その詳細については後述する。 Dimension reduction is performed to extract information that appears to be useful in the image and make it available as a feature, giving it a generalization ability that allows it to make correct decisions on unknown data . Details thereof will be described later.
凍結判定部３２は、上記の学習データおよび機械学習した次元削減部３１から出力されるデータを用いて機械学習を行う。凍結判定部３２は、この機械学習により得られたアルゴリズムを使用して、路面が凍結しているか否かを判定する。凍結判定部３２は、その判定を、入力部３０が受け付けた画像および次元削減部３１により次元数が削減された画像に基づき行う。その詳細については後述する。 The freeze determination unit 32 performs machine learning using the learning data and the data output from the machine learning dimension reduction unit 31. The freezing determination unit 32 determines whether or not the road surface is frozen by using an algorithm obtained by the machine learning. The freeze determination unit 32 performs the determination based on the image received by the input unit 30 and the image whose number of dimensions is reduced by the dimension reduction unit 31. Details thereof will be described later.
機械学習は、複数のサンプルを入力し、様々なアルゴリズムを使用して解析を行い、その解析結果から有用な規則や判断基準等を抽出し、アルゴリズムを発展させる。ここでは、凍結している路面のサンプル画像の数が０または凍結していない路面のサンプル画像の数より少ない複数のサンプル画像を入力して学習を行い、様々な環境に対応できるアルゴリズムに発展させる。これにより、次元削減部３１は、学習したアルゴリズムを使用して、適正な次元に削減し、凍結判定部３２は、学習したアルゴリズムを使用して、路面が凍結しているか否かを高い精度で判定することができる。なお、次元削減部３１と凍結判定部３２で使用するアルゴリズムは、処理が異なることから、当然にして異なるアルゴリズムである。 In machine learning, a plurality of samples are input, an analysis is performed using various algorithms, useful rules and criteria are extracted from the analysis results, and the algorithm is developed. Here, learning is performed by inputting a plurality of sample images having zero or less sample images on the frozen road surface than the number of sample images on the non-frozen road surface, and the algorithm is developed to cope with various environments. . Thereby, the dimension reduction part 31 reduces to an appropriate dimension using the learned algorithm, and the freezing determination part 32 uses the learned algorithm to determine whether or not the road surface is frozen with high accuracy. Can be determined. Note that the algorithms used in the dimension reduction unit 31 and the freezing determination unit 32 are naturally different algorithms because of different processing.
その判定の精度を向上させるためには、サンプルとして、凍結していない路面の画像だけではなく、凍結している路面の画像も含めることが望ましい。また、凍結している路面のサンプル数は、多いほうが精度を向上させるためには望ましい。しかしながら、凍結している路面のサンプルは、少数であってもよく、その数は、凍結していない路面のサンプル数より少なくても充分に高い精度で凍結か否かを判定することができる。 In order to improve the accuracy of the determination, it is desirable to include not only an image of a road surface that is not frozen but also an image of a road surface that is frozen as a sample. A larger number of frozen road surface samples is desirable in order to improve accuracy. However, the number of frozen road surface samples may be small, and even if the number is less than the number of unfrozen road surface samples, it is possible to determine whether or not the road surface is frozen with sufficiently high accuracy.
このような機能部を備える情報処理装置１３が行う処理を、図６を参照して説明する。なお、次元削減部３１を設けない場合は、次元削減部３１が行う処理を省略することができる。ステップ６００からこの処理を開始し、ステップ６１０では、入力部３０が撮像装置１１から検出対象の画像の入力を受け付ける。ステップ６２０では、別途設けられる抽出部により、入力された画像から輝度画像と偏光情報とを抽出する。 Processing performed by the information processing apparatus 13 including such a function unit will be described with reference to FIG. When the dimension reduction unit 31 is not provided, the process performed by the dimension reduction unit 31 can be omitted. This process is started from step 600, and in step 610, the input unit 30 receives an input of an image to be detected from the imaging device 11. In step 620, a luminance image and polarization information are extracted from the input image by an extraction unit provided separately.
入力された画像は、撮像素子１４の撮像領域を二次元x、y座標で表すと、位置(x,y)の画素において受光したS偏光およびP偏光の強度がそれぞれIs(x,y)、Ip(x,y)で表される。輝度画像Ibright(x,y)は、これらの強度を用い、次の式１で各画素の輝度値を計算することにより求めることができる。 In the input image, when the imaging region of the image sensor 14 is expressed by two-dimensional x and y coordinates, the intensity of S-polarized light and P-polarized light received at the pixel at the position (x, y) is I s (x, y), respectively. , I p (x, y). The luminance image I bright (x, y) can be obtained by calculating the luminance value of each pixel using the following expression 1 using these intensities.
偏光情報としては種々のものが考えられるが、例えば、偏光度、差分偏光度、偏光比を挙げることができる。偏光度(DOP)は、偏光現象に関する周知のストークスパラメータ(S0、S1、S2、S3)を用いて定義される量である。ストークスパラメータは、ストークスベクトルを構成する４つの成分であり、ストークスベクトルは、偏光状態を表現するためのベクトルで、各パラメータは、測定可能な光の強度として表現される。上記のDOPは、これら４つのパラメータを使用し、次の式２で表すことができる。 Various types of polarization information can be considered, and examples include polarization degree, differential polarization degree, and polarization ratio. The degree of polarization (DOP) is an amount defined using well-known Stokes parameters (S 0 , S 1 , S 2 , S 3 ) regarding the polarization phenomenon. The Stokes parameters are four components constituting the Stokes vector. The Stokes vector is a vector for expressing the polarization state, and each parameter is expressed as measurable light intensity. The above DOP can be expressed by the following equation 2 using these four parameters.
差分偏光度(SDOP)は、上記のストークスパラメータ(S0、S1)を用いて定義される量で、次の式３で表すことができる。ここで、式３中、I(0,φ)は、軸角度を０度としたときの偏光フィルタ１２を通した光強度で、I(90,φ)は、軸角度を９０度としたときの偏光フィルタ１２を通した光強度である。上記の領域分割偏光フィルタを使用する場合は、I(0,φ)がS偏光を受光した画素の受光強度であり、I(90,φ)がP偏光を受光した画素の受光強度である。 The differential polarization degree (SDOP) is an amount defined using the above Stokes parameters (S 0 , S 1 ), and can be expressed by the following Expression 3. Here, in Equation 3, I (0, φ) is the light intensity that has passed through the polarizing filter 12 when the axial angle is 0 degree, and I (90, φ) is when the axial angle is 90 degrees. The light intensity that has passed through the polarizing filter 12. In the case of using the above-described region-division polarizing filter, I (0, φ) is the received light intensity of the pixel that receives the S-polarized light, and I (90, φ) is the received light intensity of the pixel that receives the P-polarized light.
偏光比は、上記のI(0,φ)とI(90,φ)の比で、次の式４で表すことができる。なお、偏光比は、それらの比であればよいので、次の式５のように表してもよい。 The polarization ratio is the ratio of the above I (0, φ) and I (90, φ) and can be expressed by the following equation 4. In addition, since polarization ratios should just be those ratios, you may represent like following Formula 5.
偏光情報は、例えば上述した差分画像の１つであるSDOP画像であり、輝度画像とSDOP画像は、例えば640×480画素のサイズの画像として抽出される。ステップ６３０では、次元削減部３１が機械学習を行い得られたアルゴリズムを使用し、これらの画像を、例えば6×12画素に次元を削減し、72画素×2=144次元の特徴量を有する画像を生成する。ステップ６４０では、凍結判定部３２が機械学習を行い得られたアルゴリズムを使用し、元の画像およびステップ６３０で生成された画像に基づき、路面が凍結しているか否かを判定する。 The polarization information is, for example, an SDOP image that is one of the above-described difference images, and the luminance image and the SDOP image are extracted as an image having a size of, for example, 640 × 480 pixels. In step 630, using the algorithm obtained by the machine learning performed by the dimension reduction unit 31, the dimensions of these images are reduced to, for example, 6 × 12 pixels, and an image having a feature amount of 72 pixels × 2 = 144 dimensions. Is generated. In step 640, the freezing determination unit 32 uses an algorithm obtained by machine learning, and determines whether or not the road surface is frozen based on the original image and the image generated in step 630.
機械学習において、少なくとも凍結していない乾燥状態および湿潤状態の路面を学習しているので、それらの路面の状態とは一定以上に異なる場合、路面が凍結していると判定することができる。また、機械学習において、少数ながらも凍結状態の路面を学習している場合は、上記の乾燥状態等の路面とは一定以上に異なることに加え、その凍結状態の路面に一定以上に近似している場合、路面が凍結していると判定することができる。 In machine learning, at least the dry and wet road surfaces that are not frozen are learned. If the road surfaces are different from a certain level, it can be determined that the road surface is frozen. In addition, when learning a frozen road surface in a small number in machine learning, in addition to being different from the above-mentioned road surface in a dry state, the road surface in the frozen state is approximated above a certain level. If it is, it can be determined that the road surface is frozen.
撮像された画像のみでは、路面を覆う物質が同じ水であるため、湿潤状態の画像か、凍結状態の画像かを判別することが難しい場合がある。しかしながら、偏光フィルタ１２を使用して偏光情報を取得し、上記の複数のサンプル画像を用いて機械学習で学習したアルゴリズムを使用することで、凍結している路面か否かを高い精度で判別することができる。 In only the captured image, since the substance covering the road surface is the same water, it may be difficult to determine whether the image is wet or frozen. However, polarization information is acquired using the polarization filter 12, and an algorithm learned by machine learning using the plurality of sample images is used to determine whether the road surface is frozen or not with high accuracy. be able to.
凍結していると判定した場合、ステップ６５０へ進み、路面の凍結を検出し、ステップ６７０でこの処理を終了する。一方、凍結していないと判定した場合、ステップ６６０へ進み、路面が凍結していないことを検出し、ステップ６７０でこの処理を終了する。凍結しているか否かの情報は、情報処理装置１３が備える表示装置２６に表示してユーザに知らせることができる。なお、これに限らず、音を出力してその旨を通知してもよい。 If it is determined that the vehicle is frozen, the process proceeds to step 650 to detect freezing of the road surface. In step 670, the process ends. On the other hand, if it is determined that the road surface is not frozen, the process proceeds to step 660, where it is detected that the road surface is not frozen, and the process is terminated in step 670. Information on whether or not it is frozen can be displayed on the display device 26 provided in the information processing device 13 to inform the user. However, the present invention is not limited to this, and a sound may be output to notify that effect.
このように機械学習を行い、その学習結果であるアルゴリズムを使用して処理を行うことで、様々な氷の状態に対応した凍結の有無を高い精度で判定することができる。次元削減部３１は設けなくてもよいが、次元削減部３１を設けることで、次元削減後の画像も用いて路面の凍結の有無を判定することができるので、その精度を向上させることができる。 By performing machine learning in this way and performing processing using an algorithm that is the learning result, it is possible to determine the presence or absence of freezing corresponding to various ice states with high accuracy. Although the dimension reduction unit 31 may not be provided, by providing the dimension reduction unit 31, it is possible to determine whether or not the road surface is frozen using the image after the dimension reduction, and thus it is possible to improve the accuracy. .
以下に、次元削減処理および凍結判定処理を詳細に説明する。まず、次元削減処理について説明する。有用な次元削減とするため、学習データとして、正常な値を示すデータ（ポジティブデータ）のみを用いて学習する半教師あり異常検知手法を採用し、次元削減部３１を学習させる。これにより、少ないパラメータ数でサンプル群のノイズ（ばらつき）を含んだ状態でより良くポジティブデータのみを表現できる次元削減を行うことができる。 Hereinafter, the dimension reduction process and the freezing determination process will be described in detail. First, the dimension reduction process will be described. In order to achieve useful dimension reduction, a semi-supervised abnormality detection method in which learning is performed using only data indicating normal values (positive data) as learning data is employed, and the dimension reduction unit 31 is trained. As a result, it is possible to perform dimension reduction that can better express only positive data in a state in which noise (variation) of the sample group is included with a small number of parameters.
次元削減を実現するためのアルゴリズムとしては、代表的に以下の２つがある。１つ目の手法は、主成分分析(PCA)である。このPCAは、以下の手順で実施することができる。例えば、学習データを、３０個の１００次元のベクトルデータとすると、各学習データは、次の式６で表すことができる。 There are typically the following two algorithms for realizing dimension reduction. The first method is principal component analysis (PCA). This PCA can be performed by the following procedure. For example, if the learning data is 30 pieces of 100-dimensional vector data, each learning data can be expressed by the following Expression 6.
このとき、多次元の入力ベクトルYは、次の式７で表すことができる。 At this time, the multidimensional input vector Y can be expressed by the following Expression 7.
このYの分散共分散行列Aは、次の式８により計算することができる。分散共分散行列は、散らばり具合を表す分散の概念を多次元確率変数に拡張して行列にしたものである。 The Y variance-covariance matrix A can be calculated by the following equation (8). The variance-covariance matrix is a matrix obtained by extending the concept of variance representing the degree of dispersion to a multidimensional random variable.
次に、式９に示す固有値方程式を解き、固有値λを求める。なお、式７中、Iは単位行列である。 Next, the eigenvalue equation shown in Equation 9 is solved to obtain the eigenvalue λ. In Equation 7, I is a unit matrix.
求めた各固有値λに対して、次の式１０に示す関係を満たす固有ベクトルxを求める。 For each obtained eigenvalue λ, an eigenvector x satisfying the relationship shown in the following equation 10 is obtained.
上記の式９で求めた固有値λのうち、最も大きい固有値λが第一主成分となり、その固有値λをλ１とし、このλ１を代入して上記の式１０により求めた固有ベクトルをx１とする。同様にして、第二主成分となるλ１の次に大きい固有値λ２を式９により求め、式１０に代入して固有ベクトルx２を求める。このようにして、固有ベクトルx３、x４、x５、…を求めることができる。ここでは簡素化のため、第一主成分の情報のみへの次元削減（一次元への削減）を行うものとする。 Of the eigenvalues lambda determined by the formula 9, becomes the largest eigenvalue lambda is first principal component, the eigenvalues lambda and lambda 1, the eigenvectors determined by the equation 10 of substituting this lambda 1 x 1 and To do. Similarly, the next largest eigenvalue λ 2 after λ 1 , which is the second principal component, is obtained by Equation 9, and substituted into Equation 10 to obtain the eigenvector x 2 . In this way, eigenvectors x 3 , x 4 , x 5 ,... Can be obtained. Here, for simplification, it is assumed that dimension reduction to only the information of the first principal component (reduction to one dimension) is performed.
第一主成分の固有ベクトルx１と、入力されたデータとの相関演算を次の式１１を用いて行い、第一主成分の固有値を算出する。なお、式１１中、Nはブロック数である。 Eigenvectors x 1 of the first principal component, a correlation calculation between the input data performed using Equation 11 follows to calculate the eigenvalues of the first principal component. In Equation 11, N is the number of blocks.
上記式１１により求めた第一主成分の固有値を用い、入力された多次元データから一次元となる成分のみを抽出し、次の式１２により次元削減を行う。なお、式１２中、y(x,t)が一次元に削減された後の入力データである。 Using the eigenvalue of the first principal component obtained by the above equation 11, only the one-dimensional component is extracted from the input multidimensional data, and the dimension is reduced by the following equation 12. In Expression 12, y (x, t) is input data after being reduced one-dimensionally.
なお、ここではtが入力データの時系列を示している。PCAは、次元削減として非常に基本的なもので、性能としては高くないが、処理は高速である。ちなみに、次に説明する手法は、処理は遅いが、より次元削減性能が高いものである。 Here, t indicates a time series of input data. PCA is very basic as a dimension reduction and is not high in performance, but it is fast. Incidentally, the method described below is slow in processing, but has higher dimensionality reduction performance.
２つ目の手法は、ニューラルネットワークの一種である多層パーセプトロンである。多層パーセプトロンは、複数の層にニューロンを配置させたフィードフォワード型ニューラルネットワークである。この多層パーセプトロンは、図７に示すような素子の接続となっている。図７中、丸は素子であるニューロンを示し、そのニューロンが多層に接続されている。 The second method is a multilayer perceptron which is a kind of neural network. The multilayer perceptron is a feedforward neural network in which neurons are arranged in a plurality of layers. This multilayer perceptron has a connection of elements as shown in FIG. In FIG. 7, circles indicate neurons that are elements, and the neurons are connected in multiple layers.
図７に示すニューラルネットワークは、ループする結合がなく、入力層、中間層、出力層の順に単一方向へのみ信号が伝播する。入力層は、データが入力される最初の層で、中間層は、入力と出力の間にある層で、隠れ層とも呼ばれる。出力層は、ネットワークの最終的な出力が行われる層である。例えば、入力層内のニューロンは、中間層内のニューロンの１つと繋がっており、この繋がりの強さは、重みと呼ばれる値（パラメータ）としてニューロン間に与えられる。 The neural network shown in FIG. 7 has no loop coupling, and signals propagate only in a single direction in the order of the input layer, intermediate layer, and output layer. The input layer is the first layer where data is input, and the intermediate layer is the layer between the input and output, also called the hidden layer. The output layer is a layer where final output of the network is performed. For example, a neuron in the input layer is connected to one of the neurons in the intermediate layer, and the strength of this connection is given between the neurons as a value (parameter) called a weight.
このニューラルネットワークを学習（パラメータを最適化）させるためのアルゴリズムの１つとして、誤差逆伝播法を用いることができる。誤差逆伝播法は、教師あり学習の１つのアルゴリズムであり、教師あり学習は、入力とその入力に対応する出力（ラベル）を写像する関数を求めるものである。ちなみに、教師なし学習は、入力のみからモデルを構築するもので、半教師あり学習は、出力がある例と出力がない例の両方を扱えるようにしたもので、近似する関数やデータを分類する分類器を生成する。 As one of algorithms for learning (optimizing parameters) this neural network, an error back propagation method can be used. The error back propagation method is one algorithm of supervised learning, and supervised learning is to obtain a function that maps an input and an output (label) corresponding to the input. By the way, unsupervised learning builds a model from input only, and semi-supervised learning is designed to handle both examples with output and examples without output, and classifies functions and data to be approximated. Generate a classifier.
誤差逆伝播法は、サンプルを与え、ネットワークの出力とそのサンプルの最適解とを比較して、各ニューロンの出力に対して誤差を計算し、パラメータである重みを変化させ、最終的に正しい出力が得られるように調整していく手法である。このパラメータを変化させていくことが学習である。 The error backpropagation method gives a sample, compares the output of the network with the optimal solution of that sample, calculates the error for each neuron's output, changes the parameter weights, and finally the correct output It is a technique to adjust so that can be obtained. Learning is to change this parameter.
次元削減は、このニューラルネットワークを使用したオートエンコーダ(Autoencoder)と呼ばれるアルゴリズムを使用することができる。Autoencoderは、入力と出力を同じ学習データ（教師データ）とし、教師あり学習をさせることにより作成される。Autoencoderは、次元削減（encode）と次元復元(decode)とを実行する。 For the dimension reduction, an algorithm called an autoencoder using this neural network can be used. The Autoencoder is created by using the same learning data (teacher data) as input and output and performing supervised learning. The Autoencoder performs dimension reduction (encode) and dimension restoration (decode).
Autoencoderは、例えば、入力を変換し、それを逆変換して元の入力と比較し、一致するようにパラメータを更新していくことで学習させ、作成される。このように学習させていくと、学習データに対しては充分に学習しているが、未知のデータに対しては適合できない、汎化できていない過学習が行われる。この過学習を防ぎ、未知のデータに対しても適合するようにするため、正則化や事前分布等の手法が適用される。この手法の適用により、中間層である隠れ層は、図８に示すように、入力層や出力層より少ない数のニューロン数で表現することができる。このように、中間層のニューロン数を入力の次元数よりも少なくすることで、より少ない次元数で入力データを再現するように次元削減を行うことができる。 The Autoencoder is created by, for example, learning by converting the input, inversely converting it, comparing it with the original input, and updating the parameters so that they match. When learning is performed in this manner, overlearning is performed that is sufficiently learned but not adapted to unknown data and that cannot be generalized. In order to prevent this overlearning and to adapt to unknown data, methods such as regularization and prior distribution are applied. By applying this method, the hidden layer, which is an intermediate layer, can be expressed by a smaller number of neurons than the input layer and the output layer, as shown in FIG. In this way, by reducing the number of neurons in the intermediate layer from the number of input dimensions, it is possible to reduce the dimensions so as to reproduce the input data with a smaller number of dimensions.
このAutoencoderを、一層ずつ学習を行い、組み合わせて多層としたStacked Auto-Encoders(SAE)と呼ばれる方法を採用すると、良好に次元削減を行うことができる。隠れ層が２層以上あると、不適切な極小解に収束してうまくいかない。SAEは、隠れ層が２以上ある場合、隠れ層を１層だけ作り、出力層を取り除き、その隠れ層を入力層とみなして次の隠れ層を積み上げる形で、これを繰り返して作成される。 If a method called Stacked Auto-Encoders (SAE), in which this Autoencoder learns one layer at a time and is combined into multiple layers, dimension reduction can be performed satisfactorily. If there are two or more hidden layers, it will not converge due to an inappropriate minimum solution. When there are two or more hidden layers, SAE is created by repeating this process by creating only one hidden layer, removing the output layer, treating the hidden layer as an input layer, and stacking the next hidden layer.
上記と同様、学習データを、３０個の１００次元のベクトルデータとすると、yiをSAEの第１のAutoencoderの入力データとし、誤差逆伝播法で学習を行い、パラメータの調整を行う。次に、SAEの第２のAutoencoderについて、第１のAutoencoderの隠れ層に対する入力データを用いて学習を行う。このとき、第１のAutoencoderにおいて、入力層の各ニューロンと隠れ層の上からj番目のニューロンとの間のパラメータをw1,k、w2,k、…、w100,kとすると、第２のAutoencoderの入力データは、次の式１３で表すことができる。 Similarly to the above, if the learning data is 30 pieces of 100-dimensional vector data, y i is used as input data of the first SAE Autoencoder, learning is performed by the error back propagation method, and parameters are adjusted. Next, the SAE second Autoencoder is trained using input data for the hidden layer of the first Autoencoder. At this time, in the first Autoencoder, w 1, k parameters between the j-th neuron from the top of each neuron and hidden layer of input layer, w 2, k, ..., When w 100, k, a The input data of Autoencoder 2 can be expressed by the following equation (13).
上記式１３中、ziは、３０個の５０次元に次元削減されたベクトルデータである。このziを第２のAutoencoderの入力データとして誤差逆伝播法により学習を行い、パラメータの調整を行うことができる。 In the above equation 13, z i is 30 pieces of vector data reduced in dimension to 50 dimensions. This z i is used as input data of the second Autoencoder to learn by the error back propagation method, and parameters can be adjusted.
ニューラルネットワークは、多層にすることで、中間層の数を変えて様々な表現や特徴等に識別あるいは分類することができることから、表現能力や識別器の性能を向上させることができ、また、その次元削減を行うことができる。このため、次元削減を行う際、一層で所望の次元数まで削減するのではなく、上記のSAEを使用し、複数の層に分けて次元数を削減することが望ましい。 Since the neural network can be classified or classified into various expressions and features by changing the number of intermediate layers, it can improve the expression ability and the performance of the classifier. Dimension reduction can be performed. For this reason, when performing dimension reduction, it is desirable to use the SAE described above and reduce the number of dimensions in a plurality of layers, instead of reducing the number of dimensions to a desired level.
なお、SAEを使用する場合においても、各層で個別に学習を行い、それを組み合わせ、最後に一度Fine-trainingと呼ばれる学習を行うことが望ましい。これにより、次元削減としての性能をさらに向上させることができるからである。ここでは、２つの次元削減手法について説明したが、これに限られるものではなく、これまでに知られた他の方法を採用してもよい。 Even when SAE is used, it is desirable to perform learning individually in each layer, combine them, and finally perform learning called Fine-training. This is because the performance as dimension reduction can be further improved. Here, two dimension reduction methods have been described, but the present invention is not limited to this, and other methods known so far may be adopted.
次に、凍結判定処理について説明する。氷の状態、環境、路面状態のあらゆる組み合わせのサンプルを準備することは、現実的に困難であることから、教師あり学習を使用した異常検知手法（教師あり異常検知）を採用することはできない。乾燥した路面、濡れている路面のあらゆる状態のサンプルを準備することは困難で、それ以外のものを異常データとして検知し、それを凍結と判定するには、その精度が低くなるからである。 Next, the freezing determination process will be described. Since it is practically difficult to prepare samples of all combinations of ice conditions, environments, and road surface conditions, an abnormality detection method using supervised learning (supervised abnormality detection) cannot be employed. This is because it is difficult to prepare samples in all states of a dry road surface and a wet road surface, and the accuracy is low in detecting other data as abnormal data and determining that it is frozen.
また、教師なし学習は、乾燥した路面のグループ、濡れている路面のグループに分類することは可能であるが、あらゆる状態のサンプルを準備することが困難であるため、教師なし学習を使用した異常検知手法も採用することはできない。 In addition, unsupervised learning can be classified into dry road groups and wet road groups, but it is difficult to prepare samples in all conditions. Detection methods cannot be adopted.
そこで、教師あり異常検知より検知精度が低い場合が多いが、予想しない異常な値も検知可能な半教師あり学習を使用した異常検知手法（半教師あり異常検知）を採用する。この半教師あり異常検知のアルゴリズムとしては、代表的に以下の２つがある。１つは、LOF(Local Outlier Factor)である。LOFは、識別するサンプル周辺に、既知のサンプルの密度がどれくらいあるかにより、異常値（外れ値）を検出する密度ベースの外れ値検出法である。 Therefore, an abnormality detection method (semi-supervised abnormality detection) using semi-supervised learning that can detect unexpected abnormal values is often adopted, although detection accuracy is often lower than supervised abnormality detection. As the semi-supervised abnormality detection algorithm, there are typically the following two algorithms. One is LOF (Local Outlier Factor). LOF is a density-based outlier detection method that detects outliers (outliers) based on the density of a known sample around the sample to be identified.
例えば、データ全体の集合をD、任意の正数をk、Dに含まれるデータをp、oとし、pとoの距離をd(p,o)とする。この距離は、統計学における距離である。距離が近いほど、同じ分類に分類され、距離が遠いほど異なる分類となる。少なくともk個のDに含まれるo’とpの距離に対してd(p,o’)≦d(p,o)が成立し、高々k-1個のデータo’とpの距離に対してd(p,o’)＜d(p,o)が成立するときのoとpの距離を、pのk距離(kdist(p))という。このpのk距離が与えられたとき、pのk距離近傍に含まれるデータNk(p)は、次の式１４で表すことができる。 For example, D is a set of all data, k is an arbitrary positive number, p and o are data included in D, and d (p, o) is a distance between p and o. This distance is a distance in statistics. The closer the distance, the more the same classification, and the farther the distance, the different classification. D (p, o ') ≤d (p, o) holds for the distance between o' and p included in at least k D, and for the distance between at most k-1 data o 'and p The distance between o and p when d (p, o ′) <d (p, o) is satisfied is called the k distance (kdist (p)) of p. When the k distance of p is given, the data N k (p) included in the vicinity of the p distance of p can be expressed by the following Expression 14.
このNk(p)は、pからk番目に近いデータokまでの距離kdist(p)=d(p,ok)の範囲内にあるデータの集合である。次に、pのoに関する到達可能距離rdk(p,o)を、式１５により求める。 The N k (p) is a set of data from p the distance to the data o k close to k-th kdist (p) = d (p , o k) in the range of. Next, the reachable distance rd k (p, o) related to p of o is obtained by Expression 15.
pがoから離れているとき、pとo間の到達可能距離は、単純にそれら間の距離となり、pがoに充分に近いとき、oのk距離(kdist(o))が到達可能距離となる。これにより、pがoの近くにある場合の距離d(p,o)の変動を緩和することができる。 When p is away from o, the reachable distance between p and o is simply the distance between them, and when p is close enough to o, the k distance (kdist (o)) of o is the reachable distance It becomes. Thereby, the fluctuation of the distance d (p, o) when p is near o can be reduced.
LOFの算出に先立ち、局所到達可能密度(Ird)と呼ばれるpのk距離近傍内にあるデータの到達可能距離(rd)の平均の逆数を算出する。そのlrdk(p)は、次の式１６により求めることができる。 Prior to calculating the LOF, the average reciprocal of the reachable distance (rd) of the data in the vicinity of the k distance of p called the local reachable density (Ird) is calculated. The lrd k (p) can be obtained by the following equation (16).
なお、式１６中、rdk(p,o)は、pとoの距離がkdist(o)より小さい場合にkdist(p)に置き換えて到達可能距離rdとする。LOFは、lrdk(p)とkdist(p)との平均を取り、pの外れ度合いを示すLOFk(p)として、次の式１７により求めることができる。 In Equation 16, rd k (p, o) is replaced with kdist (p) when the distance between p and o is smaller than kdist (o), and is the reachable distance rd. The LOF can be obtained by the following equation 17 by taking the average of lrd k (p) and kdist (p) and indicating LOF k (p) indicating the degree of deviation of p.
上記式１７より、lrdk(p)が小さく、kdist(p)が大きくなるにつれて、LOFk(p)が大きくなる。LOFは、密集しているデータについては１に近くなることが知られており、１に近いデータは外れ値の可能性が低く、１から離れるにつれて外れ値の可能性が高いことを示す。 From Equation 17, LOF k (p) increases as lrd k (p) decreases and kdist (p) increases. The LOF is known to be close to 1 for dense data, and data close to 1 is less likely to be an outlier and is more likely to be outlier.
実際の判定は、機械学習においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、多次元データをプロットする。そして、そのプロットした点の周りの密度に基づき、LOFk(p)として各LOF値を算出し、算出されたLOF値が閾値以上であるか否かを判定することにより行うことができる。 In actual determination, multidimensional data is plotted in the same multidimensional space as a data set representing positive data plotted in machine learning. Then, each LOF value is calculated as LOF k (p) based on the density around the plotted points, and it can be determined by determining whether the calculated LOF value is equal to or greater than a threshold value.
もう１つは、教師あり学習を用いるパターン認識モデルの１つである1 class SVM（Support Vector Machine：サポートベクターマシン）である。1 class SVMは、識別器としてよく知られているSVMの評価関数を変更し、半教師あり異常検知を使用した識別器として使えるようにしたものである。具体的には、1 class SVMは、データを特徴空間上に写像すると、その特徴空間上で孤立しているデータはその特徴空間の原点近くに写像されることから、超平面より原点側にあるデータを外れ値とみなす手法である。 The other is 1 class SVM (Support Vector Machine) which is one of the pattern recognition models using supervised learning. 1 class SVM is a classifier that uses semi-supervised anomaly detection by changing the evaluation function of SVM, which is well known as a classifier. Specifically, in 1 class SVM, when data is mapped onto the feature space, data that is isolated on the feature space is mapped near the origin of the feature space, so it is closer to the origin than the hyperplane. This is a method that considers data as outliers.
1 class SVMは、学習データを用いて、正常な値のクラスと外れ値のクラスに分類できるようにうまく学習することができれば、LOFに比較して高速に識別することが可能となる。なお、ここでは、２つの半教師あり異常検知について説明してきたが、これらの手法に限定されるものではなく、これまでに知られた他の手法を採用することも可能である。 If 1-class SVM can be trained well so that it can be classified into a normal value class and an outlier class using learning data, it can be identified faster than LOF. Although two semi-supervised abnormality detections have been described here, the present invention is not limited to these methods, and other methods known so far can also be adopted.
実際の判定は、機械学習においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、多次元データをプロットする。そして、多次元データを入力とした評価関数の値が、機械学習において求めた所定の平面または曲面によって分けられた多次元空間のいずれに属するかにより、検出対象のデータが異常値データか否かを判定することで行うことができる。 In actual determination, multidimensional data is plotted in the same multidimensional space as a data set representing positive data plotted in machine learning. Whether or not the data to be detected is abnormal value data depending on whether the value of the evaluation function with multidimensional data as an input belongs to a multidimensional space divided by a predetermined plane or curved surface obtained in machine learning This can be done by determining.
この半教師あり異常検知としてLOFを使用した凍結判定処理について説明する。図９は、凍結判定処理の流れを示したフローチャートである。ステップ９００からこの処理を開始し、ステップ９０５では、凍結路面以外のサンプルを学習データとして用い、これを正常として学習させたアルゴリズムである識別器を用いてLOF値を計算する。LOF値は、上記の式１４から式１７を用いて計算することができる。ここで計算されたLOF値をLOFaとする。 Freezing determination processing using LOF as this semi-supervised abnormality detection will be described. FIG. 9 is a flowchart showing the flow of the freezing determination process. This process is started from step 900. In step 905, a sample other than the frozen road surface is used as learning data, and an LOF value is calculated using an identifier that is an algorithm that has been learned as normal. The LOF value can be calculated using Equation 14 to Equation 17 above. The LOF value calculated here is assumed to be LOF a .
ステップ９１０では、凍結路面以外のサンプルより少ない数の凍結路面のサンプルを学習データとして用い、これを正常として学習させた識別器を用いてLOF値を計算する。このLOF値も、上記の式１４から式１７を用いて計算することができる。ここで計算されたLOF値をLOFbとする。 In step 910, the number of frozen road surface samples smaller than the number of samples other than the frozen road surface is used as learning data, and the LOF value is calculated using the discriminator trained as normal. This LOF value can also be calculated using Equations 14 to 17 above. The LOF value calculated here is assumed to be LOF b .
ステップ９１５では、ステップ９０５で計算したLOFaとステップ９１０で計算したLOFbの両方を考慮したLOF値を、次の式１８により求める。なお、式１８中、a、bは、任意の定数である。 In step 915, the LOF value considering both LOF a calculated in step 905 and LOF b calculated in step 910 is obtained by the following equation (18). In Equation 18, a and b are arbitrary constants.
ステップ９２０では、求めたLOF値が閾値以上であるかを判定する。ステップ９２０で閾値以上と判定した場合、ステップ９２５へ進み、その路面は凍結状態と判定し、ステップ９３５でこの処理を終了する。一方、ステップ９２０で閾値未満と判定した場合、ステップ９３０へ進み、その路面は非凍結状態と判定し、ステップ９３５でこの処理を終了する。 In step 920, it is determined whether the determined LOF value is equal to or greater than a threshold value. If it is determined in step 920 that the threshold value is greater than or equal to the threshold value, the process proceeds to step 925, where the road surface is determined to be frozen, and the process ends in step 935. On the other hand, if it is determined in step 920 that it is less than the threshold value, the process proceeds to step 930, where the road surface is determined to be in an unfrozen state, and this process is terminated in step 935.
このように、少数でも凍結路面のサンプルが手に入る場合は、それを考慮した判定を行うことができ、その判定精度を向上させることができる。 In this way, when even a small number of frozen road surface samples are available, it is possible to make a determination in consideration thereof, and to improve the determination accuracy.
これまで、次元削減部３１を備え、次元削減した画像を用いて路面の凍結を判定する処理について説明してきたが、これに限られるものではない。図１０は、情報処理装置１３の第２の実施例を示した機能ブロック図である。図１０に示す例では、次元削減部３１の後段に、次元復元部３３が設けられている。入力部３０、次元削減部３１、凍結判定部３２については既に説明したので、ここではその説明を省略する。 So far, the process of determining the freezing of the road surface by using the dimension reduction unit 31 and using the dimension-reduced image has been described, but the present invention is not limited to this. FIG. 10 is a functional block diagram showing a second embodiment of the information processing apparatus 13. In the example illustrated in FIG. 10, a dimension restoration unit 33 is provided after the dimension reduction unit 31. Since the input unit 30, the dimension reduction unit 31, and the freeze determination unit 32 have already been described, description thereof is omitted here.
次元復元部３３は、次元削減部３１が学習データを用いて学習を行い、その次元削減部３１から出力されるデータを用いて、次元削減されたデータの次元数を元の多次元に戻すための機械学習を行う。この多次元に戻す処理は、次元復元と呼ばれる。次元復元部３３は、次元復元したデータを凍結判定部３２に出力し、凍結判定部３２は、この次元復元したデータと学習データとを用いて機械学習を行う。 The dimension restoration unit 33 performs learning using the learning data by the dimension reduction unit 31, and uses the data output from the dimension reduction unit 31 to return the number of dimensions of the dimension-reduced data to the original multi-dimension. Perform machine learning. This process of returning to multi-dimension is called dimension restoration. The dimension restoration unit 33 outputs the dimension restored data to the freezing determination unit 32, and the freezing judgment unit 32 performs machine learning using the dimension restored data and the learning data.
凍結判定部３２は、機械学習においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、多次元データをプロットし、各LOF値を算出する等して、凍結の有無を判定する。このため、次元数が多いほうが、プロット数を多くし、より多くのLOF値や評価関数の値を得て判定することができ、その精度を向上させることができる。このため、次元復元部３３を設けることで、図５に示した次元削減部３１のみの構成に比較して、その精度を向上させることができる。 The freezing determination unit 32 determines the presence or absence of freezing by plotting multidimensional data in the same multidimensional space as the data set representing the positive data plotted in machine learning and calculating each LOF value. For this reason, the larger the number of dimensions, the larger the number of plots, the more LOF values and evaluation function values can be obtained and determined, and the accuracy can be improved. For this reason, by providing the dimension restoration unit 33, the accuracy can be improved as compared with the configuration of only the dimension reduction unit 31 shown in FIG.
この次元復元部３３を備える情報処理装置１３が行う処理を、図１１を参照して説明する。ステップ１１００からこの処理を開始し、ステップ１１１０〜ステップ１１３０は、図６に示すステップ６１０〜ステップ６３０の処理と同じである。ステップ１１４０では、次元復元部３３が、次元削減部３１が削減した次元数の画像を、次元削減部３１により入力される元の画像の次元数に戻し、次元を復元する。 Processing performed by the information processing apparatus 13 including the dimension restoration unit 33 will be described with reference to FIG. This processing is started from Step 1100, and Steps 1110 to 1130 are the same as the processing of Step 610 to Step 630 shown in FIG. In step 1140, the dimension restoration unit 33 restores the number of dimensions reduced by the dimension reduction unit 31 to the number of dimensions of the original image input by the dimension reduction unit 31, and restores the dimensions.
次元の復元は、上記のAutoencoderやSAE等を機械学習により作成し、そのAutoencoderやSAE等を使用して行うことができる。これも次元削減の場合と同様、その他の方法を採用して行うことも可能である。ステップ１１５０以降は、図６に示すステップ６４０以降の処理と同じであり、ここではその説明を省略する。 The dimension can be restored by creating the above-described Autoencoder, SAE, etc. by machine learning and using the Autoencoder, SAE, etc. As in the case of dimension reduction, this can also be performed using other methods. The processing after step 1150 is the same as the processing after step 640 shown in FIG. 6, and the description thereof is omitted here.
図１２は、情報処理装置１３の第３の実施例を示した機能ブロック図である。図１２に示す例では、次元復元部３３の後段に、誤差算出部３４が設けられている。入力部３０、次元削減部３１、凍結判定部３２、次元復元部３３については既に説明したので、ここではその説明を省略する。 FIG. 12 is a functional block diagram showing a third embodiment of the information processing apparatus 13. In the example illustrated in FIG. 12, an error calculation unit 34 is provided after the dimension restoration unit 33. Since the input unit 30, the dimension reduction unit 31, the freezing determination unit 32, and the dimension restoration unit 33 have already been described, description thereof is omitted here.
誤差算出部３４は、次元削減部３１に入力される多次元データと、次元復元部３３により復元された後の多次元データとの差分を計算することで、次元削減部３１により次元削減されたことにより発生した誤差量を算出する。 The error calculation unit 34 calculates the difference between the multidimensional data input to the dimension reduction unit 31 and the multidimensional data restored by the dimension restoration unit 33, thereby reducing the dimension by the dimension reduction unit 31. The error amount generated by this is calculated.
例えば、入力される学習データが上記の式６で表される場合、各yiを入力して次元削減部３１により次元削減した後、次元復元部３３により次元復元した結果をYiとすると、その誤差Δiは、次の式１９により算出することができる。 For example, when the learning data to be input is represented by the above equation 6, when each y i is input and the dimension is reduced by the dimension reduction unit 31, the result of the dimension restoration by the dimension restoration unit 33 is Y i . The error Δ i can be calculated by the following equation 19.
次元削減部３１および次元復元部３３が適切に学習されている場合、Δiは、略０（ゼロ）になる。これは、入力された多次元データを次元削減部３１で次元削減し、次元復元部３３で次元復元すれば、ほぼ元通りに復元されることを示している。凍結判定部３２は、誤差算出部３４により算出されたΔiを用いて機械学習を行う。 When the dimension reduction unit 31 and the dimension restoration unit 33 are appropriately learned, Δ i is substantially 0 (zero). This indicates that if the input multidimensional data is reduced in dimension by the dimension reduction unit 31 and restored in dimension by the dimension restoration unit 33, it is restored almost as it was. The freezing determination unit 32 performs machine learning using Δ i calculated by the error calculation unit 34.
この場合、凍結判定部３２は、Δiを多次元空間にプロットし、ポジティブデータを表すデータ集合を生成する。凍結判定部３２が上記のLOFを使用する場合は、このデータ集合をHDD２３等に格納し、判定時に読み出して使用することができる。凍結判定部３２が上記の1 class SVMを使用する場合、このデータ集合と、多次元平面上の所定の点とを分ける所定の平面または曲面を求める。この平面等のデータもHDD２３等に格納し、判定時に読み出して使用することができる。 In this case, the freezing determination unit 32 plots Δ i in a multidimensional space, and generates a data set representing positive data. When the freezing determination unit 32 uses the LOF, the data set can be stored in the HDD 23 or the like, and read and used at the time of determination. When the freeze determination unit 32 uses the above-described 1 class SVM, a predetermined plane or curved surface that divides this data set and a predetermined point on a multidimensional plane is obtained. Data such as this plane can also be stored in the HDD 23 or the like and read and used at the time of determination.
この誤差算出部３４備える情報処理装置１３が行う処理を、図１３参照して説明する。ステップ１３０からこの処理を開始し、ステップ１３１０〜ステップ１３４０は、図１１に示すステップ１１１０〜ステップ１１４０の処理と同じである。ステップ１１５０では、誤差算出部３４が、次元削減部３１に入力される多次元データと、次元復元部３３により復元された後の多次元データとの差分を計算して誤差を算出する。ステップ１３６０以降は、図１１に示すステップ１１５０以降の処理と同じであり、ここではその説明を省略する。 Processing performed by the information processing apparatus 13 including the error calculation unit 34 will be described with reference to FIG. This process is started from Step 130, and Steps 1310 to 1340 are the same as Steps 110 to 1140 shown in FIG. In step 1150, the error calculation unit 34 calculates an error by calculating a difference between the multidimensional data input to the dimension reduction unit 31 and the multidimensional data restored by the dimension restoration unit 33. Steps after step 1360 are the same as the processing after step 1150 shown in FIG. 11, and the description thereof is omitted here.
凍結判定部３２がLOFを使用する場合、機械学習においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、Δiをプロットする。そして、そのプロットした点の周りの密度に基づき、LOFk(p)として各LOF値を算出し、算出されたLOF値が閾値以上であるか否かを判定する。これにより、凍結の有無を判定することができる。 When the freezing determination unit 32 uses LOF, Δ i is plotted in the same multidimensional space as the data set representing the positive data plotted in the machine learning. Then, each LOF value is calculated as LOF k (p) based on the density around the plotted points, and it is determined whether or not the calculated LOF value is greater than or equal to a threshold value. Thereby, the presence or absence of freezing can be determined.
凍結判定部３２が1 class SVMを使用する場合、機械学習においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、Δiをプロットする。そして、Δiを入力とした評価関数の値が、機械学習において求めた所定の平面または曲面によって分けられた多次元空間のいずれに属するかにより、検出対象のデータが異常値データか否かを判定する。これにより、凍結の有無を判定することができる。 When the freeze determination unit 32 uses 1 class SVM, Δ i is plotted in the same multidimensional space as the data set representing the positive data plotted in the machine learning. Whether or not the data to be detected is abnormal value data depends on whether the value of the evaluation function having Δ i as an input belongs to a multi-dimensional space divided by a predetermined plane or curved surface obtained in machine learning. judge. Thereby, the presence or absence of freezing can be determined.
ここで実際に、学習画像として、車両に本装置を搭載し、撮像した濡れ路面約２万枚を用い、テスト画像として、別途濡れ路面約２５００枚と凍結路面約２５００枚を用いた結果を、図１４に示す。なお、凍結路面と乾燥路面は簡単に識別することができるため、ここではその識別が難しい凍結路面と濡れ路面とを識別した結果を示している。 Here, the result of using about 20,000 images of wet road surfaces that were actually mounted on the vehicle as a learning image and using about 2500 images of wet road surfaces separately and about 2500 images of frozen road surfaces as test images, As shown in FIG. In addition, since the frozen road surface and the dry road surface can be easily identified, here, the result of identifying the frozen road surface and the wet road surface that are difficult to distinguish is shown.
図１４は、DET(Detection Error Tradeoff)のグラフである。図１４の横軸は、誤検出率を示し、縦軸は、未検出率を示している。１つが機械学習としてLOFを用いた結果を示し、もう１つが機械学習としてSAE+LOFを用いた結果を示す。DETのグラフは、グラフの右下に行くほど、誤検出率、未検出率が低くなり、性能が良好であることを示している。 FIG. 14 is a graph of DET (Detection Error Tradeoff). The horizontal axis of FIG. 14 indicates the false detection rate, and the vertical axis indicates the non-detection rate. One shows the results using LOF as machine learning, and the other shows the results using SAE + LOF as machine learning. The DET graph indicates that the lower the graph is, the lower the false detection rate and the non-detection rate, and the better the performance.
図１４に示す結果では、SAE+LOFを用いた結果の方が、誤検出率、未検出率ともに低く、性能が良いことが分かる。ちなみに、その精度は、濡れ路面を約７０枚に１枚の確率で凍結路面と誤検出する場合の凍結路面の検出率は９０％程度であった。このことから、約２万枚という少なく限られた数のサンプル画像で学習を行うだけで、しかも全く凍結路面を学習させなくても、高い精度で凍結路面を検出することができることを見出すことができた。なお、この方法では、凍結路面のデータを学習させずに凍結路面を検出することができているため、未知の様々な凍結路面の検出も可能である。 From the results shown in FIG. 14, it can be seen that the results using SAE + LOF have a better performance because both the false detection rate and the undetected rate are lower. Incidentally, the accuracy of the detection was about 90% when the wet road surface was erroneously detected as a frozen road surface with a probability of about 1 in 70. From this, it can be found that it is possible to detect a frozen road surface with high accuracy only by learning with a limited number of sample images of about 20,000, and without learning the frozen road surface at all. did it. In this method, since the frozen road surface can be detected without learning the frozen road surface data, various unknown frozen road surfaces can also be detected.
図１５は、輝度情報と偏光情報の両方を用いた場合と、偏光情報は用いず、輝度情報のみを用いた場合を比較したDETのグラフである。このグラフも、横軸は、誤検出率を示し、縦軸は、未検出率を示している。輝度情報のみを用いた場合に比較して、偏光情報も用いた場合は、誤検出率、未検出率ともに低く、その検出精度が向上していることを見出すことができた。凍結路面と濡れ路面の反射光の偏光状態に差があり、この差が検出精度に影響しているものと考えられる。 FIG. 15 is a DET graph comparing the case of using both luminance information and polarization information with the case of using only luminance information without using polarization information. In this graph as well, the horizontal axis represents the false detection rate, and the vertical axis represents the undetected rate. Compared to the case where only luminance information is used, when the polarization information is also used, both the false detection rate and the non-detection rate are low, and it has been found that the detection accuracy is improved. There is a difference in the polarization state of reflected light between the frozen road surface and the wet road surface, and this difference is considered to affect the detection accuracy.
凍結路面の状態は多岐にわたり、機械学習を行い、十分な学習が可能な数の全ての凍結状態の画像を網羅するサンプルを準備するのは困難である。しかしながら、本発明によれば、乾燥路面や湿潤路面といった一定以上の外気温で凍結していないことが確実な状況で簡単に取得できる非凍結路面のみを取得して、機械学習のサンプルとすることで、サンプルが準備できていない様々な凍結状態にも対応することができる。 The conditions of the frozen road surface are diverse, and it is difficult to prepare a sample that performs machine learning and covers all the frozen images that can be sufficiently learned. However, according to the present invention, only a non-frozen road surface that can be easily acquired in a certain condition that it is not frozen at a certain outside air temperature, such as a dry road surface and a wet road surface, is obtained as a machine learning sample. Thus, it is possible to cope with various frozen states in which samples are not prepared.
また、すべての凍結状態のサンプルを取得できないにしても、若干得られた凍結状態のサンプルを、非凍結状態のサンプルに比べて少ない状態で追加し、基本的には非凍結状態のサンプルを用いた上で、若干得られた少ない凍結状態のサンプルも機械学習時に考慮することで、凍結か非凍結かを判定する精度を向上させることができる。 Also, even if not all frozen samples can be obtained, a few frozen samples are added in a smaller number compared to non-frozen samples, and basically non-frozen samples are used. In addition, the accuracy of determining whether the sample is frozen or non-frozen can be improved by considering a small number of samples in a frozen state obtained during machine learning.
なお、凍結しているか否かの判定においては、路面が存在する場所の温度を測定する温度測定装置としての温度センサを用いて取得した温度情報としての外気温のデータも加味することができる。この外気温のデータも加味して機械学習を行い、その機械学習により得られたアルゴリズムを使用することで、より高精度な凍結路面の検出を行うことができる。 In determining whether or not the vehicle is frozen, outside air temperature data as temperature information acquired using a temperature sensor as a temperature measuring device that measures the temperature of the place where the road surface exists can be taken into consideration. By performing machine learning in consideration of the outside air temperature data and using an algorithm obtained by the machine learning, it is possible to detect a frozen road surface with higher accuracy.
これまで本発明を、情報処理装置、情報処理システムおよびプログラムとして上述した実施の形態をもって説明してきた。しかしながら、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができるものである。また、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 The present invention has been described with the embodiments described above as an information processing apparatus, an information processing system, and a program. However, the present invention is not limited to the above-described embodiments, and other embodiments, additions, modifications, deletions, and the like can be modified within a range that can be conceived by those skilled in the art. . In addition, any aspect is included in the scope of the present invention as long as the operations and effects of the present invention are exhibited.
したがって、情報処理装置が実行する方法、上記プログラムが記録された記録媒体、上記プログラムを提供する外部機器等も提供することができるものである。 Accordingly, it is possible to provide a method executed by the information processing apparatus, a recording medium on which the program is recorded, an external device that provides the program, and the like.
１０…光源、１１…撮像装置、１２…偏光フィルタ、１３…情報処理装置、１４…撮像素子、１５…光学フィルタ、１６…基板、１７…フィルタ基板、１８…充填材、２０…CPU、２１…ROM、２２…RAM、２３…HDD、２４…通信I/F、２５…入出力I/F、２６…表示装置、２７…入力装置、２８…バス、３０…入力部、３１…次元削減部、３２…凍結判定部、３３…次元復元部、３４…誤差算出部 DESCRIPTION OF SYMBOLS 10 ... Light source, 11 ... Imaging device, 12 ... Polarization filter, 13 ... Information processing device, 14 ... Imaging element, 15 ... Optical filter, 16 ... Substrate, 17 ... Filter substrate, 18 ... Filler, 20 ... CPU, 21 ... ROM, 22 ... RAM, 23 ... HDD, 24 ... communication I / F, 25 ... input / output I / F, 26 ... display device, 27 ... input device, 28 ... bus, 30 ... input unit, 31 ... dimension reduction unit, 32 ... Freezing determination unit, 33 ... Dimension restoration unit, 34 ... Error calculation unit
Claims (11)
前記物体の偏光情報を取得可能な取得装置から該偏光情報の入力を受け付ける入力部と、
前記入力部が受け付けた前記偏光情報に基づき、前記物体の表面が凍結しているか否かを判定する凍結判定部とを含み、
前記凍結判定部は、表面が凍結している物体についての偏光情報の数が０または表面が凍結していない物体についての偏光情報の数より少ない、予め取得された複数の偏光情報を用いて機械学習を行い、該機械学習の結果を用いて前記物体の表面が凍結しているか否かを判定する、情報処理装置。 An information processing device for detecting freezing of the surface of an object,
An input unit that receives input of the polarization information from an acquisition device capable of acquiring polarization information of the object;
A freezing determination unit that determines whether or not the surface of the object is frozen based on the polarization information received by the input unit,
The freezing determination unit uses a plurality of pieces of polarization information acquired in advance, wherein the number of polarization information for an object whose surface is frozen is zero or less than the number of polarization information for an object whose surface is not frozen. An information processing apparatus that performs learning and determines whether or not the surface of the object is frozen using a result of the machine learning.
前記凍結判定部は、前記入力部が受け付けた偏光情報と、前記次元削減部により生成された前記第２の偏光情報とに基づき、前記物体の表面が凍結しているかを判定する、請求項１に記載の情報処理装置。 Performing machine learning using a plurality of pieces of polarization information acquired in advance, wherein the number of polarization information for the object whose surface is frozen is 0 or less than the number of polarization information for the object whose surface is not frozen, A dimension reduction unit that generates second polarization information having a number of dimensions smaller than the number of dimensions of polarization information received by the input unit using a result of machine learning;
The freezing determination unit determines whether the surface of the object is frozen based on the polarization information received by the input unit and the second polarization information generated by the dimension reduction unit. The information processing apparatus described in 1.
前記凍結判定部は、前記入力部が受け付けた偏光情報と、前記第２の偏光情報に代えて前記次元復元部により生成された前記第３の偏光情報とに基づき、前記物体の表面が凍結しているかを判定する、請求項２に記載の情報処理装置。 In the machine learning of the dimension reduction unit, machine learning is performed using a plurality of polarization information output from the dimension reduction unit, and the same dimension as the number of dimensions of the polarization information received by the input unit using the result of the machine learning A dimensional reconstruction unit that generates a number of third polarization information,
The freezing determination unit freezes the surface of the object based on the polarization information received by the input unit and the third polarization information generated by the dimension restoration unit instead of the second polarization information. The information processing apparatus according to claim 2, wherein the information processing apparatus determines whether the information is present.
前記凍結判定部は、前記入力部が受け付けた偏光情報および前記第３の偏光情報に代えて前記誤差算出部により算出された前記誤差に基づき、前記物体の表面が凍結しているかを判定する、請求項３に記載の情報処理装置。 An error calculation unit that calculates a difference between the polarization information received by the input unit and the third polarization information as an error;
The freeze determination unit determines whether the surface of the object is frozen based on the error calculated by the error calculation unit instead of the polarization information received by the input unit and the third polarization information, The information processing apparatus according to claim 3.
前記凍結判定部は、表面が凍結している物体についての偏光情報の数が０または表面が凍結していない物体についての偏光情報の数より少ない、予め取得された複数の偏光情報と、該複数の偏光情報を取得した場所の温度情報とを用いて機械学習を行い、該機械学習の結果を用いて前記物体の表面が凍結しているか否かを判定する、請求項１〜６のいずれか１項に記載の情報処理装置。 The input unit accepts input of temperature information from a temperature measurement device that measures the temperature of the place where the object exists,
The freezing determination unit includes a plurality of pieces of polarization information acquired in advance, wherein the number of polarization information for an object whose surface is frozen is zero or less than the number of polarization information for an object whose surface is not frozen, The machine learning is performed using the temperature information of the place where the polarization information is acquired, and it is determined whether or not the surface of the object is frozen using the result of the machine learning. The information processing apparatus according to item 1.
前記情報処理装置が、
前記物体の偏光情報を取得可能な取得装置から該偏光情報の入力を受け付ける入力部と、
前記入力部が受け付けた前記偏光情報に基づき、前記物体の表面が凍結しているか否かを判定する凍結判定部とを含み、
前記凍結判定部は、表面が凍結している物体についての偏光情報の数が０または表面が凍結していない物体についての偏光情報の数より少ない、予め取得された複数の偏光情報を用いて機械学習を行い、該機械学習の結果を用いて前記物体の表面が凍結しているか否かを判定する、情報処理システム。 An information processing system including an acquisition device capable of acquiring polarization information of an object and an information processing device that detects freezing of the surface of the object,
The information processing apparatus is
An input unit that receives input of the polarization information from an acquisition device capable of acquiring polarization information of the object;
A freezing determination unit that determines whether or not the surface of the object is frozen based on the polarization information received by the input unit,
The freezing determination unit uses a plurality of pieces of polarization information acquired in advance, wherein the number of polarization information for an object whose surface is frozen is zero or less than the number of polarization information for an object whose surface is not frozen. An information processing system that performs learning and determines whether or not the surface of the object is frozen using a result of the machine learning.
前記物体の偏光情報を取得可能な取得装置から該偏光情報の入力を受け付けるステップと、
前記偏光情報に基づき、前記物体の表面が凍結しているか否かを判定するステップとを実行させ、
前記判定するステップでは、表面が凍結している物体についての偏光情報の数が０または表面が凍結していない物体についての偏光情報の数より少ない、予め取得された複数の偏光情報を用いて機械学習を行い、該機械学習の結果を用いて前記物体の表面が凍結しているか否かを判定する、プログラム。
A program for causing a computer to execute processing for detecting freezing of the surface of an object,
Receiving an input of the polarization information from an acquisition device capable of acquiring the polarization information of the object;
Determining whether the surface of the object is frozen based on the polarization information; and
In the determining step, the number of pieces of polarization information about the object whose surface is frozen is zero or less than the number of pieces of polarization information about the object whose surface is not frozen. A program for performing learning and determining whether or not the surface of the object is frozen by using a result of the machine learning.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016006248A JP2017125809A (en) | 2016-01-15 | 2016-01-15 | Information processing apparatus, information processing system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016006248A JP2017125809A (en) | 2016-01-15 | 2016-01-15 | Information processing apparatus, information processing system, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017125809A true JP2017125809A (en) | 2017-07-20 |
Family
ID=59364119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016006248A Pending JP2017125809A (en) | 2016-01-15 | 2016-01-15 | Information processing apparatus, information processing system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017125809A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019003646A1 (en) | 2017-06-28 | 2019-01-03 | クラリオン株式会社 | Loudspeaker |
| CN110929691A (en) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | Ice layer detection method, device, equipment and readable storage medium |
| JP2020153166A (en) * | 2019-03-20 | 2020-09-24 | 株式会社前田製作所 | Antifreeze spraying control method and stationary antifreeze spraying device |
| CN114787648A (en) * | 2019-11-30 | 2022-07-22 | 波士顿偏振测定公司 | System and method for transparent object segmentation using polarization cues |
| JP7497186B2 (en) | 2019-09-03 | 2024-06-10 | Ｔｉａｎｍａ Ｊａｐａｎ株式会社 | Fluorescence Polarization Measurement System |
| JP7518413B2 (en) | 2022-09-30 | 2024-07-18 | ダイキン工業株式会社 | Pollen forecasting device, air treatment system, pollen forecasting method, and program |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08327530A (en) * | 1995-03-31 | 1996-12-13 | Nagoya Denki Kogyo Kk | Road surface condition detecting device |
| JPH0926948A (en) * | 1995-07-11 | 1997-01-28 | Fujitsu Ltd | Information processor by neural network |
| JPH11211659A (en) * | 1998-01-23 | 1999-08-06 | Nagoya Denki Kogyo Kk | Road surface state discrimination method and device |
| JP2002048878A (en) * | 2000-08-02 | 2002-02-15 | Nagoya Electric Works Co Ltd | Method and device for predicting road-surface temperature or road-surface state |
| JP2008180623A (en) * | 2007-01-25 | 2008-08-07 | Nagoya Electric Works Co Ltd | Road surface condition judging apparatus and road surface condition judging method |
| JP2009223437A (en) * | 2008-03-13 | 2009-10-01 | Toyota Motor Corp | New signal generation device and new signal generation method |
| JP2010257409A (en) * | 2009-04-28 | 2010-11-11 | Nec Soft Ltd | Device, and method for estimating age, and program |
| JP2011007553A (en) * | 2009-06-24 | 2011-01-13 | Hitachi High-Technologies Corp | Flaw detection method, and flaw detector |
| JP2013148504A (en) * | 2012-01-20 | 2013-08-01 | Ricoh Co Ltd | Image processing system and vehicle including the same |
-
2016
- 2016-01-15 JP JP2016006248A patent/JP2017125809A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08327530A (en) * | 1995-03-31 | 1996-12-13 | Nagoya Denki Kogyo Kk | Road surface condition detecting device |
| JPH0926948A (en) * | 1995-07-11 | 1997-01-28 | Fujitsu Ltd | Information processor by neural network |
| JPH11211659A (en) * | 1998-01-23 | 1999-08-06 | Nagoya Denki Kogyo Kk | Road surface state discrimination method and device |
| JP2002048878A (en) * | 2000-08-02 | 2002-02-15 | Nagoya Electric Works Co Ltd | Method and device for predicting road-surface temperature or road-surface state |
| JP2008180623A (en) * | 2007-01-25 | 2008-08-07 | Nagoya Electric Works Co Ltd | Road surface condition judging apparatus and road surface condition judging method |
| JP2009223437A (en) * | 2008-03-13 | 2009-10-01 | Toyota Motor Corp | New signal generation device and new signal generation method |
| JP2010257409A (en) * | 2009-04-28 | 2010-11-11 | Nec Soft Ltd | Device, and method for estimating age, and program |
| JP2011007553A (en) * | 2009-06-24 | 2011-01-13 | Hitachi High-Technologies Corp | Flaw detection method, and flaw detector |
| JP2013148504A (en) * | 2012-01-20 | 2013-08-01 | Ricoh Co Ltd | Image processing system and vehicle including the same |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019003646A1 (en) | 2017-06-28 | 2019-01-03 | クラリオン株式会社 | Loudspeaker |
| JP2020153166A (en) * | 2019-03-20 | 2020-09-24 | 株式会社前田製作所 | Antifreeze spraying control method and stationary antifreeze spraying device |
| JP7249589B2 (en) | 2019-03-20 | 2023-03-31 | 株式会社前田製作所 | Antifreezing agent spraying control method and stationary antifreezing agent spraying device |
| JP7497186B2 (en) | 2019-09-03 | 2024-06-10 | Ｔｉａｎｍａ Ｊａｐａｎ株式会社 | Fluorescence Polarization Measurement System |
| CN114787648A (en) * | 2019-11-30 | 2022-07-22 | 波士顿偏振测定公司 | System and method for transparent object segmentation using polarization cues |
| CN114787648B (en) * | 2019-11-30 | 2023-11-10 | 波士顿偏振测定公司 | Systems and methods for transparent object segmentation using polarization cues |
| US11842495B2 (en) | 2019-11-30 | 2023-12-12 | Intrinsic Innovation Llc | Systems and methods for transparent object segmentation using polarization cues |
| CN110929691A (en) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | Ice layer detection method, device, equipment and readable storage medium |
| JP7518413B2 (en) | 2022-09-30 | 2024-07-18 | ダイキン工業株式会社 | Pollen forecasting device, air treatment system, pollen forecasting method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Concrete crack detection using context‐aware deep semantic segmentation network | |
| Hoang et al. | Metaheuristic optimized edge detection for recognition of concrete wall cracks: a comparative study on the performances of roberts, prewitt, canny, and sobel algorithms | |
| Haurum et al. | A survey on image-based automation of CCTV and SSET sewer inspections | |
| US11030470B2 (en) | Apparatus and method with liveness verification | |
| US10963676B2 (en) | Image processing method and apparatus | |
| JP2017125809A (en) | Information processing apparatus, information processing system, and program | |
| US20200065635A1 (en) | Object detection and learning method and apparatus | |
| CN112052831B (en) | Method, device and computer storage medium for face detection | |
| US11227149B2 (en) | Method and apparatus with liveness detection and object recognition | |
| CN107895348B (en) | Polarization image restoration method under non-uniform light field in scattering environment | |
| CN107220962B (en) | Image detection method and device for tunnel cracks | |
| US20210232846A1 (en) | Image processing method and apparatus for object detection | |
| US11272163B2 (en) | Image processing apparatus and image processing method | |
| CN112639819A (en) | Object detection using multiple sensors and reduced complexity neural networks | |
| Yavariabdi et al. | Change detection in multispectral landsat images using multiobjective evolutionary algorithm | |
| JP2007156655A (en) | Variable region detection apparatus and its method | |
| JP2017076289A (en) | Parameter decision device, parameter decision method and program | |
| Korus et al. | Improved tampering localization in digital image forensics based on maximal entropy random walk | |
| El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
| Lecca et al. | Comprehensive evaluation of image enhancement for unsupervised image description and matching | |
| Mathias et al. | Deep Neural Network Driven Automated Underwater Object Detection. | |
| Kostavelis et al. | Supervised traversability learning for robot navigation | |
| CN116703895B (en) | Small sample 3D visual detection method and system based on generation countermeasure network | |
| KR101268596B1 (en) | Foreground extraction apparatus and method using CCB and MT LBP | |
| CN117115436A (en) | Ship attitude detection method and device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200331 |