JP2021150798A - 内部機器の異常判定装置、異常判定方法、及びプログラム - Google Patents

内部機器の異常判定装置、異常判定方法、及びプログラム Download PDF

Info

Publication number
JP2021150798A
JP2021150798A JP2020048397A JP2020048397A JP2021150798A JP 2021150798 A JP2021150798 A JP 2021150798A JP 2020048397 A JP2020048397 A JP 2020048397A JP 2020048397 A JP2020048397 A JP 2020048397A JP 2021150798 A JP2021150798 A JP 2021150798A
Authority
JP
Japan
Prior art keywords
brightness
unit
image
abnormality
abnormality determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020048397A
Other languages
English (en)
Other versions
JP7470540B2 (ja
Inventor
克雄 依田
Katsuo Yoda
克雄 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020048397A priority Critical patent/JP7470540B2/ja
Priority to US17/201,595 priority patent/US11790670B2/en
Priority to CN202110291662.9A priority patent/CN113497933B/zh
Publication of JP2021150798A publication Critical patent/JP2021150798A/ja
Application granted granted Critical
Publication of JP7470540B2 publication Critical patent/JP7470540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】内部機器の異常の有無を判定する処理を簡素化した内部機器の異常判定装置等を提供する。【解決手段】ECU50は、車両100の内部の画像を取得する画像取得部21と、画像の輝度を取得する輝度取得部22と、車両100の乗員を照らすLED30と、を含む内部機器の異常の有無を判定する異常判定装置である。ECU50は、前記した画像の輝度に基づいて、画像取得部21及びLED30の異常の有無を判定する異常判定部52aを備える。【選択図】図3

Description

本発明は、内部機器の異常判定装置等に関する。
車両の運転者をカメラで撮像し、その撮像結果に基づいて、運転者の居眠りや脇見等を検知する技術が提案されている。また、運転者を撮像するカメラや、その撮像時に運転者を照らす照明装置の異常の有無を検知する技術も提案されている。このような技術として、例えば、特許文献1には、車両を運転する運転者に光を照射する照明装置、及び、この照明装置により光が照射された運転者を撮像する撮像装置の異常を検出する異常検出装置について記載されている。
特開2009−159568号公報
しかしながら、特許文献1に記載の技術では、照明装置の異常検出の処理と、撮像装置の異常検出の処理と、がそれぞれ異なる方法で行われる。その結果、異常検出装置における処理の複雑化を招き、また、異常が検出されるまでの時間が長くなる。照明装置や撮像装置を含む内部機器の異常検知に関して、さらに簡素化を図る余地があるが、このような技術について特許文献1には記載されていない。
そこで、本発明は、内部機器の異常の有無を判定する処理を簡素化した内部機器の異常判定装置等を提供することを課題とする。
前記した課題を解決するために、本発明は、移動体の内部の画像を取得する画像取得部と、前記画像の輝度を取得する輝度取得部と、前記移動体の乗員を照らす照明部と、を含む内部機器の異常の有無を判定する異常判定装置であって、前記画像の輝度に基づいて、前記画像取得部及び前記照明部の異常の有無を判定する異常判定部を備えることを特徴とする。
本発明によれば、内部機器の異常の有無を判定する処理を簡素化した内部機器の異常判定装置等を提供できる。
第1実施形態に係る異常判定装置において、異常の有無の判定対象である車室カメラや運転席側LED、助手席側LEDが搭載された車両の車室の説明図である。 第1実施形態に係る異常判定装置において、図1に示す領域Kの部分拡大図である。 第1実施形態に係る異常判定装置であるECUを含む機能ブロック図である。 第1実施形態に係る異常判定装置において、車室カメラやLEDにおける異常の有無の判定に関する説明図である。 第1実施形態に係る異常判定装置において、車室カメラやLEDにおける異常の有無に関して、ECUが実行する処理のフローチャートである。 第2実施形態に係る異常判定装置において、車室カメラやLEDにおける異常の有無に関して、ECUが実行する処理のフローチャートである。 第3実施形態に係る異常判定装置において、車室カメラやLEDにおける異常の有無に関して、ECUが実行する処理のフローチャートである。 第3実施形態に係る異常判定装置において、車室カメラやLEDにおける異常の有無に関して、ECUが実行する処理のフローチャートである。
≪第1実施形態≫
図1は、第1実施形態に係る異常判定装置において、異常の有無の判定対象である車室カメラ20や運転席側LED31、助手席側LED32が搭載された車両100の車室Qの説明図である。
以下では、ECU50(Electronic Control Unit,異常判定装置:図3参照)の説明に先立って、異常の有無の判定対象である車室カメラ20や運転席側LED31(照明部、第1照明部)、助手席側LED32(照明部、第2照明部)等について簡単に説明する。
図1に示すように、インストルメントパネルPにおいて、車幅方向の中央付近には、ディスプレイ10(表示部)が設置されている。ディスプレイ10は、車両100に関する所定の表示を行うものである。例えば、ディスプレイ10には、車両100の状態や、車両100の周囲の状況の他、現在地から目的地までの経路を示す所定のナビゲーション画面が表示される。ディスプレイ10の付近には、次に説明する車室カメラ20の他、運転席側LED31や助手席側LED32が設置されている。
図2は、図1に示す領域Kの部分拡大図である。
図2に示す車室カメラ20は、ステアリングホイールH(図1参照)が設けられた運転席の乗員の他、助手席や後部座席の乗員を撮像するカメラである。図2に示すように、インストルメントパネルPにおいて、ディスプレイ10の付近に車室カメラ20が設置されている。より詳しく説明すると、ディスプレイ10の下側において、車幅方向の中央付近に車室カメラ20は設置されている。
運転席側LED31及び助手席側LED32は、車両100(図1参照)の乗員を照らすものであり、インストルメントパネルPの所定箇所に設置されている。運転席側LED31(第1照明部)は、車両100の内部において、車両100の車幅方向一方側(図2の紙面右側)を照らす機能を有している。この運転席側LED31は、車幅方向に所定間隔を空けて配置された3つのLED31a,31b,31cを含んでいる。このようなLED31a,31b,31cとして、例えば、赤外線LED(Infrared Light Emitting Diode)が用いられる。
助手席側LED32(第2照明部)は、車両100の内部において、車両100の車幅方向他方側(図2の紙面左側)を照らす機能を有している。この助手席側LED32は、車幅方向に所定間隔を空けて配置された3つのLED32a,32b,32cを含んでいる。このようなLED32a,32b,32cとして、例えば、赤外線LEDが用いられる。
図2の例では、車室カメラ20の下側において、LED31a,31b,31c,32a,32b,32cが、この順で、所定間隔を空けて車幅方向に一列で配置されている。また、車幅方向において運転席側(図2の紙面右側)にはLED31a,31b,31cが配置される一方、助手席側(図2の紙面左側)にはLED32a,32b,32cが配置されている。
なお、車両100の「内部機器」は、車室カメラ20と、運転席側LED31と、助手席側LED32と、を含んで構成される。また、運転席側LED31及び助手席側LED32を総称して、LED30という。
運転席や助手席に座っている乗員を車室カメラ20が撮像する際には、LED30が点灯される。これによって、フロントガラスWF(図1参照)やドアガラスWD(図1参照)を介して光がほとんど差し込まない夜間でも、車室カメラ20によって乗員を撮像できる。
図3は、異常判定装置であるECU50を含む機能ブロック図である。
図3に示すように、車室カメラ20は、画像取得部21と、輝度取得部22と、を備えている。
画像取得部21は、車両100の内部の画像を取得する機能を有している。このような画像取得部21として、図示はしないが、光学レンズと、撮像素子と、A/D変換器と、を備えるものが用いられてもよい。前記した撮像素子として、例えば、CCDセンサ(Charge Coupled Device)やCMOSセンサ(Complementary Metal Oxide Semiconductor)が用いられる。画像取得部21によって取得された画像のデータは、輝度取得部22に出力されるとともに、ECU50に出力される。
輝度取得部22は、画像取得部21からの画像の輝度を取得する。すなわち、輝度取得部22は、画像取得部21から入力される画像のデータに基づき、この画像に含まれる各画素の輝度を取得する。なお、画像取得部21から入力される画像において、運転席側LED31や助手席側LED32によって照らされる領域が予め設定されていてもよい。そして、輝度取得部22が、前記した領域の輝度の平均値を、画像取得部21から入力される「画像の輝度」として取得するようにしてもよい。輝度取得部22によって取得された輝度のデータは、ECU50に出力される。
図3に示す速度検出部40は、車両100が移動する速度を検出する。例えば、速度検出部40は、車両100における単位時間当たりの車輪の回転数に基づいて、車両100の速度を検出する。このように速度検出部40によって検出された速度のデータは、ECU50に出力される。
ECU50(異常判定装置)は、車両100の各機器を制御する機能を有している。ECU50は、図示はしないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、各種インタフェース等の電子回路を含んで構成されている。そして、ROMに記憶されたプログラムを読み出してRAMに展開し、CPUが各種処理を実行するようになっている。
図3に示すように、ECU50は、記憶部51と、制御部52と、を備えている。記憶部51には、所定のプログラムの他、画像取得部21や輝度取得部22の他、速度検出部40等から入力される所定のデータが格納される。
制御部52は、記憶部51に格納されたデータに基づいて、車室カメラ20、LED30、及びディスプレイ10を含む各機器を制御する。図3に示すように、制御部52は、異常判定部52aと、LED制御部52bと、表示制御部52cと、を備えている。
異常判定部52aは、LED30及び画像取得部21を含む「内部機器」の異常の有無を判定する機能を有している。LED制御部52bは、LED30を所定に制御する機能を有している。表示制御部52cは、ディスプレイ10を所定に制御する機能を有している。なお、異常判定部52aやLED制御部52b、表示制御部52cの詳細については後記する。
その他、車室カメラ20の撮像結果に基づいて、ECU50が運転者の視線を検出するようにしてもよい。例えば、ECU50は、運転者の眼球において、LED30の光が当たっている箇所を所定の基準点(ほとんど動かない点)とし、この基準点との位置関係に基づいて、運転者の眼球の瞳孔の位置を特定する。これによって、ECU50は、運転者の視線を検出し、その検出結果に基づいて、運転者の居眠りや脇見等を検知するようになっている。なお、前記した視線検出の方法は一例であり、これに限定されるものではない。
図4は、車室カメラやLEDにおける異常の有無の判定に関する説明図である(適宜、図2、図3を参照)。
なお、図4に示す縦軸は、ECU50からLED30に点灯指令が出力されている状態で、輝度取得部22によって取得される画像の輝度である。このような輝度として、車室カメラ20の撮像結果である画像の各画素のうち、LED30で照射される所定領域の輝度の平均値が用いられてもよい。
以下では、車室カメラ20の撮像結果である画像の輝度を、単に「画像の輝度」という。また、図4に示す輝度閾値である第1閾値LUM1、第2閾値LUM2、及び第3閾値LUM3の大小関係は、LUM1>LUM2>LUM3になっている。つまり、第2閾値LUM2は、第1閾値LUM1よりも小さく、かつ、第3閾値LUM3よりも大きい輝度閾値である。
画像の輝度が第1閾値LUM1以上である「正常範囲」は、車室カメラ20の画像取得部21及びLED30のいずれも正常であるとECU50が判定する際の基準となる輝度範囲である。車室カメラ20が正常に作動するとともに、LED30も正常に点灯していれば、得られる画像が比較的明るく、画像の輝度が第1閾値LUM1以上になる。
画像の輝度が第3閾値LUM3未満である「車室カメラの異常範囲」は、少なくとも車室カメラ20の画像取得部21に異常があるとECU50が判定する際の基準となる輝度範囲である。車室カメラ20の画像取得部21に異常がある場合には、画像の輝度が極端に低くなることが多い。
画像の輝度が第2閾値LUM2未満であり、かつ、第3閾値LUM3以上である「LEDの異常範囲」は、LED30に異常があるとECU50が判定する際の基準となる輝度範囲である。LED30に異常がある場合には、正常時よりも画像の輝度が低くなる。
ちなみに、「内部機器」が正常であり場合でも、また、「内部機器」に何らかの異常が生じている場合でも、画像の輝度が第1閾値LUM1未満、かつ、第2閾値LUM2以上の範囲内になることはほとんどない。
また、第1実施形態では、一例として、第1閾値LUM1、第2閾値LUM2、及び第3閾値LUM3が予め設定されているものとして説明する。なお、第1閾値LUM1や第2閾値LUM2が可変である場合については、第2実施形態で説明する。
図5は、車室カメラやLEDにおける異常の有無に関して、ECUが実行する処理のフローチャートである(適宜、図3、図4を参照)。
なお、図5の「START」時において、例えば、車両100が出荷前やメンテナンス時の検査用の暗室(図示せず)に停止している状態(電源は入っているが走行していない状態)であってもよい。
ステップS101においてECU50は、LED制御部52bによって、LED30に点灯指令を出力する。つまり、ECU50は、運転席側LED31及び助手席側LED32に点灯指令を出力する。
ステップS102においてECU50は、画像の輝度LUMを読み込む。つまり、ECU50は、車室カメラ20の撮像結果である画像の輝度LUMを読み込む。
ステップS103においてECU50は、画像の輝度LUMが第1閾値LUM1(図4参照)以上であるか否かを判定する。画像の輝度LUMが第1閾値LUM1以上である場合(S103:Yes)、ECU50の処理はステップS104に進む。
ステップS104においてECU50は、異常判定部52aによって、内部機器は正常であると判定する。つまり、ECU50は、画像取得部21及びLED30のいずれも正常であると判定する。LED30からの赤外線が車室Q(図1参照)に適切に照射され、この赤外線が画像取得部21で所定の電気信号(各画素の輝度を示す電気信号)に適切に変換された結果として、画像の輝度が第1閾値LUM1以上になるからである。
一方、ステップS103において画像の輝度LUMが第1閾値LUM1未満である場合(S103:No)、ECU50の処理はステップS105に進む。ステップS105においてECU50は、画像の輝度LUMが第3閾値LUM3未満であるか否かを判定する。画像の輝度LUMが第3閾値LUM3未満である場合(S105:Yes)、ECU50の処理はステップS106に進む。
ステップS106においてECU50は、異常判定部52aによって、車室カメラ20の画像取得部21に異常ありと判定する(異常判定ステップ)。正常時にはあり得ないほど、画像の輝度LUMが極端に低くなっているからである。ステップS107においてECU50は、異常を報知する。例えば、ECU50は、車両100のメンテナンスを行うべき旨をディスプレイ10に表示させる。
一方、ステップS105において画像の輝度LUMが第3閾値LUM3以上である場合(S105:No)、ECU50の処理はステップS108に進む。
ステップS108においてECU50は、画像の輝度LUMが第3閾値LUM3以上であり、かつ、第2閾値LUM2未満であるか否かを判定する。画像の輝度LUMが第3閾値LUM3以上であり、かつ、第2閾値LUM2未満である場合(S108:Yes)、ECU50の処理はステップS109に進む。
ステップS109においてECU50は、異常判定部52aによって、LED30に異常ありと判定する(異常判定ステップ)。LED30に異常がある場合には、車室カメラ20の撮像結果である画像が暗くなり、結果的に画像の輝度が低くなるからである。このように、第1実施形態の例では、異常判定部52aが、画像の輝度LUMのみに基づいて、画像取得部21及びLED30の異常の有無を判定するようにしている。
ステップS110においてECU50は、異常を報知する。例えば、ECU50は、表示制御部52cによって、車両100のメンテナンスを行うべき旨をディスプレイ10に表示させる。
ステップS104、S107、又はS110の処理を行った後、ECU50は、一連の処理を終了する(END)。
<効果>
第1実施形態に係るECU50は、基本的に以上のように構成される。次に、ECU50の処理による作用・効果について説明する。
図1〜図5に示すように、ECU50(内部機器の異常判定装置)は、車両100(移動体)の内部の画像を取得する画像取得部21と、この画像の輝度を取得する輝度取得部22と、車両100の乗員を照らすLED30(照明部)と、を含む内部機器の異常の有無を判定する異常判定装置であって、画像の輝度に基づいて、LED30及び画像取得部21の異常の有無を判定する異常判定部52aを備えている。
このような構成によれば、LED30の異常判定と、画像取得部21の異常判定と、が異なる方法で個別に行われる場合に比べて、異常判定部52aの処理を簡素化できる。また、異常判定部52aによって判定結果が得られるまでの時間を大幅に短縮できる。
また、図1〜図5に示すように、LED30(照明部)に点灯指令を出力している状態で、画像の輝度が第1閾値LUM1以上である場合(図5のS103:Yes)、異常判定部52aは、前記した内部機器が正常であると判定する(S104)。また、LED30に点灯指令を出力している状態で、画像の輝度が第2閾値LUM2未満であり、かつ、第3閾値LUM3以上である場合(S108:Yes)、異常判定部52aは、LED30に異常ありと判定する(S109)。また、LED30に点灯指令を出力している状態で、画像の輝度が第3閾値LUM3未満である場合(S105:Yes)、異常判定部52aは、少なくとも画像取得部21に異常ありと判定する。なお、第2閾値LUM2は、第1閾値LUM1よりも小さく、かつ、第3閾値LUM3よりも大きい。
このような構成によれば、ECU50が、画像取得部21によって取得された画像の輝度と、各閾値と、の大小を比較することで、内部機器の異常の有無を簡素かつ迅速に判定できる。
≪第2実施形態≫
第2実施形態は、ECU50がLED30に消灯指令を出力している状態で画像の輝度を取得し、この輝度に基づいて、第1閾値LUM1及び第2閾値LUM2を設定する点が、第1実施形態とは異なっている。なお、その他(車両100の構成等:図1〜図4参照)については、第1実施形態と同様である。したがって、第1実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
図6は、車室カメラやLEDにおける異常の有無に関して、ECUが実行する処理のフローチャートである(適宜、図3、図4を参照)。
なお、図6の「START」において、車両100の速度が所定値以下(速度ゼロの状態を含む)であることが好ましい。つまり、車両100の速度が所定値以下である状態で、ECU50が、車室カメラ20の画像取得部21やLED30の異常の有無を判定する(図6の一連の処理を行う)ことが好ましい。これによって、例えば、画像取得部21の異常判定と、LED30の異常判定とが、光の当たり具合の異なる環境下で行われることを防止できる。
ちなみに、図6の一連の処理に要する時間は、例えば、数msecであるため、前記した速度の条件が設けられない場合でも、画像取得部21やLED30の異常判定に支障が生じるおそれはほとんどない。
図6のステップS201においてECU50は、LED制御部52bによって、LED30に消灯指令を出力する。
次に、ステップS202においてECU50は、画像の輝度LUMを読み込む。これによって、ECU50は、LED30が消灯した状態での画像の輝度LUMを取得できる。この輝度LUMには、フロントガラスFW(図1参照)やドアガラスDW(図1参照)を介して照射される外光(自然光)の明るさが反映されている。なお、LED30に消灯指令を出力している状態で、画像の輝度を取得するモードを「外光検知モード」という。
次に、ステップS203においてECU50は、画像の輝度に関する第1閾値LUM1(図4参照)及び第2閾値LUM2(図4参照)を設定する。例えば、ECU50は、外光検知モードで取得した画像の輝度が高いほど、第1閾値LUM1及び第2閾値LUM2を高い値に設定する。これによって、車室Q(図1参照)に外光が差し込んでいる状況でも、ECU50が、画像取得部21やLED30の異常の有無を高精度で判定できる。
なお、第1閾値LUM1や第2閾値LUM2が可変である一方、第3閾値LUM3(図4参照)が固定値として設定されるようにしてもよい。前記したように、第3閾値LUM3は、画像取得部21の異常の有無を判定する際に用いられるが、画像取得部21に異常がある場合には、車室Qの照度に関わらず、ECU50で読み込まれる画像の輝度が極端に低くなるからである。
ステップS203の処理を行った後、ECU50は、図6に示すステップS101〜S110の処理を適宜に実行する。なお、ステップS101〜S110の各処理は、第1実施形態(図5参照)と同様であるから説明を省略する。また、前記した外光検知モード(S201、S202)の実行後、ECU50がLED30に点灯指令を出力した状態で画像の輝度を取得する(S101、S102)モードを、「内部検知モード」という。
<効果>
第2実施形態に係るECU50は、基本的に以上のように構成される。次に、ECU50の処理による作用・効果について説明する。
図1〜図4、図6に示すように、ECU50(内部機器の異常判定装置)の異常判定部52aは、LED30(照明部)に消灯指令を出力している状態で、外光の明るさを示す画像の輝度を輝度取得部22によって取得する外光検知モードを実行し(図6のS201、S201)、LED30に点灯指令を出力している状態で、画像の輝度を輝度取得部22によって取得する内部検知モードを実行する(S101,S102)。そして、異常判定部52aは、外光検知モードにおける画像の輝度に基づいて、内部検知モードで用いる第2閾値LUM2を設定する(S203)。
このような構成によれば、車室Qに外光が差し込んでいる状況でも、ECU50は、画像取得部21やLED30の異常の有無を適切に判定できる。
また、図1〜図4、図6に示すように、ECU50(内部機器の異常判定装置)の異常判定部52aは、外光検知モードにおける画像の輝度に基づいて、内部検知モードで用いる第1閾値LUM1を設定する(S203)。
このような構成によれば、車室Qに外光が差し込んでいる状況でも、ECU50は、画像取得部21やLED30の異常の有無を適切に判定できる。
また、図3に示すように、ECU50(内部機器の異常判定装置)は、車両100(移動体)の速度を検出する速度検出部40を備え、異常判定部52aは、車両100の速度が所定値以下である場合、外光検知モード及び内部検知モードを実行することが好ましい。
このような構成によれば、光の当たり具合が略同じ環境下で画像取得部21やLED30の異常判定が行われるため、異常判定に関する適切に行うことができる。
また、車両100の速度が所定値よりも大きい場合には、異常判定部52aが、外光検知モード及び内部検知モードを実行しないことが好ましい。
このような構成によれば、画像取得部21及びLED30の異常の有無に関する誤判定がさらに生じにくくなる。
≪第3実施形態≫
第3実施形態は、LED30(図2、図3参照)に関して、運転席側LED31の異常の有無、及び、助手席側LED32の異常の有無が個別に判定される点が、第2実施形態とは異なっている。なお、その他(車両100の構成等:図1〜図4参照)については、第2実施形態と同様である。したがって、第2実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
図7A、図7Bは、車室カメラやLEDにおける異常の有無に関して、ECUが実行する処理のフローチャートである(適宜、図3、図4を参照)。
なお、図7Aの「START」時において、例えば、車両100が停止していてもよいし、また、所定値以下の速度で走行していてもよい。また、図7AのステップS301〜S303の処理は、第2実施形態のステップS201〜S203(図6参照)と同様であるから、説明を省略する。
図7AのステップS303において、第1閾値LUM1及び第2閾値LUM2を設定した後、ECU50の処理はステップS304に進む。
ステップS304においてECU50は、LED制御部52bによって、運転席側LED31に点灯指令を出力する一方、助手席側LED32には消灯指令を出力する。
次に、ステップS305においてECU50は、画像の輝度LUMを読み込む。なお、運転席側LED31に点灯指令を出力する一方、助手席側LED32に消灯指令を出力している状態で、画像の輝度LUMを取得するモードを「第1内部検知モード」という。
ステップS306においてECU50は、画像の輝度LUMが第1閾値LUM1以上であるか否かを判定する。画像の輝度LUMが第1閾値LUM1以上である場合(S306:Yes)、ECU50の処理は、図7BのステップS313に進む。一方、ステップS306において、画像の輝度LUMが第1閾値LUM1未満である場合(S306:No)、ECU50の処理はステップS307に進む。
そして、ステップS307において画像の輝度LUMが第3閾値LUM3未満である場合(S307:Yes)、ECU50の異常判定部52aは、画像取得部21に異常ありと判定し(S308)、この異常を報知する(S309)。一方、ステップS307において画像の輝度LUMが第3閾値LUM3以上である場合(S307:No)、ECU50の処理はステップS310に進む。
そして、ステップS310において画像の輝度LUMが第3閾値LUM3以上であり、かつ、第2閾値LUM2未満である場合(S310:Yes)、ECU50は、運転席側LED31に異常ありと判定し(S311)、この異常を報知する(S312)。ステップS309又はステップS312の処理を行った後、ECU50の処理は、図7BのステップS313に進む。
図7BのステップS313においてECU50は、LED制御部52bによって、運転席側LED31に消灯指令を出力する一方、助手席側LED32には点灯指令を出力する。
次に、ステップS314においてECU50は、画像の輝度LUMを読み込む。なお、運転席側LED31に消灯指令を出力する一方、助手席側LED32に点灯指令を出力している状態で、画像の輝度LUMを取得するモードを「第2内部検知モード」という。
ステップS315においてECU50は、画像の輝度LUMが第1閾値LUM1以上であるか否かを再び判定する。画像の輝度LUMが第1閾値LUM1以上である場合(S315:Yes)、ECU50の異常判定部52aは、内部機器が正常であると判定する(S316)。
一方、ステップS315において、画像の輝度LUMが第1閾値LUM1未満である場合(S315:No)、ECU50の処理はステップS317に進む。
そして、ステップS317において画像の輝度LUMが第3閾値LUM3以上であり、かつ、第2閾値LUM2未満である場合(S317:Yes)、ECU50の異常判定部52aは、助手席側LED32に異常ありと判定し(S318)、この異常を報知する(S319)。ステップS316又はステップS319の処理を行った後、ECU50は、一連の処理を終了する(END)。
第3実施形態に係るECU50は、基本的に以上のように構成される。次に、ECU50の処理による作用・効果について説明する。
図1〜図4、図7A、図7Bに示すように、LED30(照明部)は、車両100(移動体)の内部において、車両100の幅方向一方側を照らす運転席側LED31(第1照明部)と、車両100の幅方向他方側を照らす助手席側LED32(第2照明部)と、を有している。そして、異常判定部52aは、運転席側LED31に点灯指令を出力する一方、助手席側LED32に消灯指令を出力している状態で、画像の輝度を輝度取得部22によって取得する第1内部検知モードを実行し、この第1内部検知モードの結果に基づいて、運転席側LED31の異常の有無を判定する。さらに、異常判定部52aは、運転席側LED31に消灯指令を出力する一方、助手席側LED32に点灯指令を出力している状態で、画像の輝度を輝度取得部22によって取得する第2内部検知モードを実行し、この第2内部検知モードの結果に基づいて、助手席側LED32の異常の有無を判定する。
このような構成によれば、LED30に異常がある場合、異常判定部52aは、運転席側LED31及び助手席側LED32のうち、いずれに異常があるかを特定できる。したがって、車両100のメンテナンス時に作業員がLED30の異常箇所を特定しやすくなる。
≪変形例≫
以上、本発明に係るECU50(図3参照)等について各実施形態で説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。例えば、異常判定部52aが内部機器の異常の有無を判定する際、次の処理が行われるようにしてもよい。すなわち、車室カメラ20の画像取得部21が、ディスプレイ10(表示部)の付近に設置され(図2参照)、異常判定部52aが、外光検知モード及び内部検知モードの両方を、ディスプレイ10が作動している状態で行う、又は、外光検知モード及び内部検知モードの両方を、ディスプレイ10が作動していない状態で行うようにしてもよい。
このような構成によれば、ディスプレイ10の状態が、内部機器の異常の有無の判定に与える影響を緩和できる。
また、各実施形態では、ECU50が、画像の輝度LUMと第1閾値LUM1との大小を比較した後(図5のS103)、輝度LUMと他の各閾値との大小を比較する処理について説明したが、これに限らない。例えば、異常判定部52aは、画像の輝度LUMが第3閾値LUM3未満であるか否かの判定を外光検知モードの直後に実行し、画像の輝度LUMが第3閾値LUM3未満である場合には、画像取得部21に異常ありと判定し、内部検知モードには移行しないようにしてもよい。
このような構成によれば、画像取得部21に異常ありと判定した場合には、異常判定部52aが内部検知モードに移行しないため、各実施形態に比べて、内部機器の異常の有無の判定結果をさらに迅速に出すことができる。
また、第3実施形態では、内部検知モードにおいてECU50が、運転席側LED31及び助手席側LED32のうち一方を点灯させ、他方を消灯させて、それぞれの異常の有無を判定する処理について説明したが、これに限らない。例えば、異常判定部52aが、運転席側LED31(第1照明部)及び助手席側LED32(第2照明部)に点灯指令を出力している状態で、画像の輝度を輝度取得部22によって取得する内部検知モードを実行し、内部検知モードにおける画像のうち、運転席側LED31によって照らされる領域の輝度に基づいて、運転席側LED31の異常の有無を判定するようにしてもよい。さらに、異常判定部52aが、内部検知モードにおける画像のうち、助手席側LED32(第2照明部)によって照らされる領域の輝度に基づいて、助手席側LED32の異常の有無を判定するようにしてもよい。
このような構成によれば、異常判定部52aが、運転席側LED31及び助手席側LED32のうち、いずれに異常があるかを特定できる。したがって、車両100のメンテナンス時に作業員がLED30の異常箇所を特定しやすくなる。
また、各実施形態では、車室カメラ20(図3参照)が、画像取得部21及び輝度取得部22の両方を備える場合について説明したが、これに限らない。例えば、車室カメラ20が画像取得部21を備える一方、ECU50や外部のサーバ(図示せず)が輝度取得部22の機能を担うようにしてもよい。
また、各実施形態では、ECU50(図3参照)が異常判定部52aを備える場合について説明したが、これに限らない。例えば、外部のサーバ(図示せず)が異常判定部52aの機能を担うようにしてもよい。
図2に示す運転席側LED31や助手席側LED32において、LEDの個数や配置(図2参照)は一例であり、適宜に変更可能である。
また、車室カメラ20やLED30以外の所定の機器が「内部機器」に含まれるようにし、この機器に関する異常の有無の判定も併せて、異常判定部52aが所定の方法で行うようにしてもよい。
また、第2、第3実施形態では、ECU50が、外光検知モードで取得した画像の輝度に基づいて、第1閾値LUM1及び第2閾値LUM2の両方を設定する(つまり、各閾値が可変である)場合について説明したが、これに限らない。例えば、第1閾値LUM1及び第2閾値LUM2のうち一方が可変であり、他方が固定値であってもよい。
また、第2、第3実施形態では、ECU50が、外光検知モードを実行した後、内部検知モードを実行する処理について説明したが、これに限らない。例えば、ECU50が、内部検知モードを実行した後、外光検知モードを実行し、この外光検知モードでの画像の輝度に基づいて、第1閾値LUM1や第2閾値LUM2を設定し、さらに、内部検知モードの画像の輝度に基づいて、所定の異常判定を行うようにしてもよい。
また、車両100の乗員を照らす「照射部」の種類は、LEDに限定されず、他の種類の光学機器が用いられてもよい。
また、第2実施形態では、LED30を消灯状態にした場合の画像の輝度に基づいて、第1閾値LUM1や第2閾値LUM2が設定される場合について説明したが、これに限らない。例えば、第1閾値LUM1や第2閾値LUM2を固定値とし、LED30を消灯状態にした場合の画像の輝度を、その後にLED30を点灯状態にした場合の画像の輝度から差し引くようにしてもよい。なお、第3実施形態についても同様のことがいえる。
また、各実施形態は、四輪の車両の他、二輪や三輪の車両の他、船舶や航空機といった様々な移動体にも適用できる。また、各実施形態で説明した方法(内部機器の異常判定方法)をコンピュータに実行させるためのプログラム等を、メモリやハードディスクの他、IC(Integrated Circuit)カード等の記録媒体に格納するようにしてもよい。
10 ディスプレイ(表示部)
20 車室カメラ(内部機器)
21 画像取得部(内部機器)
22 輝度取得部
30 LED(内部機器、照明部)
31,31a,31b,31c 運転席側LED(内部機器、照明部、第1照明部)
32,32a,32b,32c 助手席側LED(内部機器、照明部、第2照明部)
40 速度検出部
50 ECU(内部機器の異常判定装置)
51 記憶部
52 制御部
52a 異常判定部
52b LED制御部
52c 表示制御部
100 車両(移動体)
Q 車室(移動体の内部)

Claims (11)

  1. 移動体の内部の画像を取得する画像取得部と、前記画像の輝度を取得する輝度取得部と、前記移動体の乗員を照らす照明部と、を含む内部機器の異常の有無を判定する異常判定装置であって、
    前記画像の輝度に基づいて、前記画像取得部及び前記照明部の異常の有無を判定する異常判定部を備えること
    を特徴とする内部機器の異常判定装置。
  2. 前記照明部に点灯指令を出力している状態で、前記画像の輝度が第1閾値以上である場合、前記異常判定部は、前記内部機器が正常であると判定し、
    前記照明部に点灯指令を出力している状態で、前記画像の輝度が第2閾値未満であり、かつ、第3閾値以上である場合、前記異常判定部は、前記照明部に異常ありと判定し、
    前記照明部に点灯指令を出力している状態で、前記画像の輝度が前記第3閾値未満である場合、前記異常判定部は、少なくとも前記画像取得部に異常ありと判定し、
    前記第2閾値は、前記第1閾値よりも小さく、かつ、前記第3閾値よりも大きいこと
    を特徴とする請求項1に記載の内部機器の異常判定装置。
  3. 前記異常判定部は、前記照明部に消灯指令を出力している状態で、外光の明るさを示す前記画像の輝度を前記輝度取得部によって取得する外光検知モードを実行し、前記照明部に点灯指令を出力している状態で、前記画像の輝度を前記輝度取得部によって取得する内部検知モードを実行し、
    前記異常判定部は、前記外光検知モードにおける前記画像の輝度に基づいて、前記内部検知モードで用いる前記第2閾値を設定すること
    を特徴とする請求項2に記載の内部機器の異常判定装置。
  4. 前記異常判定部は、前記外光検知モードにおける前記画像の輝度に基づいて、前記内部検知モードで用いる前記第1閾値を設定すること
    を特徴とする請求項3に記載の内部機器の異常判定装置。
  5. 前記移動体の速度を検出する速度検出部を備え、
    前記異常判定部は、前記速度が所定値以下である場合、前記外光検知モード及び前記内部検知モードを実行すること
    を特徴とする請求項3又は請求項4に記載の内部機器の異常判定装置。
  6. 前記照明部は、前記移動体の内部において、前記移動体の幅方向一方側を照らす第1照明部と、前記移動体の幅方向他方側を照らす第2照明部と、を有し、
    前記異常判定部は、
    前記第1照明部に点灯指令を出力する一方、前記第2照明部に消灯指令を出力している状態で、前記画像の輝度を前記輝度取得部によって取得する第1内部検知モードを実行し、当該第1内部検知モードの結果に基づいて、前記第1照明部の異常の有無を判定し、
    前記第1照明部に消灯指令を出力する一方、前記第2照明部に点灯指令を出力している状態で、前記画像の輝度を前記輝度取得部によって取得する第2内部検知モードを実行し、当該第2内部検知モードの結果に基づいて、前記第2照明部の異常の有無を判定すること
    を特徴とする請求項1に記載の内部機器の異常判定装置。
  7. 前記照明部は、前記移動体の内部において、前記移動体の車幅方向一方側を照らす第1照明部と、前記移動体の車幅方向他方側を照らす第2照明部と、を有し、
    前記異常判定部は、
    前記第1照明部及び前記第2照明部に点灯指令を出力している状態で、前記画像の輝度を前記輝度取得部によって取得する内部検知モードを実行し、
    前記内部検知モードにおける前記画像のうち、前記第1照明部によって照らされる領域の輝度に基づいて、前記第1照明部の異常の有無を判定し、
    前記内部検知モードにおける前記画像のうち、前記第2照明部によって照らされる領域の輝度に基づいて、前記第2照明部の異常の有無を判定すること
    を特徴とする請求項1に記載の内部機器の異常判定装置。
  8. 前記移動体に関する所定の表示を行う表示部を備え、
    前記画像取得部は、前記表示部の付近に設置され、
    前記異常判定部は、
    前記外光検知モード及び前記内部検知モードの両方を、前記表示部が作動している状態で行う、
    又は、
    前記外光検知モード及び前記内部検知モードの両方を、前記表示部が作動していない状態で行うこと
    を特徴とする請求項3又は請求項4に記載の内部機器の異常判定装置
  9. 前記異常判定部は、
    前記画像の輝度が前記第3閾値未満であるか否かの判定を前記外光検知モードの直後に実行し、
    前記画像の輝度が前記第3閾値未満である場合には、前記画像取得部に異常ありと判定し、前記内部検知モードには移行しないこと
    を特徴とする請求項3又は請求項4に記載の内部機器の異常判定装置。
  10. 移動体の内部の画像を取得する画像取得部と、前記画像の輝度を取得する輝度取得部と、前記移動体の乗員を照らす照明部と、を含む内部機器の異常の有無を判定する異常判定方法であって、
    前記画像の輝度に基づいて、前記画像取得部及び前記照明部の異常の有無を判定する異常判定ステップを含むこと
    を特徴とする内部機器の異常判定方法。
  11. 請求項10に記載の内部機器の異常判定方法をコンピュータに実行させるためのプログラム。
JP2020048397A 2020-03-18 2020-03-18 内部機器の異常判定装置、異常判定方法、及びプログラム Active JP7470540B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020048397A JP7470540B2 (ja) 2020-03-18 2020-03-18 内部機器の異常判定装置、異常判定方法、及びプログラム
US17/201,595 US11790670B2 (en) 2020-03-18 2021-03-15 Apparatus, method, and program for determining abnormality in internal devices
CN202110291662.9A CN113497933B (zh) 2020-03-18 2021-03-18 内部设备的异常判断装置、异常判断方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020048397A JP7470540B2 (ja) 2020-03-18 2020-03-18 内部機器の異常判定装置、異常判定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021150798A true JP2021150798A (ja) 2021-09-27
JP7470540B2 JP7470540B2 (ja) 2024-04-18

Family

ID=77746644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020048397A Active JP7470540B2 (ja) 2020-03-18 2020-03-18 内部機器の異常判定装置、異常判定方法、及びプログラム

Country Status (3)

Country Link
US (1) US11790670B2 (ja)
JP (1) JP7470540B2 (ja)
CN (1) CN113497933B (ja)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129505B2 (en) * 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
JP2004067031A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 操作者判別装置およびこれを用いた車載装置
JP4649828B2 (ja) 2003-10-17 2011-03-16 Jfeスチール株式会社 画像処理装置の異常の判定方法
JP4130434B2 (ja) 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
JP4130435B2 (ja) 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
JP4658899B2 (ja) 2006-10-24 2011-03-23 本田技研工業株式会社 車両の乗員検知装置
JP4853389B2 (ja) 2007-06-07 2012-01-11 株式会社デンソー 顔画像撮像装置
JP4888382B2 (ja) 2007-12-28 2012-02-29 オムロン株式会社 異常検出装置および方法、並びに、プログラム
JP2013196331A (ja) * 2012-03-19 2013-09-30 Denso Corp 撮像制御装置及びプログラム
KR101538978B1 (ko) 2014-03-25 2015-07-24 (주)그린아이티코리아 감시 카메라 장치 및 이를 이용한 적외전 led 광원의 이상을 감지하는 방법
JP2018518021A (ja) * 2015-06-05 2018-07-05 シーイング マシーンズ リミテッド 赤外光源用保護システム
US11039112B2 (en) 2017-09-21 2021-06-15 Maxell, Ltd. Head up display apparatus
JP7073769B2 (ja) * 2018-02-14 2022-05-24 いすゞ自動車株式会社 運転支援システム及び運転支援方法
CN111699680B (zh) * 2018-03-15 2022-03-01 Jvc建伍株式会社 行车记录仪、显示控制方法以及存储介质
WO2019198179A1 (ja) * 2018-04-11 2019-10-17 三菱電機株式会社 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
JP7438127B2 (ja) * 2018-04-19 2024-02-26 シーイング マシーンズ リミテッド 赤外線光源保護システム
WO2019220436A2 (en) * 2018-05-14 2019-11-21 BrainVu Ltd. Driver predictive mental response profile and application to automated vehicle brain interface control
WO2020016635A1 (en) * 2018-07-19 2020-01-23 Bosch Car Multimedia Portugal S.a. Method and system for detecting and identifying an interior abnormal condition in a passenger vehicle
EP3882884A4 (en) * 2018-11-13 2022-01-05 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2021043571A (ja) * 2019-09-09 2021-03-18 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
CN110750482A (zh) 2019-09-20 2020-02-04 上海连尚网络科技有限公司 一种用于提供小说阅读信息的方法与设备

Also Published As

Publication number Publication date
CN113497933A (zh) 2021-10-12
US11790670B2 (en) 2023-10-17
JP7470540B2 (ja) 2024-04-18
US20210295072A1 (en) 2021-09-23
CN113497933B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
JP4853389B2 (ja) 顔画像撮像装置
CN100413324C (zh) 车载夜视摄象机系统,显示装置和显示方法
JP4469860B2 (ja) 車両用灯体検査方法
US9199536B2 (en) On-vehicle display device and on-vehicle display program
JP2007272596A (ja) 移動体用操作物体抽出装置
JP2011033928A (ja) 表示制御装置および表示制御プログラム
US20120127311A1 (en) Method for calibrating an image recording system in a motor vehicle
US20130242073A1 (en) Image-capturing control apparatus and control method of capturing image
CN106458105A (zh) 车载用显示装置、车载显示装置的控制方法、程序
JP2010140171A (ja) 前照灯システム、故障検出方法
JP5208790B2 (ja) 画像処理装置、画像処理方法ならびにプログラム
JP2021150798A (ja) 内部機器の異常判定装置、異常判定方法、及びプログラム
JP2010012995A (ja) 照明装置
JP2006021591A (ja) 照明制御システム
US20060203091A1 (en) Switching on/off concept for an automobile night vision system
US20190156133A1 (en) Vehicle driving support apparatus and vehicle driving support program
JP2016107864A (ja) 車内灯制御装置及びコンピュータプログラム
JP5513190B2 (ja) 車両後方監視装置および車両後方監視方法
JP2006082653A (ja) ランプ点灯状態検出装置
JP5182567B2 (ja) 乗員監視装置
JP2004189060A (ja) 車両用周辺視認装置
JP2005273470A (ja) 車両点検システム
JP2009096323A (ja) カメラ照明制御装置
WO2023047505A1 (ja) 照明制御装置、生体情報取得装置、および、照明制御方法
US20240073538A1 (en) Image capture with varied illuminations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408

R150 Certificate of patent or registration of utility model

Ref document number: 7470540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150