JP2021143892A - 通知装置、通知方法及びプログラム - Google Patents

通知装置、通知方法及びプログラム Download PDF

Info

Publication number
JP2021143892A
JP2021143892A JP2020041746A JP2020041746A JP2021143892A JP 2021143892 A JP2021143892 A JP 2021143892A JP 2020041746 A JP2020041746 A JP 2020041746A JP 2020041746 A JP2020041746 A JP 2020041746A JP 2021143892 A JP2021143892 A JP 2021143892A
Authority
JP
Japan
Prior art keywords
image
wheel nut
wheel
unit
nut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020041746A
Other languages
English (en)
Inventor
聡 今井
Satoshi Imai
聡 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2020041746A priority Critical patent/JP2021143892A/ja
Priority to CN202180018835.8A priority patent/CN115298527A/zh
Priority to US17/905,516 priority patent/US12080107B2/en
Priority to DE112021001560.5T priority patent/DE112021001560T5/de
Priority to PCT/JP2021/009533 priority patent/WO2021182511A1/ja
Publication of JP2021143892A publication Critical patent/JP2021143892A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/013—Wheels
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60B—VEHICLE WHEELS; CASTORS; AXLES FOR WHEELS OR CASTORS; INCREASING WHEEL ADHESION
    • B60B2900/00—Purpose of invention
    • B60B2900/30—Increase in
    • B60B2900/331—Safety or security
    • B60B2900/3312—Safety or security during regular use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60B—VEHICLE WHEELS; CASTORS; AXLES FOR WHEELS OR CASTORS; INCREASING WHEEL ADHESION
    • B60B3/00—Disc wheels, i.e. wheels with load-supporting disc body
    • B60B3/14—Attaching disc body to hub ; Wheel adapters
    • B60B3/16—Attaching disc body to hub ; Wheel adapters by bolts or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)

Abstract

【課題】ホイールナットの緩みを検出する作業を簡略化する。【解決手段】車両のホイールを撮像した撮像画像を取得する取得部５２と、基準位置の指定を受け付ける受付部５１と、基準位置に対して、撮像画像から、基準ホイールナットと同じ位置の現ホイールナットを特定する特定部５３と、基準位置に対して、過去に取得部５２が取得した撮像画像である基準画像に含まれる複数のホイールナットのうちの１つである基準ホイールナットと同じ位置のホイールナットである現ホイールナットを特定する特定部５３と、基準画像に含まれる基準ホイールナットに対し、特定部５３が特定した現ホイールナットが回転したことを検出することにより、現ホイールナットの緩みを検出する検出部５４と、検出部５４が現ホイールナットの緩みを検出すると、現ホイールナットが緩んでいることをユーザに通知する通知部５６と、を備える。【選択図】図２

Description

本発明は、ホイールナットが緩んでいることを通知する通知装置、通知方法及びプログラムに関する。
ホイールナットの緩みを自動検出する技術が知られている（例えば、特許文献１参照）。特許文献１には、ホイールナットによる締め付け力を受けるスペーサ状部材の歪みを歪みセンサにより測定し、この測定結果に基づいて、ホイールナットの緩みを検出することが記載されている。
特開２０１６−１８７９７７号公報
特許文献１に記載された方法では、歪みセンサをホイールナットごとに取り付ける必要があり、歪みセンサのための電源や通信装置も確保する必要があるため、ホイールナットの緩みを検出するための作業が煩雑であるという問題があった。
本発明はこの点に鑑みてなされたものであり、ホイールナットの緩みを検出する作業を簡略化することができる通知装置、通知方法プログラムを提供することを目的とする。
本発明の第１の態様の通知装置は、車両のホイールを撮像した撮像画像を取得する取得部と、前記撮像画像における前記ホイールに設けられた複数の現ホイールナットの位置を識別するための基準位置の指定を受け付ける受付部と、過去に前記取得部が取得した前記撮像画像である基準画像と、前記基準画像の前記基準位置とを関連付けて記憶する記憶部と、前記基準画像の前記基準位置に基づいて前記基準画像に含まれる複数のホイールナットのうちの１つである基準ホイールナットを選択し、前記受付部が受け付けた前記基準位置に対して、前記取得部が取得した前記撮像画像から、前記基準ホイールナットと同じ位置の前記現ホイールナットを特定する特定部と、前記基準画像に含まれる前記基準ホイールナットに対し、前記特定部が特定した前記現ホイールナットが回転したことを検出することにより、前記現ホイールナットの緩みを検出する検出部と、前記検出部が前記現ホイールナットの緩みを検出すると、前記現ホイールナットが緩んでいることをユーザに通知する通知部と、を備える。
前記通知装置は、ユーザにより撮像が指示される前の前記撮像画像を事前表示画像として表示部に表示させる表示制御部をさらに含み、前記受付部は、前記事前表示画像の表示領域に対する前記基準位置の指定を受け付けてもよい。前記取得部は、前記受付部が基準位置の指定を受け付けたときに前記撮像画像を取得してもよい。
前記通知装置は、ユーザにより撮像が指示される前の前記撮像画像を事前表示画像として表示し、前記基準位置を指定するための枠を含む当該事前表示画像を表示部に表示させる表示制御部をさらに含んでもよい。前記通知部は、前記撮像画像に含まれるホイールの所定数以上の前記現ホイールナットの緩みを前記検出部が検出した場合に、前記基準画像に含まれるホイールと、前記撮像画像に含まれるホイールとが異なることをユーザに通知してもよい。
本発明の第２の態様の通知方法は、コンピュータに実行させる、車両のホイールを撮像した撮像画像を取得するステップと、前記撮像画像における前記ホイールに設けられた複数の現ホイールナットの位置を識別するための基準位置の指定を受け付けるステップと、過去に取得した前記撮像画像である基準画像と、前記基準画像の前記基準位置とを関連付けて記憶するステップと、前記基準画像の前記基準位置に基づいて前記基準画像に含まれる複数のホイールナットのうちの１つである基準ホイールナットを選択し、受け付けた前記基準位置に対して、取得した前記撮像画像から、前記基準ホイールナットと同じ位置の前記現ホイールナットを特定するステップと、前記基準画像に含まれる前記基準ホイールナットに対し、特定した前記現ホイールナットが回転したことを検出することにより、前記現ホイールナットの緩みを検出するステップと、前記現ホイールナットの緩みを検出すると、前記現ホイールナットが緩んでいることをユーザに通知するステップと、を備える。
本発明の第３の態様のプログラムは、コンピュータに、車両のホイールを撮像した撮像画像を取得するステップと、前記撮像画像における前記ホイールに設けられた複数の現ホイールナットの位置を識別するための基準位置の指定を受け付けるステップと、過去に取得した前記撮像画像である基準画像と、前記基準画像の前記基準位置とを関連付けて記憶するステップと、前記基準画像の前記基準位置に基づいて前記基準画像に含まれる複数のホイールナットのうちの１つである基準ホイールナットを選択し、受け付けた前記基準位置に対して、取得した前記撮像画像から、前記基準ホイールナットと同じ位置の前記現ホイールナットを特定するステップと、前記基準画像に含まれる前記基準ホイールナットに対し、特定した前記現ホイールナットが回転したことを検出することにより、前記現ホイールナットの緩みを検出するステップと、前記現ホイールナットの緩みを検出すると、前記現ホイールナットが緩んでいることをユーザに通知するステップと、を実行させる。
本発明によれば、ホイールナットの緩みを検出する作業を簡略化するという効果を奏する。
実施形態の通知装置の概要を示す図である。 通知装置の構成を示す図である。 受付部が基準位置を受け付ける処理の例を示す図である。 検出部による現ホイールナットの緩みの検出方法の例を示す図である。 通知部が現ホイールナットの緩みを通知する方法の例を示す図である。 通知装置によるホイールナットの緩みの検出の処理手順を示す図である。 受付部が基準位置の指定を受け付ける処理の別の例を示す図である。
［通知装置の概要］
図１は、本実施形態の通知装置１００の概要を示す図である。通知装置１００は、車両２００を点検する事業者が管理する装置であり、例えばスマートフォン又はタブレット等の情報端末である。車両２００は、例えば、トラック等の商用車である。通知装置１００は、車両２００のホイール２０に設けられた複数のホイールナットの緩みを検出する。
まず、通知装置１００は、ホイール２０を撮像した撮像画像を取得する。通知装置１００は、取得した撮像画像と同一のホイール２０を過去に撮像した撮像画像である基準画像を記憶部から読み出す。基準画像は、例えば、ホイール２０の各ホイールナットが緩んでいないことが前回確認された際に取得されたものである。また、基準画像は、前回ホイール２０を撮像した際に取得されたものであってもよい。通知装置１００は、撮像画像に含まれる複数のホイールナット（以下、現ホイールナット）のうち、基準画像に含まれるホイールナットのうちの１つのホイールナット（以下、基準ホイールナットともいう）と同じ位置の現ホイールナットを特定する。
詳細については後述するが、通知装置１００は、基準画像に含まれる基準ホイールナットに対し、現ホイールナットが回転したか否かを検出することにより、現ホイールナットの緩みを検出する。通知装置１００は、現ホイールナットの緩みを検出すると、現ホイールナットが緩んでいることをユーザに通知する。このようにして、通知装置１００は、ホイールナットの緩みを検出する作業を簡略化することができる。
［通知装置の構成］
図２は、通知装置１００の構成を示す図である。通知装置１００は、タッチパネル１、撮像部２、表示部３、記憶部４及び制御部５を有する。タッチパネル１は、表示部３の表示面に対するユーザの操作を受け付ける。撮像部２は、車両２００のホイール２０を撮像する。表示部３は、画像や文字等を表示するディスプレイである。記憶部４は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等により構成される。
制御部５は、例えば、ＣＰＵ（Central Processing Unit）である。制御部５は、記憶部４に記憶されたプログラムを実行することにより、受付部５１、取得部５２、特定部５３、検出部５４、表示制御部５５及び通知部５６として機能する。
受付部５１は、タッチパネル１に対するユーザの操作を受け付ける。受付部５１は、例えば、撮像画像におけるホイール２０に設けられた複数の現ホイールナットの位置を識別するための基準位置を指定する操作を受け付ける。
［基準位置の指定］
図３は、受付部５１が基準位置を受け付ける処理の例を示す図である。図３には、撮像部２がホイール２０を撮像する際の様子を示す。表示部３には、ユーザにより撮像が指示される前の撮像画像が事前表示画像として表示されている。
例えば、車両２００の運行前点検を行うための通知装置１００のアプリケーションが起動した状態において、運行前点検の複数の点検項目のうち、ホイールナットの点検がユーザにより選択されたものとする。ホイールナットの点検では、車両２００の左前輪のホイール２０を撮像することを指示するメッセージが表示部３に表示された後、事前表示画像を表示させるユーザの指示を受付部５１が受け付けたときに図３の事前表示画像が表示される。
図３の例では、事前表示画像は、車両２００のホイール２０を含む。ホイール２０は、複数の現ホイールナット及び一つのエアバルブ２０１を含む。受付部５１は、事前表示画像の表示領域６０に対するホイール２０の基準位置の指定を受け付ける。基準位置は、本明細書の例では、エアバルブ２０１の位置である。
取得部５２は、車両２００のホイール２０を撮像部２により撮像した撮像画像を取得する。例えば、取得部５２は、受付部５１が基準位置の指定を受け付けたときに撮像画像を取得する。図３の例では、表示部３には、「車両の左前輪のエアバルブの位置をタッチ操作で指定すると撮像します。」というメッセージが表示されている。取得部５２は、エアバルブの位置を基準位置として指定する操作を受付部５１が受け付けると、ホイール２０の撮像画像を取得する。このため、ユーザは、撮像画像を取得することを別途指示する必要がない。
特定部５３は、取得部５２が取得した撮像画像に含まれる複数の現ホイールナットの基準位置に対する相対的な位置を特定する。例えば、特定部５３は、取得部５２が取得した撮像画像から、ホイール２０において基準位置を起点として、複数の現ホイールナットが時計回りに何番目かをそれぞれ相対的な位置として特定する。
記憶部４には、取得部５２が過去に取得したホイール２０の撮像画像である基準画像と、基準画像の基準位置を示す情報と、車両２００を識別するための車両識別情報とが関連付けられて記憶されている。基準画像の基準位置は、基準画像が事前表示画像として表示部３に表示されている間に受付部５１が指定を受けた位置である。取得部５２は、受付部５１が指定を受けた基準位置を示す情報を関連付けて、基準画像となる撮像画像を記憶部４に記憶する。
特定部５３は、車両２００の運行前点検を行うための通知装置１００のアプリケーションにおいてユーザが選択した車両識別情報に関連付けられた基準画像のうち、撮像画像に対応する車輪と同一の車輪に対応する基準画像及びこの基準画像の基準位置を示す情報を記憶部４から読み出す。一つの車両識別情報には、車両２００の複数のホイール２０に対応する複数の基準画像が関連付けられている。一例としては、特定部５３は、ユーザが選択した車両識別情報に関連付けられた複数の基準画像のうち、表示部３に表示されているメッセージ「車両の左前輪のエアバルブの位置をタッチ操作で指定すると撮像します。」（図３）に対応する左前輪のホイール２０を含む基準画像を読み出すものとする。
特定部５３は、読み出した基準画像に含まれる複数の現ホイールナットのうち、いずれか１つのホイールナットを基準ホイールナットとして選択する。特定部５３は、基準画像の基準位置に基づいて、基準ホイールナットを選択する。例えば、特定部５３は、基準位置を起点として、時計回りに１番目のホイールナットを基準ホイールナットとして選択する。特定部５３は、特定した現ホイールナットの相対的な位置に基づいて、基準位置に対して、選択した基準ホイールナットと同じ位置の現ホイールナット２０２を特定する。
［現ホイールナットの緩みの検出］
検出部５４は、基準画像に含まれる基準ホイールナットに対し、特定部５３が特定した現ホイールナットが回転したことを検出することにより、現ホイールナットの緩みを検出する。
図４は、検出部５４による現ホイールナット２０２の緩みの検出方法の例を示す図である。検出部５４は、特定部５３が特定した現ホイールナット２０２の中心と、ホイール２０の車軸とを結ぶ線分Ｌ１を特定する。検出部５４は、現ホイールナット２０２の６角形の６個の頂点のうち、ホイール２０の車軸との距離が最も小さくなる頂点を選択する。検出部５４は、選択した頂点と、ホイール２０の車軸とを結ぶ線分Ｌ２を特定する。検出部５４は、線分Ｌ１と線分Ｌ２とのなす角度Ａを求める。検出部５４は、基準画像において同様にして求めた角度Ａ’を記憶部４から読み出す。
角度Ａ’と、角度Ａとが一致しない場合、現ホイールナット２０２が基準画像の撮像時から回転したことが分かる。検出部５４は、求めた角度の差が第１閾値以上である場合に、現ホイールナット２０２の緩みを検出する。第１閾値は、例えば、基準ホイールナットの角度に対する変化が許容される角度の最大値として予め設定された角度である。第１閾値は、検出部５４が検出可能な角度の最小値であってもよい。一方、検出部５４は、求めた角度の差が第１閾値未満である場合に、現ホイールナット２０２の緩みを検出しない。
また、検出部５４は、基準画像の基準位置に対する基準ホイールナットの回転方向の回転角度と、現ホイールナット２０２が写っている撮像画像の基準位置に対する現ホイールナット２０２の回転方向の回転角度との差が第２閾値以上である場合に、基準ホイールナットに対して現ホイールナット２０２が回転したことを検出してもよい。
例えば、検出部５４は、基準ホイールナットの真下に基準位置が位置するように基準画像を回転させる。同様に、検出部５４は、特定部５３が特定した現ホイールナット２０２の真下に基準位置が位置するように撮像画像を回転させる。検出部５４は、基準画像の回転後の基準ホイールナットと、撮像画像の回転後の現ホイールナット２０２とを比較する。検出部５４は、基準ホールナットに対し、現ホイールナット２０２が回転した回転角度を求める。検出部５４は、求めた回転角度が第２閾値以上である場合に、現ホイールナット２０２の緩みを検出する。第２閾値は、例えば、基準ホイールナットの角度に対する変化が許容される角度の最大値として予め設定された角度である。第２閾値は、検出部５４が検出可能な角度の最小値であってもよい。
表示制御部５５は、各種の画像や文字を表示部３に表示させる。例えば、表示制御部５５は、ホイールナットの点検では、車両２００の左前輪のホイール２０を撮像することを指示するメッセージを表示部３に表示させる。表示制御部５５は、図３に示すように、ユーザにより撮像が指示される前の撮像画像を事前表示画像として表示部３に表示させる。
［ホイールナットの緩みの通知］
通知部５６は、検出部５４が現ホイールナット２０２の緩みを検出すると、現ホイールナット２０２が緩んでいることをユーザに通知する。図５は、通知部５６が現ホイールナット２０２の緩みを通知する方法の例を示す図である。通知部５６は、現ホイールナット２０２の緩みを検出したことを示すメッセージを表示する。通知部５６は、検出部５４が緩みを検出した現ホイールナット２０２を示す情報を表示する。図５の例では、通知部５６は、検出部５４が緩みを検出した現ホイールナット２０２を示す二重丸印をホイール２０の撮像画像に付して表示部３に表示させる。
検出部５４が同じホイール２０に含まれる多数の現ホイールナット２０２の緩みを検出した場合、基準画像に含まれるホイール２０と、撮像画像に含まれるホイール２０とが異なる可能性がある。通知部５６は、撮像画像に含まれるホイール２０の所定数以上の現ホイールナット２０２の緩みを検出部５４が検出した場合に、基準画像に含まれるホイールと、撮像画像に含まれるホイールとが異なることをユーザに通知する。所定数は、例えば、ホイール２０に含まれる現ホイールナット２０２の総数の約２分の１である。
［ホイールナットの緩みの検出の処理手順］
図６は、通知装置１００によるホイールナットの緩みの検出の処理手順を示す図である。この処理手順は、例えば、車両２００の複数のホイール２０のうち、いずれかのホイール２０を撮像することを指示するメッセージが表示部３に表示された後、事前表示画像を表示させるユーザの指示を受付部５１が受け付けたときに開始する。
まず、表示制御部５５は、事前表示画像を表示部３に表示させる（Ｓ１０１）。受付部５１は、基準位置の指定を受け付けたか否かを判定する（Ｓ１０２）。取得部５２は、基準位置の指定を受付部５１が受け付けた場合に（Ｓ１０２のＹＥＳ）、車両２００のホイール２０を撮像した撮像画像を取得する（Ｓ１０３）。特定部５３は、取得部５２が過去に取得した同じホイール２０の撮像画像である基準画像を記憶部４から読み出す。特定部５３は、基準画像に含まれる複数のホイールナットのうち、未選択のホイールナットを基準ホイールナットとして選択する（Ｓ１０４）。
特定部５３は、選択した基準ホイールナットと同じ位置の現ホイールナット２０２を特定する（Ｓ１０５）。検出部５４は、基準ホイールナットに対し、特定部５３が特定した現ホイールナット２０２が回転したことを検出することにより、現ホイールナット２０２の緩みの有無を検出する。通知部５６は、現ホイールナット２０２の緩みを検出部５４が検出したか否かを判定する（Ｓ１０６）。通知部５６は、現ホイールナット２０２の緩みを検出部５４が検出したと判定すると（Ｓ１０６のＹＥＳ）、現ホイールナット２０２が緩んでいることをユーザに通知する（Ｓ１０７）。特定部５３は、基準画像に含まれる複数のホイールナットのうち、未選択のホイールナットがあるか否かを判定する（Ｓ１０８）。特定部５３は、未選択のホイールナットがないと判定した場合（Ｓ１０８のＮＯ）、処理を終了する。
受付部５１は、Ｓ１０２の判定において基準位置の指定を受け付けていない場合に（Ｓ１０２のＮＯ）、Ｓ１０２の判定を繰り返す。通知部５６は、Ｓ１０６の判定において現ホイールナット２０２の緩みを検出部５４が検出していないと判定すると（Ｓ１０６のＮＯ）、Ｓ１０８の判定に移る。特定部５３は、Ｓ１０８の判定において未選択のホイールナットがあると判定した場合（Ｓ１０８のＹＥＳ）、Ｓ１０４の処理に戻る。
［本発明による効果］
本実施形態によれば、検出部５４は、基準ホイールナットに対し、現ホイールナット２０２が回転したことを検出することにより、現ホイールナット２０２の緩みを検出することができる。したがって、通知装置１００は、ホイールナットの緩みを検出する作業を簡略化することができる。
［基準位置の指定の変形例］
図３の例では、受付部５１は、ユーザのタッチ操作が行われた位置を基準位置とするように、基準位置の指定を受け付ける。しかしながら、本発明は、これに限定されない。受付部５１は、基準位置を指定するための枠により、基準位置の指定を受け付けてもよい。図７は、受付部５１が基準位置の指定を受け付ける処理の別の例を示す図である。図７の例では、表示制御部５５は、基準位置を指定するための枠６１を含む事前表示画像を表示部３に表示させる。図７の例では、「車両の左前輪のエアバルブが枠内に入るように撮像してください。」というメッセージが表示されている。取得部５２は、撮像ボタン６２に対するユーザの操作を受付部５１が受け付けると、ホイール２０の撮像画像を取得する。このとき、受付部５１は、枠６１内の位置が基準位置として指定されたものとして撮像ボタン６２の操作を受け付けてもよい。
また、受付部５１は、事前表示画像の表示領域６０に対する基準位置の指定を受け付ける例に限定されない。例えば、表示制御部５５は、取得部５２が取得したホイール２０の撮像画像を表示部３に表示する。受付部５１は、表示部３に表示されている撮像画像の表示領域に対する基準位置の指定を受け付けてもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
１ タッチパネル
２ 撮像部
３ 表示部
４ 記憶部
５ 制御部
２０ 前回ホイール
２０ ホイール
５１ 受付部
５２ 取得部
５３ 特定部
５４ 検出部
５５ 表示制御部
５６ 通知部
６０ 表示領域
６１ 枠
６２ 撮像ボタン
１００ 通知装置
２００ 車両
２０１ エアバルブ
２０２ 現ホイールナット

Claims (7)

  1. 車両のホイールを撮像した撮像画像を取得する取得部と、
    前記撮像画像における前記ホイールに設けられた複数の現ホイールナットの位置を識別するための基準位置の指定を受け付ける受付部と、
    過去に前記取得部が取得した前記撮像画像である基準画像と、前記基準画像の前記基準位置とを関連付けて記憶する記憶部と、
    前記基準画像の前記基準位置に基づいて前記基準画像に含まれる複数のホイールナットのうちの１つである基準ホイールナットを選択し、前記受付部が受け付けた前記基準位置に対して、前記取得部が取得した前記撮像画像から、前記基準ホイールナットと同じ位置の前記現ホイールナットを特定する特定部と、
    前記基準画像に含まれる前記基準ホイールナットに対し、前記特定部が特定した前記現ホイールナットが回転したことを検出することにより、前記現ホイールナットの緩みを検出する検出部と、
    前記検出部が前記現ホイールナットの緩みを検出すると、前記現ホイールナットが緩んでいることをユーザに通知する通知部と、を備える、
    通知装置。
  2. ユーザにより撮像が指示される前の前記撮像画像を事前表示画像として表示部に表示させる表示制御部をさらに含み、
    前記受付部は、前記事前表示画像の表示領域に対する前記基準位置の指定を受け付ける、
    請求項１に記載の通知装置。
  3. 前記取得部は、前記受付部が基準位置の指定を受け付けたときに前記撮像画像を取得する、
    請求項２に記載の通知装置。
  4. ユーザにより撮像が指示される前の前記撮像画像を事前表示画像として表示し、前記基準位置を指定するための枠を含む当該事前表示画像を表示部に表示させる表示制御部をさらに含む、
    請求項１に記載の通知装置。
  5. 前記通知部は、前記撮像画像に含まれるホイールの所定数以上の前記現ホイールナットの緩みを前記検出部が検出した場合に、前記基準画像に含まれるホイールと、前記撮像画像に含まれるホイールとが異なることをユーザに通知する、
    請求項１から４のいずれか一項に記載の通知装置。
  6. コンピュータに実行させる、
    車両のホイールを撮像した撮像画像を取得するステップと、
    前記撮像画像における前記ホイールに設けられた複数の現ホイールナットの位置を識別するための基準位置の指定を受け付けるステップと、
    過去に取得した前記撮像画像である基準画像と、前記基準画像の前記基準位置とを関連付けて記憶するステップと、
    前記基準画像の前記基準位置に基づいて前記基準画像に含まれる複数のホイールナットのうちの１つである基準ホイールナットを選択し、受け付けた前記基準位置に対して、取得した前記撮像画像から、前記基準ホイールナットと同じ位置の前記現ホイールナットを特定するステップと、
    前記基準画像に含まれる前記基準ホイールナットに対し、特定した前記現ホイールナットが回転したことを検出することにより、前記現ホイールナットの緩みを検出するステップと、
    前記現ホイールナットの緩みを検出すると、前記現ホイールナットが緩んでいることをユーザに通知するステップと、を備える、
    通知方法。
  7. コンピュータに、
    車両のホイールを撮像した撮像画像を取得するステップと、
    前記撮像画像における前記ホイールに設けられた複数の現ホイールナットの位置を識別するための基準位置の指定を受け付けるステップと、
    過去に取得した前記撮像画像である基準画像と、前記基準画像の前記基準位置とを関連付けて記憶するステップと、
    前記基準画像の前記基準位置に基づいて前記基準画像に含まれる複数のホイールナットのうちの１つである基準ホイールナットを選択し、受け付けた前記基準位置に対して、取得した前記撮像画像から、前記基準ホイールナットと同じ位置の前記現ホイールナットを特定するステップと、
    前記基準画像に含まれる前記基準ホイールナットに対し、特定した前記現ホイールナットが回転したことを検出することにより、前記現ホイールナットの緩みを検出するステップと、
    前記現ホイールナットの緩みを検出すると、前記現ホイールナットが緩んでいることをユーザに通知するステップと、
    を実行させるための、プログラム。
JP2020041746A 2020-03-11 2020-03-11 通知装置、通知方法及びプログラム Pending JP2021143892A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020041746A JP2021143892A (ja) 2020-03-11 2020-03-11 通知装置、通知方法及びプログラム
CN202180018835.8A CN115298527A (zh) 2020-03-11 2021-03-10 通知装置、通知方法和程序
US17/905,516 US12080107B2 (en) 2020-03-11 2021-03-10 Notification apparatus, notification method, and storage medium storing program
DE112021001560.5T DE112021001560T5 (de) 2020-03-11 2021-03-10 Benachrichtigungsvorrichtung, Benachrichtigungsverfahren und -programm
PCT/JP2021/009533 WO2021182511A1 (ja) 2020-03-11 2021-03-10 通知装置、通知方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020041746A JP2021143892A (ja) 2020-03-11 2020-03-11 通知装置、通知方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2021143892A true JP2021143892A (ja) 2021-09-24

Family

ID=77672390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020041746A Pending JP2021143892A (ja) 2020-03-11 2020-03-11 通知装置、通知方法及びプログラム

Country Status (5)

Country Link
US (1) US12080107B2 (ja)
JP (1) JP2021143892A (ja)
CN (1) CN115298527A (ja)
DE (1) DE112021001560T5 (ja)
WO (1) WO2021182511A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023089659A1 (ja) * 2021-11-16 2023-05-25 太平洋工業株式会社 緩み検知装置、及び緩み検知プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05246203A (ja) 1992-03-10 1993-09-24 Nissan Motor Co Ltd 自動車の車輪自動取付方法
JPH08278116A (ja) 1995-04-07 1996-10-22 Central Japan Railway Co ボルト緩み検査方法及びボルト緩み検査装置
CN101878123B (zh) * 2007-11-30 2013-05-01 沃尔沃拉斯特瓦格纳公司 识别车轮模块位置的方法
JP5303405B2 (ja) 2009-09-01 2013-10-02 株式会社日立製作所 車両検査装置
JP2014089068A (ja) 2012-10-29 2014-05-15 Uchimura:Kk 位置ずれ検出具、位置ずれ検出装置、位置ずれ検出システム
JP6545501B2 (ja) * 2015-03-30 2019-07-17 Ntn株式会社 車輪締結状態の判定装置
US20200226902A1 (en) * 2015-12-30 2020-07-16 Bmmpr Multipurpose event detection sensor and payload alert system
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
WO2019165451A1 (en) * 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
US20230005118A1 (en) * 2019-12-05 2023-01-05 Volvo Truck Corporation Method, device, system, and computer program for detecting wheel fastener looseness and computer-readable medium storing computer

Also Published As

Publication number Publication date
US12080107B2 (en) 2024-09-03
WO2021182511A1 (ja) 2021-09-16
DE112021001560T5 (de) 2023-02-23
CN115298527A (zh) 2022-11-04
US20230122897A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
JP6396516B2 (ja) 視覚センサのキャリブレーション装置、方法及びプログラム
JP7191851B2 (ja) 棚割情報生成装置及び棚割情報生成プログラム
JP5058002B2 (ja) 物体検出装置
US8908991B2 (en) Image processing apparatus, image processing method and storage medium
JP3394278B2 (ja) 視覚センサ座標系設定治具及び設定方法
JP2007531934A5 (ja)
US6873345B2 (en) Information display apparatus
JP5907268B2 (ja) 運転支援装置
WO2021182511A1 (ja) 通知装置、通知方法及びプログラム
JP2018180875A (ja) 判定装置、判定方法および判定プログラム
US9111510B2 (en) Display apparatus and method for rotating displayed content
JP6241052B2 (ja) 画像処理システムおよび画像処理プログラム
JP4962304B2 (ja) 歩行者検出装置
JP4968093B2 (ja) 光学的情報読取装置
JPWO2020021858A5 (ja) 撮像支援装置、撮像支援方法及び撮像支援プログラム
US10883862B2 (en) Measurement-data collecting apparatus and computer program
US20210201511A1 (en) Image processing apparatus, image processing method, and storage medium
JP6894398B2 (ja) オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
JP2018005339A (ja) 画像処理装置および画像処理装置の故障検知方法
JP2022095121A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5007960B2 (ja) 光学的情報読取装置
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
JP2021076990A (ja) 作業表示方法、及び、作業表示装置
US10609250B2 (en) Image reading apparatus and method for controlling the same
JP2019079534A5 (ja) システム、その制御方法、及びプログラム