JP2021124330A - 液面検出方法及び液面検出装置 - Google Patents

Abstract

【課題】複数の製品に対して液面検査を実施する場合の効率を向上させることができる液面検出方法及び液面検出装置を提供する。
【解決手段】液面検出方法及び液面検出装置は、容器の表面に透過して見える液面と、容器の表面に固定されたマーカーと、の両方を撮像した第１画像を、マーカーの正面から撮像した場合の第２画像に変換し、第２画像内に液面検出領域を設定し、液面検出領域から液面を検出する。
【選択図】図１

Description

本発明は、液面検出方法及び液面検出装置に関する。

容器に設けられた観測窓に対して、照明を照射し、反射光をカメラで撮影することにより、容器内の液面を検出する液面検出装置が提案されている（特許文献１参照）。

特開平８−２７８１８６号公報

しかしながら、特許文献１に記載の技術によれば、反射光を撮影するために規定された位置にカメラを設置する必要があるため、複数の製品に対して検査を実施する際、各々の製品に対してカメラの位置を調整しなければならず、手間と時間が必要なために効率よく検査を行うことができないという問題がある。

本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、複数の製品に対して液面検査を実施する場合の効率を向上させることができる液面検出方法及び液面検出装置を提供することにある。

上述した問題を解決するために、本発明の一態様に係る液面検出方法及び液面検出装置は、容器の表面に透過して見える液面と、容器の表面に固定されたマーカーと、の両方を撮像した第１画像を、マーカーの正面から撮像した場合の第２画像に変換し、第２画像内に液面検出領域を設定し、液面検出領域から液面を検出する。

本発明によれば、複数の製品に対して液面検査を実施する場合の効率を向上させることができる。

図１は、本発明の一実施形態に係る液面検出装置の構成を示すブロック図である。 図２は、本発明の一実施形態に係る液面検出装置の処理手順を示すフローチャートである。 図３Ａは、容器の表面とマーカーの両方を撮像した第１画像の一例を示す図である。 図３Ｂは、第１画像を変換して得られる第２画像の一例を示す図である。

次に、図面を参照して、本発明の実施の形態を詳細に説明する。説明において、同一のものには同一符号を付して重複説明を省略する。

［液面検出装置の構成］
図１は、本実施形態に係る液面検出装置の構成を示すブロック図である。図１に示すように、本実施形態に係る液面検出装置は、カメラ２０（撮像部）と、コントローラ１００（制御部）とを備える。

その他、液面検出装置は、コントローラ１００と接続され、コントローラ１００からの情報を表示する表示部１５０を備えていてもよい。また、液面検出装置は、コントローラ１００と接続され、液面検出装置へのユーザへの指示を受け付ける操作部１６０を備えていてもよい。

カメラ２０は、例えばＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、例えば、車両に搭載された、液体を内包する容器（ブレーキオイルタンクやバッテリなど）を撮像して容器の表面のデジタル画像を取得する。カメラ２０は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、容器の表面の所定の範囲を撮像する。カメラ２０は、取得した撮像画像（以降、第１画像として説明する）をコントローラ１００に出力する。カメラ２０は、無線又は有線によってコントローラ１００と通信可能なように接続される。

なお、容器の表面に透過して見える容器内部の液体の液面（すなわち、容器の表面のうち容器内部の液面が透過して見える箇所）と、容器の表面に固定されたマーカーＭＫの両方が第１画像に写り込むよう、液面検出装置の利用者がカメラ２０を設置するものとする。マーカーＭＫの固定位置は、容器内部の液面の位置の基準となる。

車両には種々の装置が搭載されており、ブレーキオイルタンクやバッテリなどの容器が設置される場所によっては、容器内部の液体の液面の位置を目視で確認することは困難な場合が生じうる。このような場合に対応するためには、容器を車両に搭載する前に、容器の表面のうち液面が透過して見える箇所の近傍に、予めマーカーＭＫを固定しておけばよい。そして、カメラ２０による撮像時には、マーカーＭＫの固定位置を目印として、マーカーＭＫとマーカーＭＫの近傍が第１画像に写り込むよう、カメラ２０を設置すればよい。

なお、カメラ２０によって撮像された第１画像は、所定の期間の間、後述するデータベース８０に記憶される。例えば、カメラ２０は所定の時間間隔で第１画像を取得しており、所定の時間間隔で取得した第１画像が、過去画像としてデータベース８０に記憶される。過去画像は、当該過去画像の撮像時点から所定の期間を経過した後に削除されるものであってもよい。

その他、カメラ２０は、ファイバースコープに取り付けられることにより、車両の外部から目視では確認できない車両内部の画像を撮像画像なように構成されていてもよい。

コントローラ１００（処理部または制御部の一例）は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。コントローラ１００には、液面検出装置の一部として機能するためのコンピュータプログラム（液面検出プログラム）がインストールされている。コンピュータプログラムを実行することにより、コントローラ１００は、液面検出装置が備える複数の情報処理回路（４０、５０、６０、７０、８０）として機能する。

本実施形態では、ソフトウェアによって複数の情報処理回路（４０、５０、６０、７０、８０）を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路（４０、５０、６０、７０、８０）を構成することも可能である。また、複数の情報処理回路（４０、５０、６０、７０、８０）を個別のハードウェアにより構成してもよい。

コントローラ１００は、複数の情報処理回路（４０、５０、６０、７０、８０）として、マーカー検出部４０、画像変換部５０、領域設定部６０、液面検出部７０、データベース８０を備える。

マーカー検出部４０は、カメラ２０によって取得した第１画像に写っているマーカーＭＫを検出する。より具体的には、マーカー検出部４０は、第１画像の中から、マーカーＭＫの特徴点Ｐ１〜Ｐ４を抽出する。そして、抽出したマーカーＭＫの特徴点Ｐ１〜Ｐ４に基づいて、第１画像中に写り込んでいるマーカーＭＫを検出する。

なお、マーカー検出部４０による検出対象となるマーカーＭＫは、多角形状であって、マーカーＭＫの幾何学的形状に対応して、少なくとも４つの特徴点Ｐ１〜Ｐ４を有するものとする。特徴点Ｐ１〜Ｐ４は、マーカーＭＫの多角形の頂点であるとする。以下では、マーカーＭＫは正方形であるとして説明する。

図３Ａは、容器の表面とマーカーの両方を撮像した第１画像の一例を示す図である。図３Ａでは、マーカーＭＫが固定された容器の表面に直交する方向から大きくそれた方向から、マーカーＭＫが撮影された結果、正面視で正方形のマーカーＭＫが、台形形状となって第１画像に写り込んでいる様子が示されている。

マーカー検出部４０は、第１画像の中から、マーカーＭＫの特徴点Ｐ１〜Ｐ４を抽出し、特徴点Ｐ１〜Ｐ４で囲まれた領域をマーカーＭＫに対応する領域であるとして判定し、マーカーＭＫを検出する。

その他、マーカー検出部４０は、マーカーＭＫが張り付けられる容器の表面が一定の色で統一されていれば、コントラストや色の変化に基づいて、第１画像の中からマーカーＭＫに対応する領域とそれ以外の領域のエッジを検出するものであってもよい。そして、検出したエッジの頂点を特徴点Ｐ１〜Ｐ４として抽出するものであってもよい。

マーカー検出部４０は、マーカーＭＫの特徴点Ｐ１〜Ｐ４を抽出することでマーカーＭＫの検出を行うため、カメラ２０のカメラアングルに依存せず、第１画像中からマーカーＭＫをロバストに検出することができる。

その他、マーカー検出部４０は、特徴点Ｐ１〜Ｐ４以外のマーカーＭＫの特徴点に基づいて、マーカーＭＫが表現する情報を取得するものであってもよい。

画像変換部５０は、マーカー検出部４０で抽出した特徴点Ｐ１〜Ｐ４の第１画像中での座標に基づいて、第１画像を、マーカーＭＫの正面から撮像した場合（すなわち、マーカーＭＫを正面視した場合）の第２画像に変換する。例えば、画像変換部５０は、図３Ａに示す第１画像を変換して、図３Ｂに示す第２画像を生成する。

より具体的には、特徴点Ｐ１〜Ｐ４の第１画像での座標を、二次元平面内にマーカーＭＫを配置した場合のマーカーＭＫの頂点の二次元平面内での座標に変換する、射影変換を決定する。

一般に、二次元座標を二次元座標に変換する射影変換は、直線を保存する変換で、透視変換ともホモグラフィー変換ともよばれる。同次座標系を導入した場合、射影変換を表現する同次行列（三次正方行列）の自由度は８である。そのため、少なくとも４つ以上の各特徴点について変換後の座標を指定すれば、画像変換部５０は、射影変換を一意に決定できる。

画像変換部５０は、射影変換を表現する同次行列の変換パラメータ（自由度に対応する）を算出し、その後、射影変換を用いて、第１画像を第２画像に変換する。この際、画像変換部５０は、第１画像中のマーカーＭＫに対応する領域のみならず、マーカーＭＫに対応する領域の周囲も合わせて射影変換で変換する。

その他、画像変換部５０は、第１画像中のマーカーＭＫに対応する領域を射影変換で変換して得られる領域（第２画像中のマーカー領域）をマーカー検出部４０に出力するものであってもよい。第２画像中のマーカー領域に基づいて、マーカー検出部４０は、マーカーＭＫが表現する情報を取得するものであってもよい。

上記の説明では、画像変換部５０は、射影変換を決定するものとして説明したが、射影変換の特殊な場合として、アフィン変換を決定するものであってもよい。アフィン変換は、平行な直線同士を変換後も平行な直線同士として保存する変換である。同次座標系を導入した場合、アフィン変換を表現する行列の自由度は６である。そのため、少なくとも３つ以上の各特徴点について変換後の座標を指定すれば、画像変換部５０は、アフィン変換を一意に決定できる。画像変換部５０は、決定したアフィン変換を用いて、第１画像を第２画像に変換するものであってもよい。

領域設定部６０は、画像変換部５０によって生成した第２画像に対して、液面の位置を検出するための液面検出領域ＳＢを設定する。具体的には、第２画像内でのマーカーＭＫに対する液面検出領域ＳＢの相対的な位置を予め固定しておき、第２画像に写り込んでいるマーカーＭＫの位置を基準として、第２画像内であって、マーカーＭＫの近傍に液面検出領域ＳＢを設定する。

例えば、図３Ｂに示すように、マーカーＭＫの特徴点Ｐ１〜Ｐ４の位置が分かっている場合において、特徴点Ｐ１と特徴点Ｐ４を通る直線に対して平行な長辺と、特徴点Ｐ３と特徴点Ｐ４を通る直線に対して平行な短辺と、を有する長方形状の領域を、マーカーＭＫから所定の方向に所定の距離だけ離れた場所に設定するものであってもよい。

なお、マーカー検出部４０によってマーカーＭＫを読み込んで設定情報を取得し、取得した設定情報に基づいて、第２画像内でのマーカーＭＫに対する液面検出領域ＳＢの相対的な位置を決定してもよい。この場合、容器ごとに張り付けるマーカーＭＫの種類を変更することにより、容器ごとの形状に合わせて液面検出領域ＳＢを設定することができる。

液面検出部７０は、領域設定部６０によって設定された液面検出領域ＳＢから液面ＬＳを検出する。具体的には、液面検出領域ＳＢ内の画素を走査して、コントラストや色の変化の大きい位置を、液面ＬＳが透過して見えている位置（液面位置）として特定する。その他、液面検出部７０は、機械学習やディープラーニングなどの画像認識によって、液面位置を特定するものであってもよい。

液面検出部７０により、液面位置は、液面検出領域ＳＢに対する相対位置として特定される。ここで、液面検出領域ＳＢの位置はマーカーＭＫに対して固定されているため、液面ＬＳの液面位置は、マーカーＭＫの固定位置を基準として特定されることになる。その結果、液面検出部７０は、液面ＬＳの位置に基づいて、容器内部の液体が基準量に達しているか否かを判定することができる。

液面検出部７０は、検出した液面ＬＳの位置、容器内部の液体が基準量に達しているか否かの判定結果などを、表示部１５０に出力するものであってもよい。

データベース８０は、カメラ２０によって撮像された第１画像、及び、画像変換部５０で生成される第２画像を記憶する。また、データベース８０は、マーカー検出部４０におけるマーカーＭＫの特徴点Ｐ１〜Ｐ４の抽出、マーカーＭＫの検出、画像変換部５０での変換行列の算出の際に使用する各種パラメータ、領域設定部６０での設定される液面検出領域ＳＢの位置情報などを記憶する。

その他、データベース８０は、マーカーＭＫによって表現される情報と、液面検出領域ＳＢの位置情報との対応関係を記憶するものであってもよい。

［液面検出装置の処理手順］
次に、本実施形態に係る液面検出装置の処理手順を、図２のフローチャートを参照して説明する。図２に示す処理は、液面検出装置が処理実行の指示をユーザから受け付けると開始する。

まず、ステップＳ１０１において、カメラ２０は、容器の内部の液面が透過して見える容器の表面と、容器に対して相対的な位置が固定されたマーカーＭＫと、の両方を撮像した第１画像を取得する。なお、カメラ２０における設定情報（焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度など）は、事前に設定されていてもよいし、コントローラ１００からの指令により、都度、設定されるものであってもよい。カメラ２０によって撮像された第１画像は、所定の期間の間、データベース８０に記憶される。

ステップＳ１０３において、マーカー検出部４０は、第１画像の中から、マーカーＭＫの特徴点Ｐ１〜Ｐ４を抽出する。そして、抽出したマーカーＭＫの特徴点に基づいて、第１画像中に写り込んでいるマーカーＭＫを検出する。

ステップＳ１０５において、画像変換部５０は、射影変換の変換パラメータを算出する。射影変換は、特徴点Ｐ１〜Ｐ４の第１画像での座標を、二次元平面内にマーカーＭＫを配置した場合のマーカーＭＫの頂点の二次元平面内での座標に変換する。

ステップＳ１０７において、画像変換部５０は、射影変換を用いて、第１画像を第２画像に変換する。この際、画像変換部５０は、第１画像中のマーカーＭＫに対応する領域のみならず、マーカーＭＫに対応する領域の周囲も合わせて射影変換で変換する。

ステップＳ１０９において、領域設定部６０は、第２画像に対して、液面の位置を検出するための液面検出領域ＳＢを設定する。

ステップＳ１１１において、液面検出部７０は、設定された液面検出領域ＳＢから液面ＬＳを検出する。その他、検出した液面ＬＳの位置に基づいて、容器内部の液体が基準量に達しているか否かを判定するものであってもよい。

［実施形態の効果］
以上詳細に説明したように、本実施形態に係る液面検出方法及び液面検出装置は、容器の表面に透過して見える液面と、表面に固定されたマーカーと、の両方を撮像した第１画像を取得し、第１画像を、マーカーの正面から撮像した場合の第２画像に変換し、第２画像内に液面検出領域を設定し、液面検出領域から液面を検出する。

これにより、カメラアングルに依存しないで液面の検出を行うことができ、その結果、複数の製品に対して液面検査を実施する場合の効率を向上させることができる。

特に、カメラで撮像した第１画像を、マーカーの正面から撮像した場合の第２画像に変換し、第２画像内に設定した液面検出領域から液面を検出するため、カメラアングルに依存しないで、液面の検出に適した、画像認識しやすい画像を取得して、精度の良い液面の検出を行うことができる。

また、本実施形態に係る液面検出方法及び液面検出装置において、容器の表面とマーカーは同一平面内にあるものであってもよい。これにより、容器の表面のうち容器内部の液面が透過して見える箇所とマーカーは同一平面に位置するため、第２画像中に写り込む液面の位置と、実際の液面の位置とのずれを抑制することができる。その結果、液面の検出に適した画像を取得して、精度の良い液面の検出を行うことができる。

さらに、本実施形態に係る液面検出方法及び液面検出装置は、第１画像を射影変換して、第２画像を取得するものであってもよい。これにより、カメラアングルに依存しないで、マーカーの正面から撮像した場合の第２画像を、精度よく取得することができる。

また、本実施形態に係る液面検出方法及び液面検出装置において、マーカーは、少なくとも４つの特徴点を有するものであってもよい。これにより、第１画像から第２画像に変換を行う際に用いる射影変換の変換パラメータを一意に決定することができ、カメラアングルに依存しないで、マーカーの正面から撮像した場合の第２画像を、精度よく取得することができる。

さらに、本実施形態に係る液面検出方法及び液面検出装置において、第２画像における撮像方向は、容器の表面に対して垂直な方向であるものであってもよい。これにより、液面の検出に適した画像を取得して、精度の良い液面の検出を行うことができる。

また、本実施形態に係る液面検出方法及び液面検出装置において、第２画像内でのマーカーに対する液面検出領域の相対的な位置が予め固定されているものであってもよい。これにより、マーカーの固定位置を基準として、容器内部の液面の位置を決定することができる。

さらに、本実施形態に係る液面検出方法及び液面検出装置において、マーカーを読み込んで設定情報を取得し、設定情報に基づいて、第２画像内でのマーカーに対する液面検出領域の相対的な位置を決定するものであってもよい。これにより、マーカーの固定位置を基準として、容器内部の液面の位置を決定することができる。また、容器ごとに張り付けるマーカーの種類を変更することにより、容器ごとの形状に合わせて、液面の検出に適した液面検出領域を設定することができる。

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述および図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例および運用技術が明らかとなろう。

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

２０ カメラ（撮像部）
４０ マーカー検出部
５０ 画像変換部
６０ 領域設定部
７０ 液面検出部
８０ データベース
１００ コントローラ（制御部）
１５０ 表示部
１６０ 操作部

Claims (8)

1. 容器の表面に透過して見える液面と、前記表面に固定されたマーカーと、の両方を撮像した第１画像を取得し、
   前記第１画像を、前記マーカーの正面から撮像した場合の第２画像に変換し、
   前記第２画像内に液面検出領域を設定し、
   前記液面検出領域から前記液面を検出すること
   を特徴とする液面検出方法。
2. 請求項１に記載の液面検出方法であって、
   前記表面と前記マーカーは同一平面内にあること
   を特徴とする液面検出方法。
3. 請求項１又は２に記載の液面検出方法であって、
   前記第１画像を射影変換して、前記第２画像を取得すること
   を特徴とする液面検出方法。
4. 請求項３に記載の液面検出方法であって、
   前記マーカーは、少なくとも４つの特徴点を有すること
   を特徴とする液面検出方法。
5. 請求項１〜４のいずれか一項に記載の液面検出方法であって、
   前記第２画像における撮像方向は、前記表面に対して垂直な方向であること
   を特徴とする液面検出方法。
6. 請求項１〜５のいずれか一項に記載の液面検出方法であって、
   前記第２画像内での前記マーカーに対する前記液面検出領域の相対的な位置が予め固定されていること
   を特徴とする液面検出方法。
7. 請求項１〜５のいずれか一項に記載の液面検出方法であって、
   前記マーカーを読み込んで設定情報を取得し、
   前記設定情報に基づいて、前記第２画像内での前記マーカーに対する前記液面検出領域の相対的な位置を決定すること
   を特徴とする液面検出方法。
8. 撮像部と、コントローラとを備える液面検出装置であって、
   前記コントローラは、
   前記撮像部を用いて、容器の表面に透過して見える液面と、前記表面に固定されたマーカーと、の両方を撮像した第１画像を取得し、
   前記第１画像を、前記マーカーの正面から撮像した場合の第２画像に変換し、
   前記第２画像内に液面検出領域を設定し、
   前記液面検出領域から前記液面を検出すること
   を特徴とする液面検出装置。

Images