JP2020194233A - 画像処理装置、画像処理プログラム、及び画像処理方法 - Google Patents

Abstract

【課題】 所望しない参照画像により判定誤りが発生するという問題を低減できる画像処理装置を提供する。【解決手段】 本発明は、撮影部及び照明部を制御しつつ、開閉可能な閉空間内の被写体の状態を参照画像に基づき判定する画像処理装置において、参照画像取得制御部は、外部からのトリガーを契機として、照明無しデータを取得し、照明無しデータから開閉状態を表現する代表値を抽出し、更新タイミング判定部からの代表値に基づく判定結果に基づき、照明部が点灯した状態で撮影部により撮影した照明あり画像を取得し、当該照明あり画像を参照画像候補として、参照画像取得コア部に出力し、更新タイミング判定部は、代表値と閾値とを比較し、比較結果に応じて判定結果を出力し、参照画像取得コア部は、参照画像候補の入力により参照画像を更新することを特徴とする。【選択図】 図１

Description

本発明は、画像処理装置、画像処理プログラム、及び画像処理方法に関する。

近年、監視カメラの普及は進み、画像を用いて被写体の状態を判定する技術も実用化が進んでいる。例えば、特許文献１では、被写体の状態を判定するために、測定画像とは別に、判定を補助する基準となる画像を参照画像として取得し、参照画像と測定画像とを比較することで測定画像の状態を判定するシステムが開示されている。

図７は、特許文献１に代表される従来の画像処理装置の一例を示すブロック図である。図７で示される画像処理装置１００は、外部からトリガーを受けたときに参照画像を取得し更新する参照画像取得部Ａ１と、測定画像を取得する測定画像取得部Ａ２と、参照画像と測定画像とを比較することで状態信号を計算する画像比較部Ａ３とから構成される。参照画像と測定画像の比較は、例えば特許文献１にて示されている通り、背景差分法による画像解析処理が存在する。

以上のように、図７の構成を採用することで、参照画像取得時から被写体がどのように変化したかを画像解析によって判定することができる。

特開２００８−７７３７９号公報

しかしながら、図８に示すように、画像処理装置１００が開閉可能な閉空間に設置され、照明によって照らしながら被写体がどのように変化したかを画像解析によって判定することを考えた場合、参照画像の取得タイミングに問題が生じる。

例えばトリガーを画像処理装置１００に備え付けのボタン等によって入力することを考えた場合、閉空間が開状態のときに参照画像を取得してしまうと、測定画像は閉状態のときに取得するため、開閉の違い、つまり照明条件の違いが画像変化の大勢を占めてしまい、照明条件の違いよりも小さな画像変化を解析により判定することは困難になる。

本問題を回避する方法として、例えばボタン等が操作されてから一定時間後にトリガーが入力されるようにタイマーをセットする方法も考えられるが、この方法は、閉状態になった直後の参照画像取得を保証するものではないから、閉状態になった直後に判定対象として関心のある被写体の変化が起きた場合に、当該変化が起きた後に参照画像を取得してしまい、当該変化を検出できなくなるという問題がある。逆にタイマーによる待機時間が十分でなければ、まだ閉状態になっていないにも関わらず開状態のまま参照画像を取得してしまう可能性もある。

そのため、所望しない参照画像を基準に比較してしまうことで被写体の状態の判定誤りが発生するという問題を低減できる画像処理装置、画像処理プログラム、及び画像処理方法が望まれている。

第１の本発明は、撮影部及び照明部を制御しつつ、開閉可能な閉空間内の被写体の状態を参照画像に基づき判定する画像処理装置において、参照画像取得制御部、更新タイミング判定部、及び参照画像取得コア部を備え、（１）前記参照画像取得制御部は、外部からのトリガーを契機として、照明無しデータを取得し、前記照明無しデータから開閉状態を表現する代表値を抽出し、前記更新タイミング判定部からの前記代表値に基づく判定結果に基づき、前記照明部が点灯した状態で前記撮影部により撮影した照明あり画像を取得し、当該照明あり画像を参照画像候補として、前記参照画像取得コア部に出力し、（２）前記更新タイミング判定部は、前記代表値と閾値とを比較し、比較結果に応じて前記判定結果を出力し、（３）前記参照画像取得コア部は、前記参照画像候補の入力により前記参照画像を更新することを特徴とする。

第２の本発明の画像処理プログラムは、撮影部及び照明部を制御しつつ、開閉可能な閉空間内の被写体の状態を参照画像に基づき判定する画像処理装置に搭載されるコンピュータを、参照画像取得制御部、更新タイミング判定部、及び参照画像取得コア部として機能させ、（１）前記参照画像取得制御部は、外部からのトリガーを契機として、照明無しデータを取得し、前記照明無しデータから開閉状態を表現する代表値を抽出し、前記更新タイミング判定部からの前記代表値に基づく判定結果に基づき、前記照明部が点灯した状態で前記撮影部により撮影した照明あり画像を取得し、当該照明あり画像を参照画像候補として、前記参照画像取得コア部に出力し、（２）前記更新タイミング判定部は、前記代表値と閾値とを比較し、比較結果に応じて前記判定結果を出力し、（３）前記参照画像取得コア部は、前記参照画像候補の入力により前記参照画像を更新することを特徴とする。

第３の本発明は、撮影部及び照明部を制御しつつ、開閉可能な閉空間内の被写体の状態を参照画像に基づき判定する画像処理装置に使用する画像処理方法において、参照画像取得制御部、更新タイミング判定部、及び参照画像取得コア部を備え、（１）前記参照画像取得制御部は、外部からのトリガーを契機として、照明無しデータを取得し、前記照明無しデータから開閉状態を表現する代表値を抽出し、前記更新タイミング判定部からの前記代表値に基づく判定結果に基づき、前記照明部が点灯した状態で前記撮影部により撮影した照明あり画像を取得し、当該照明あり画像を参照画像候補として、前記参照画像取得コア部に出力し、（２）前記更新タイミング判定部は、前記代表値と閾値とを比較し、比較結果に応じて前記判定結果を出力し、（３）前記参照画像取得コア部は、前記参照画像候補の入力により前記参照画像を更新することを特徴とする。

本発明によれば、所望しない参照画像を基準に比較してしまうことで被写体の状態の判定誤りが発生するという問題を低減できる。

第１の実施形態に係る画像処理装置の一例を示すブロック図である。 第１の実施形態に係る画像処理装置の動作を示すフローチャートである。 第２の実施形態に係る画像処理装置の一例を示すブロック図である。 第２の実施形態に係る画像処理装置の動作を示すフローチャートである。 第３の実施形態に係る画像処理装置の一例を示すブロック図である。 第３の実施形態に係る画像処理装置の動作を示すフローチャートである。 従来の画像処理装置の一例を示すブロック図である。 従来の画像処理装置の配置例を示す説明図である。

（Ａ）第１の実施形態
以下、本発明による画像処理装置、画像処理プログラム、及び画像処理方法の第１の実施形態を、図面を参照しながら詳述する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る画像処理装置の一例を示すブロック図である。画像処理装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い。

図１において、画像処理装置１０は、先述の図７の画像処理装置１００と同様に、参照画像取得部Ａ１、測定画像取得部Ａ２、及び画像比較部Ａ３を備える。ただし、画像処理装置１０の参照画像取得部Ａ１の機能及び内部構成が、画像処理装置１００と異なるので、以下ではこの差異点を中心に詳述する。

また、画像処理装置１０は、外部デバイスとして、カメラ２０及び照明３０を備えるものとする。なお、このカメラ２０及び照明３０は、画像処理装置１０と一体化して組み込まれても良い。

また、第１の実施形態（及び後述する第２、３の実施形態）では、画像処理装置１０は、先述の図８で示したような開閉可能な閉空間に設置されていることを前提とする。

画像処理装置１０の参照画像取得部Ａ１は、参照画像取得制御部Ｂ１１、更新タイミング判定部Ｂ１２、及び参照画像取得コア部Ｂ１３を備える。

参照画像取得制御部Ｂ１１は、外部デバイス（例えば、カメラ２０及び照明３０）の制御、及び画像取得をする入出力の接続を備え、トリガーを外部からの入力として受け付ける機能を備える。また、参照画像取得制御部Ｂ１１は、照明無しのデータ（例えば、照明３０を点灯しない状態でカメラ２０によって撮影された画像）から代表値を算出し、更新タイミング判定部Ｂ１２に出力する機能を備える。さらに、参照画像取得制御部Ｂ１１は、更新タイミング判定部Ｂ１２の判定結果（開閉可能な閉空間が「閉状態」又は「開状態」のいずれかを示す判定結果）に基づき、参照画像候補を参照画像取得コア部Ｂ１３への出力する機能を備える。これ以上の参照画像取得制御部Ｂ１１の詳細は動作の項で述べる。

更新タイミング判定部Ｂ１２は、参照画像取得制御部Ｂ１１から入力された代表値と、外部から取得した閾値とを比較して、判定結果を参照画像取得制御部Ｂ１１へ出力する機能を備える。

参照画像取得コア部Ｂ１３は、参照画像取得コア部Ｂ１３から入力された参照画像候補を、参照画像として画像比較部Ａ３へ出力する機能を備える。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る画像処理装置１０の動作を、図面を参照しながら詳細に説明する。図２は、第１の実施形態に係る画像処理装置の動作を示すフローチャートである。

まず、画像処理装置１０は、参照画像取得制御部Ｂ１１において、トリガーを受けるまで待機する（Ｓ１１−１）。ここで、参照画像取得制御部Ｂ１１は、内部状態を有する（管理する）。トリガー待機は第１状態であって、参照画像取得制御部Ｂ１１は、トリガーを受けたときに内部状態を第２状態に遷移しつつ、次の処理に移行する。

参照画像取得制御部Ｂ１１において、内部状態が第２状態であるとき、外部デバイスを制御することで照明無しデータを取得し、照明無しデータから開閉状態を表現する代表値を抽出して出力する（Ｓ１１−２）。また、内部状態についても第３状態に遷移する。

ここでの代表値とは、例えば、画像全体の画素値または画像の一部の画素値から求める平均画素値や中央値であり、たとえば、照明無しデータがＪＰＥＧ等やＭＰＥＧ−４／ＡＶＣ等の圧縮フォーマットで圧縮されている場合、圧縮データのデータ量である。代表値が画素値の統計値の場合、画素値は光の強さを表すため、閉所の場合、代表値は小さな値を取ることになる。代表値が圧縮データのデータ量の場合、閉所の場合は画像全体が黒一色に近づき、言い換えると画像情報としてエントロピーが小さくなるため、データ量もまた小さな値を取ることになる。また、前述の傾向があるため、画素値列から画像エントロピーを求めて、エントロピーを代表値として使用しても良い。この場合も、閉所のときに代表値は小さな値を取ることになる。

なお、照明無しデータについては高精細な画像である必要がないため、外部デバイスを制御することで、たとえば参照画像や測定画像の取得時と比べて低解像度な取得パラメータで画像を取得しても良い。解像度を低く抑えることでデータの転送時間等を抑えることができ、低消費電力になる。

次に、更新タイミング判定部Ｂ１２において、代表値と閾値とを比較し、判定結果を出力する（Ｓ１２）。

先に述べた代表値を用いる場合、閉所の場合は代表値が小さくなる傾向にあるため、入力された代表値と閾値とを比較し、代表値が閾値よりも小さな値であれば「閉状態」で、それ以外の場合は「開状態」と判定することで、判定結果を生成すれば良い。

次に、参照画像取得制御部Ｂ１１において、内部状態が第３状態であるとき、判定結果が閉状態であるか否か判定する（Ｓ１１−３）。判定結果が閉状態であるときは、後述するステップＳ１１−４の処理に移行し、判定結果が開状態であるときは内部状態を第２状態に戻しつつ先述のステップＳ１１−２の処理に戻る。

次に、参照画像取得制御部Ｂ１１において、外部デバイスを制御することで照明あり画像（照明３０を点灯した状態でカメラ２０によって撮影された画像）を取得し、参照画像候補として出力すると共に、内部状態を第１状態に遷移する（Ｓ１１−４）。

次に、参照画像取得コア部Ｂ１３において、参照画像候補が入力されれば参照画像を更新し、画像比較部Ａ３に参照画像を提供し続ける（Ｓ１３）。

次に、測定画像取得部Ａ２において、照明３０を点灯した状態で、カメラ２０により画像を取得し、測定画像を出力する（Ｓ２）。

そして、画像比較部Ａ３において、測定画像と参照画像とを比較し、状態信号を計算する（Ｓ３）。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、照明無しデータに基づき更新タイミング判定部Ｂ１２が閉状態であることを確認した直後の画像を照明あり画像として取得することで、閉状態の参照画像を取得することができており、望ましくない参照画像を基準に比較してしまうことで判定誤りが発生するという問題を回避できる。

（Ｂ）第２の実施形態
以下、本発明による画像処理装置、画像処理プログラム、及び画像処理方法の第２の実施形態を、図面を参照しながら詳述する。

（Ｂ−１）第２の実施形態の構成
図３は、第２の実施形態に係る画像処理装置の一例を示すブロック図である。画像処理装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い。

図３において、画像処理装置１０Ａは、先述の第１の実施形態の画像処理装置１０と同様に、参照画像取得部Ａ１、測定画像取得部Ａ２、及び画像比較部Ａ３を備える。ただし、画像処理装置１０Ａの参照画像取得部Ａ１（参照画像取得制御部Ｂ１１）の機能及び内部構成が、第１の実施形態の画像処理装置１０と異なるので、以下ではこの差異点を中心に説明する。

参照画像取得制御部Ｂ１１は、参照画像取得制御コア部Ｃ１１１、代表値取得部Ｃ１１２、及び参照画像バッファＣ１１３を備える。

参照画像取得制御コア部Ｃ１１１は、外部デバイス（例えば、カメラ２０及び照明３０）の制御、及び画像取得をする入出力の接続を備え、トリガーを外部からの入力として受け付ける機能を備える。また、参照画像取得制御コア部Ｃ１１１は、照明無しデータから代表値を算出する処理を代表値取得部Ｃ１１２に指示する。

そして、参照画像取得制御部Ｂ１１は、先述の更新タイミング判定部Ｂ１２の判定結果が「閉状態」の場合には、参照画像候補（照明あり画像）を参照画像取得コア部Ｂ１３への出力する機能を備える。なお、参照画像取得制御部Ｂ１１は、判定結果がが「開状態」の場合には、上述の外部デバイスを制御して、照明無しデータを取得する処理等を再度実行することになる。

そして、第２の実施形態の参照画像取得制御コア部Ｃ１１１は、参照画像候補を出力した後、再度、外部デバイスを制御して照明無しデータを取得し、代表値取得部Ｃ１１２に代表値の算出を指示する（代表値取得部Ｃ１１２を介して更新タイミング判定部Ｂ１２に閉空間の判定を指示する）。そして、参照画像取得制御コア部Ｃ１１１は、２度目の判定結果が「閉状態」の場合のみ、参照画像バッファＣ１１３に参照画像候補の出力指示（画像比較部Ａ３への参照画像の提供）を指示する。これ以上の参照画像取得制御部Ｂ１１の詳細は動作の項で述べる。

代表値取得部Ｃ１１２は、参照画像取得制御コア部Ｃ１１１からの照明無しデータの入力を受け付け、当該データから代表値を抽出（算出）する機能を備える。また、代表値取得部Ｃ１１２は、抽出した代表値を更新タイミング判定部Ｂ１２へ出力する。これ以上の代表値取得部Ｃ１１２の詳細は動作の項で述べる。

参照画像バッファＣ１１３は、参照画像取得制御コア部Ｃ１１１からの照明あり画像と出力指示とを入力として受け付け、参照画像候補を参照画像取得コア部Ｂ１３への出力する機能を備える。これ以上の参照画像バッファＣ１１３の詳細は動作の項で述べる。

（Ｂ−２）第２の実施形態の動作
図４は、第２の実施形態に係る画像処理装置の動作を示すフローチャートである。図４と先述の図２の内、同一符号の処理は同様の処理であるので、以下では、第２の実施形態に係る画像処理装置１０Ａの特有の処理についてのみ述べる。

画像処理装置１０Ａは、参照画像取得制御コア部Ｃ１１１において、トリガーを受けるまで待機する（Ｓ１１１−１）。参照画像取得制御コア部Ｃ１１１は、内部状態を有する（管理する）。ここで、トリガー待機は第１状態であって、参照画像取得制御コア部Ｃ１１１は、トリガーを受けたときに内部状態を第２状態に遷移しつつ、次の処理に移行する。

次に、参照画像取得制御コア部Ｃ１１１において、内部状態が第２状態であるとき、外部デバイスを制御することで照明無しデータを取得し、代表値取得部Ｃ１１２に出力する。また、内部状態についても第３状態に遷移する。

次に、代表値取得部Ｃ１１２において、照明無しデータから開閉状態を表現する代表値を抽出して出力する（Ｓ１１２−１）。なお、代表値（代表値を抽出する処理）については第１の実施形態におけるステップＳ１１−２の処理と同様である。

次に、更新タイミング判定部Ｂ１２において、算出（抽出）した代表値を基に、先述のステップＳ１２と同様の処理を行う（Ｓ１２−１）。

次に、参照画像取得制御コア部Ｃ１１１において、内部状態が第３状態であるとき、判定結果が閉状態であるか否か判定する（Ｓ１１１−３）。判定結果が閉状態であるときは、後述するステップＳ１１−４の処理に移行し、判定結果が開状態であるときは内部状態を第２状態に戻しつつ先述のステップＳ１１１−２の処理に戻る。

次に、参照画像取得制御コア部Ｃ１１１において、外部デバイスを制御することで照明あり画像を取得し、参照画像バッファＣ１１３に出力すると共に、内部状態を第４状態に遷移する（ステップＳ１１１−４）。

次に、参照画像取得制御コア部Ｃ１１１において、内部状態が第４状態であるとき、外部デバイスを制御することで照明無しデータを取得し、代表値取得部Ｃ１１２に出力する（ステップＳ１１１−５）。参照画像取得制御コア部Ｃ１１１は、内部状態についても第５状態に遷移させる。

なお、本ステップの処理で、照明無しデータを取得する前に、短期間のタイマーをセットし、一定時間経過後に照明無しデータを取得するようにすることで、誤操作や照明状況の不安定さに対する耐性を強化しても良い。

代表値取得部Ｃ１１２において、照明無しデータから代表値を抽出して出力する。なお、代表値（代表値を抽出する処理）については先述のステップＳ１１−２の処理と同様である。

次に、更新タイミング判定部Ｂ１２において、算出（抽出）した代表値を基に、先述のステップＳ１２と同様の処理を行う（Ｓ１２−２）。

参照画像取得制御コア部Ｃ１１１において、内部状態が第５状態であるとき、判定結果が閉状態であるか否か判定する（Ｓ１１１−６）。判定結果が閉状態であるときは、後述するステップＳ１１１−７の処理に移行し、判定結果が開状態であるときは内部状態を第２状態に戻しつつ先述のステップＳ１１１−２の処理に戻る。

次に、参照画像取得制御コア部Ｃ１１１において、参照画像バッファＣ１１３に出力指示を出すと共に、内部状態を第１状態に遷移する（Ｓ１１１−７）。

次に、参照画像バッファＣ１１３において、出力指示に従いバッファリングしている最新の照明あり画像を参照画像候補として出力する（Ｓ１１３）。

これ以降の処理は第１の実施形態と同様であるので、説明を省略する。

（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、閉状態であると判定された前後のタイミングに挟まれたタイミングで取得された照明あり画像を参照画像として使用することで、本来は閉状態であるにも関わらず、誤操作や照明状況の不安定さにより、一時的に閉状態に相当する状態になってしまった場合に、誤って閉状態と認識してしまうことなく、正しい閉状態になるまで待機することができるようになっており、望ましくない参照画像を基準に比較してしまうことで判定誤りが発生するという問題を回避できる。

（Ｃ）第３の実施形態
以下、本発明による画像処理装置、画像処理プログラム、及び画像処理方法の第３の実施形態を、図面を参照しながら詳述する。

（Ｃ−１）第３の実施形態の構成
図５は、第３の実施形態に係る画像処理装置の一例を示すブロック図である。画像処理装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い。

図５において、画像処理装置１０Ｂは、先述の第２の実施形態の画像処理装置１０Ａと同様に、参照画像取得部Ａ１、測定画像取得部Ａ２、及び画像比較部Ａ３を備える。ただし、画像処理装置１０Ｂの参照画像取得部Ａ１（更新タイミング判定部Ｂ１２）の機能及び内部構成が、第２の実施形態の画像処理装置１０Ｂと異なるので、以下ではこの差異点を中心に説明する。

更新タイミング判定部Ｂ１２は、閾値更新部Ｄ１２１及び更新タイミング判定コア部Ｄ１２２を備える。

閾値更新部Ｄ１２１は、外部からの閾値（初期値）及び更新タイミング判定コア部Ｄ１２２からの内部代表値を基に、閾値（内部閾値）を更新する機能を備える。閾値更新部Ｄ１２１は、更新した内部閾値を更新タイミング判定コア部Ｄ１２２へ出力する。これ以上の閾値更新部Ｄ１２１の詳細は動作の項で述べる。

更新タイミング判定コア部Ｄ１２２は、参照画像取得制御部Ｂ１１（代表値取得部Ｃ１１２）から入力された代表値と、閾値更新部Ｄ１２１から入力された内部閾値とを比較して、判定結果を参照画像取得制御部Ｂ１１へ出力する機能を備える。また、更新タイミング判定部Ｂ１２は、内部代表値を更新タイミング判定コア部Ｄ１２２に出力する。これ以上の更新タイミング判定コア部Ｄ１２２の詳細は動作の項で述べる。

（Ｃ−２）第３の実施形態の動作
図６は、第３の実施形態に係る画像処理装置の動作を示すフローチャートである。図６と先述の図４の内、同一符号の処理は同様の処理であるので、以下では、第２の実施形態に係る画像処理装置１０Ｂの特有の処理についてのみ述べる。

先述のステップＳ１１２-１の処理の後、閾値更新部Ｄ１２１において、内部代表値に基づき、内部閾値を閾値から更新して出力する（Ｓ１２１−１）。

内部代表値とは、例えば、更新タイミング判定コア部Ｄ１２２に入力された代表値であったり、当該代表値と更新タイミング判定コア部Ｄ１２２で算出される判定結果を組にしたものである。

まず、内部閾値の初期値には外部より入力される閾値を用いる。

本ステップの処理では、例えば、内部閾値の現在値をＴ_ｉ、一定のマージンを意味する整数値をＭ、新しく入力された内部代表値に含まれる代表値をＡとすると、内部代表値に含まれる判定結果が閉状態である内部代表値が入力されたときに、以下の（１）式を用いて次の内部閾値Ｔ_ｉ＋１を更新する。
Ｔ_ｉ＋１＝ｍｉｎ（Ｔ_ｉ，Ａ＋Ｍ） …（１）

ｍｉｎ（）は与えられた二項のうちの小さい値を選択する関数とする。なお、本例では、内部閾値の更新タイミングを判定結果が閉状態である代表値が入力されたときに限定したが、判定結果が開状態であるときにはＡが大きな値を取ることになり、ｍｉｎ（Ｔ_ｉ，Ａ＋Ｍ）の計算結果はＴ_ｉになる、つまり値が変わらないため、判定結果が開状態であるときに更新しても本発明の効果はある。ただし、この場合は、前述の計算を代表値が入力される度に実施することになるため計算にかかるエネルギーが相対的に多くなるというデメリットはある。判定結果が開状態であるときにも前述の計算を実施する場合は、閾値更新部Ｄ１２１は判定結果を使用しないため、内部代表値は代表値と判定結果を組にしたものである必要はなく代表値のみで良い。

ところで、上記（１）式は、第１の実施形態のステップＳ１１−２でした説明の通り、代表値が小さいほど閉状態を表すことを想定したものであり、値が大きいほど閉状態を表す代表値を選択している場合は、ｍｉｎ（）の代わりに与えられた２項のうちの大きい値を選択する関数ｍａｘ（）を使用することになり、また整数値Ｍには多くの場合、負数を使用することになる。閉状態のときの代表値には揺らぎがあるため、マージンＭを用いることで、揺らぎによる誤判定を防止している。

内部閾値の更新方法の他の例として、判定結果を目的変数（クラスとも呼ばれる）とし、入力された代表値を説明変数として、種々の機械学習を用いることも考えられ、この場合でも、演算量が増加するという問題や十分なデータが集まるまで推定精度が安定しないという問題はあるものの、本発明は一定の効果を奏する。

次に、更新タイミング判定コア部Ｄ１２２において、代表値と内部閾値とを比較し、判定結果を出力するとともに、少なくとも内部代表値として出力する（Ｓ１２２−１）。ここでの比較方法については、第１の実施形態におけるステップＳ１１２の処理と同様である。

先述のステップＳ１１２−２の処理の後、先述のステップＳ１２１−１の処理と同様に、閾値更新部Ｄ１２１において、内部代表値に基づき、内部閾値を更新して出力する（Ｓ１２１−２）。

そして、更新タイミング判定コア部Ｄ１２２において、代表値と内部閾値を比較し、判定結果を出力するとともに、少なくとも、内部代表値として出力する（Ｓ１１２−２）。

（Ｃ−３）第３の実施形態の効果
以上のように、第３の実施形態によれば、開閉状態の判定に使用する閾値を適応的に制御できていることで、環境の違いによって発生する妥当な閾値の違いに起因する閉状態の判定誤りの可能性を低減できるようになっており、結果として望ましくない参照画像を基準に比較してしまうことで判定誤りが発生するという問題を回避できる。

（Ｄ）他の実施形態
上述した第１〜第３の実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。

（Ｄ−１）上述した第１〜第３の実施形態において、トリガーはボタン等で与える例を示しているが、画像処理装置１０（１０Ａ、１０Ｂ）が検出可能な例えばビーコン端末が近づいてきたことをトリガーとして使用する構成でも良い。このような構成の場合、ボタン等でトリガーを入力することを忘れるという人為的なミスを防ぐことができる。

ところで、無線で接続されたビーコン端末の利用を想定に含めた場合、ビーコン端末が離れたことをもって参照画像を取得するという構成も考えられるが、この場合は閉状態になってからビーコン端末が離れるまでの時間に判定対象として関心のある被写体の変化が起きた場合に、当該変化が起きた後に参照画像を取得してしまい、当該変化を検出できなくなるという問題がある。

また、ビーコン端末から無線を通じて参照画像取得を人手で指示する構成も考えられるが、この場合は、指示し忘れるという人為的なミスが発生しうるという問題がある。

（Ｄ−２）上述した第１〜第３の実施形態において、閉状態の判定のために照明無しデータを使用しており、照明無しデータは照明無し画像を想定して説明しているが、照明無しデータとして、例えば、照度センサーを用いた判定を実施しても良い。

（Ｄ−３）上記各実施形態の構成要素及び又は処理のうち全部又は一部を組み合わせても良い。

１０、１０Ａ、１０Ｂ、１００…画像処理装置、２０…カメラ、３０…照明、Ａ１…参照画像取得部、Ａ２…測定画像取得部、Ａ３…画像比較部、Ｂ１１…参照画像取得制御部、Ｂ１２…更新タイミング判定部、Ｂ１３…参照画像取得コア部、Ｃ１１１…参照画像取得制御コア部、Ｃ１１２…代表値取得部、Ｃ１１３…参照画像バッファ、Ｄ１２１…閾値更新部、Ｄ１２２…更新タイミング判定コア部。

Claims (13)

1. 撮影部及び照明部を制御しつつ、開閉可能な閉空間内の被写体の状態を参照画像に基づき判定する画像処理装置において、
   参照画像取得制御部、更新タイミング判定部、及び参照画像取得コア部を備え、
   前記参照画像取得制御部は、外部からのトリガーを契機として、照明無しデータを取得し、前記照明無しデータから開閉状態を表現する代表値を抽出し、前記更新タイミング判定部からの前記代表値に基づく判定結果に基づき、前記照明部が点灯した状態で前記撮影部により撮影した照明あり画像を取得し、当該照明あり画像を参照画像候補として、前記参照画像取得コア部に出力し、
   前記更新タイミング判定部は、前記代表値と閾値とを比較し、比較結果に応じて前記判定結果を出力し、
   前記参照画像取得コア部は、前記参照画像候補の入力により前記参照画像を更新する
   ことを特徴とする画像処理装置。
2. 前記照明無しデータは、前記照明部を点灯しない状態で前記撮影部により撮影した画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記参照画像取得制御部は、前記判定結果が閉状態であるときに、前記照明あり画像を取得して、当該照明あり画像を前記参照画像候補として前記参照画像取得コア部に出力し、一方、前記判定結果が開状態であるときには、再度、前記照明無しデータを取得し、前記代表値を抽出し直す
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記参照画像取得制御部は、参照画像取得制御コア部、代表値取得部、及び参照画像バッファを備え、
   当該参照画像取得制御コア部は、内部状態を備え、当該内部状態が第１状態のときは、前記トリガーを受けるまで待機し、前記トリガーを受けたときに当該内部状態を第２状態に遷移し、
   当該内部状態が前記第２状態のときは、前記照明無しデータを取得し、前記代表値取得部に出力するとともに当該内部状態を第３状態に遷移し、
   当該内部状態が前記第３状態のときは、前記判定結果が閉状態であるときに前記照明あり画像を取得して、前記照明あり画像を前記参照画像候補として当該参照画像バッファに出力するとともに当該内部状態を第４状態に遷移し、一方、前記判定結果が開状態であるときに当該内部状態を前記第２状態に遷移することで前記照明無しデータを取得し直し、
   当該内部状態が前記第４状態のときは、前記照明無しデータを取得し、前記代表値取得部に出力するとともに当該内部状態を第５状態に遷移し、
   当該内部状態が前記第５状態のときは、前記判定結果が閉状態であるときに前記参照画像バッファに出力指示を出すとともに当該内部状態を前記第１状態に遷移し、一方、前記判定結果が開状態であるときに当該内部状態を前記第２状態に遷移することで前記照明無しデータを取得し直し、
   前記代表値取得部は、前記照明無しデータから前記代表値を抽出して、抽出した前記代表値を前記更新タイミング判定部に出力し、
   前記参照画像バッファは、前記参照画像候補をバッファリングするとともに、前記出力指示を受けたときに、バッファリングしている前記参照画像候補を前記参照画像として出力する
   ことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 前記参照画像取得制御コア部は、当該内部状態が前記第４状態であるとき、前記照明無しデータを取得する前に、一定時間のタイマーをセットし、一定時間経過後に前記照明無しデータを取得することを特徴とする請求項４に記載の画像処理装置。
6. 前記更新タイミング判定部は、閾値更新部、及び更新タイミング判定コア部を備え、
   前記閾値更新部は、前記閾値を内部閾値の初期値として設定するとともに、前記更新タイミング判定コア部から出力される内部代表値に基づき、前記内部閾値を更新して出力し、
   前記更新タイミング判定コア部は、前記代表値と前記内部閾値とを比較し、比較結果に応じた前記判定結果を前記参照画像取得制御部に出力するとともに、前記代表値を前記内部代表値として前記閾値更新部に出力する
   ことを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
7. 前記閾値更新部は、前記内部閾値の初期値として、前記閾値を用いて、前記内部閾値の現在値をＴ_ｉ、一定のマージンを意味する整数値をＭ、新しく入力された前記代表値をＡ、与えられた二項のうちの小さい値を選択する関数をｍｉｎ（）とすると、次の内部閾値Ｔ_ｉ＋１を、式（Ａ）に従って更新することを特徴とする請求項６に記載の画像処理装置。
   Ｔ_ｉ＋１＝ｍｉｎ（Ｔ_ｉ，Ａ＋Ｍ） …（Ａ）
8. 前記内部代表値が、前記代表値と前記判定結果を組にしたものであり、
   前期閾値更新部は、前記内部代表値の前記判定結果が閉状態であるときに、前記内部代表値の前記代表値を前記Ｔ_ｉとして用いて内部閾値Ｔ_ｉ＋１を更新する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記更新タイミング判定部は、前記代表値が前記閾値よりも小さな値であれば閉状態で、それ以外の場合は開状態と判定することで、前記判定結果を生成することを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
10. 前記更新タイミング判定コア部は、前記代表値が前記内部閾値よりも小さな値であれば閉状態で、それ以外の場合は開状態と判定することで、前記判定結果を生成することを特徴とする請求項６〜８のいずれかに記載の画像処理装置。
11. 前記照明無しデータは、前記照明あり画像に比べて低解像度であることを特徴とする請求項１〜１０のいずれかに記載の画像処理装置。
12. 撮影部及び照明部を制御しつつ、開閉可能な閉空間内の被写体の状態を参照画像に基づき判定する画像処理装置に搭載されるコンピュータを、
    参照画像取得制御部、更新タイミング判定部、及び参照画像取得コア部として機能させ、
    前記参照画像取得制御部は、外部からのトリガーを契機として、照明無しデータを取得し、前記照明無しデータから開閉状態を表現する代表値を抽出し、前記更新タイミング判定部からの前記代表値に基づく判定結果に基づき、前記照明部が点灯した状態で前記撮影部により撮影した照明あり画像を取得し、当該照明あり画像を参照画像候補として、前記参照画像取得コア部に出力し、
    前記更新タイミング判定部は、前記代表値と閾値とを比較し、比較結果に応じて前記判定結果を出力し、
    前記参照画像取得コア部は、前記参照画像候補の入力により前記参照画像を更新する
    ことを特徴とする画像処理プログラム。
13. 撮影部及び照明部を制御しつつ、開閉可能な閉空間内の被写体の状態を参照画像に基づき判定する画像処理装置に使用する画像処理方法において、
    参照画像取得制御部、更新タイミング判定部、及び参照画像取得コア部を備え、
    前記参照画像取得制御部は、外部からのトリガーを契機として、照明無しデータを取得し、前記照明無しデータから開閉状態を表現する代表値を抽出し、前記更新タイミング判定部からの前記代表値に基づく判定結果に基づき、前記照明部が点灯した状態で前記撮影部により撮影した照明あり画像を取得し、当該照明あり画像を参照画像候補として、前記参照画像取得コア部に出力し、
    前記更新タイミング判定部は、前記代表値と閾値とを比較し、比較結果に応じて前記判定結果を出力し、
    前記参照画像取得コア部は、前記参照画像候補の入力により前記参照画像を更新する
    ことを特徴とする画像処理方法。

Images