JP2018124786A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP2018124786A JP2018124786A JP2017016240A JP2017016240A JP2018124786A JP 2018124786 A JP2018124786 A JP 2018124786A JP 2017016240 A JP2017016240 A JP 2017016240A JP 2017016240 A JP2017016240 A JP 2017016240A JP 2018124786 A JP2018124786 A JP 2018124786A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- feature amount
- pixel
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
- B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Abstract
【課題】対象物と背景の一部が連動して変化する画像であっても対象物を抽出できる画像処理装置の提供。
【解決手段】対象物を含む画像の背景を構成する各画素の特徴量情報を背景情報として記憶する記憶手段と、背景情報に基づき対象物と背景の一部が連動して変化する画像から対象物を抽出する制御手段とを有し、制御手段が、各画素の特徴量を算出する算出部と、変化領域を抽出する変化領域抽出部と、変化開始から終了までの画像を識別する識別部と、識別画像の各画素で、算出した特徴量と、背景情報の特徴量との類似判定する判定部と、非類似画素が識別画像の変化領域に含まれると当該画素の特徴量情報を背景情報に登録する更新部と、更新した背景情報に基づき対象物を抽出する対象物抽出部とを有する画像処理装置である。
【選択図】図５
【解決手段】対象物を含む画像の背景を構成する各画素の特徴量情報を背景情報として記憶する記憶手段と、背景情報に基づき対象物と背景の一部が連動して変化する画像から対象物を抽出する制御手段とを有し、制御手段が、各画素の特徴量を算出する算出部と、変化領域を抽出する変化領域抽出部と、変化開始から終了までの画像を識別する識別部と、識別画像の各画素で、算出した特徴量と、背景情報の特徴量との類似判定する判定部と、非類似画素が識別画像の変化領域に含まれると当該画素の特徴量情報を背景情報に登録する更新部と、更新した背景情報に基づき対象物を抽出する対象物抽出部とを有する画像処理装置である。
【選択図】図５
Description
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
撮影した画像から動きのある対象物を抽出する代表的な画像処理方法の一つとして、対象物を含まない背景画像をあらかじめ撮影し、撮影した背景画像と新たに撮影した画像とを比較して、背景画像から変化している領域を対象物として抽出する背景差分法が知られている。
しかしながら、背景は一定ではなく変化することがあるため、背景差分法では対象物を抽出することが困難な場合がある。例えば、近年、開発が進められている自動運転システムでは、自動運転から手動運転に設定を切り換える際に乗員の存在や姿勢を確認するため、車内を撮影した画像から乗員を抽出する必要がある。このとき、背景差分法では、シートをリクライニングやスライドさせたりしてシートの状態を変化させた場合、乗員とシートが連動して変化する画像となり、状態が変化したシートも乗員と一緒に動きのある対象物として、撮影した画像から抽出されてしまう問題がある。このような問題を解決するため、背景が変化した場合であっても対象物を抽出する画像処理方法について、様々な提案がされている。
例えば、背景差分法を応用して、対象物としての確からしさを示す確信度を用いることにより、対象物である確率が高い領域を前景として検出し続けることにより、対象物を抽出する方法が提案されている（例えば、特許文献１参照）。また、短期的な過去の取得画像から決定した各画素の状態(静・動・継続的な静・継続的な動)に基づいて更新した背景モデル情報を用いて、対象物を抽出する方法が提案されている（例えば、特許文献２参照）。
しかしながら、特許文献１に記載の技術では、前景として検出した領域に対して識別器を用いて対象物か否かを判定しているが、前景と背景とが一部あるいは全てが重なっているときには、前景と背景をまとめて抽出する場合、即ち、シートと乗員を一緒に抽出する場合があるという問題がある。また、特許文献２に記載の技術では、例えば、抽出対象としての乗員が眠ってしまうなどして長期的に動かないときには、乗員も背景として認識されてしまう場合があるという問題がある。
一つの側面では、対象物と背景の一部が連動して変化する画像であっても対象物を抽出できる画像処理装置を提供することを目的とする。
一つの実施態様では、画像処理装置は、動きのある対象物を少なくとも含む画像を順次取得する画像取得手段と、前記画像取得手段が取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶する記憶手段と、前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う制御手段と、を有する画像処理装置であって、前記制御手段が、前記画像取得手段が取得した前記画像における各画素の特徴量を算出する特徴量算出部と、順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出する変化領域抽出部と、前記背景の一部の変化が開始してから終了するまでの前記画像を識別する背景変化画像識別部と、前記背景変化画像識別部が前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、前記特徴量算出部が算出した前記特徴量と、前記記憶手段に記憶された前記背景モデル情報の前記特徴量とが類似するか否かを判定する特徴量類似判定部と、前記特徴量類似判定部が類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新する背景モデル情報更新部と、更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する対象物抽出部と、を有する。
一つの側面では、対象物と背景の一部が連動して変化する画像であっても対象物を抽出できる画像処理装置を提供することができる。
以下、本発明の一実施例を説明するが、本発明は、この実施例に何ら限定されるものではない。
なお、本発明の「画像処理装置」における制御手段の各部が行う制御は、本発明の「画像処理方法」を実施することと同義であるので、本発明の「画像処理装置」の説明を通じて本発明の「画像処理方法」の詳細についても明らかにする。また、本発明の「画像処理プログラム」は、ハードウェア資源としてのコンピュータ等を用いることにより、本発明の「画像処理装置」として実現させることから、本発明の「画像処理装置」の説明を通じて本発明の「画像処理プログラム」の詳細についても明らかにする。
なお、本発明の「画像処理装置」における制御手段の各部が行う制御は、本発明の「画像処理方法」を実施することと同義であるので、本発明の「画像処理装置」の説明を通じて本発明の「画像処理方法」の詳細についても明らかにする。また、本発明の「画像処理プログラム」は、ハードウェア資源としてのコンピュータ等を用いることにより、本発明の「画像処理装置」として実現させることから、本発明の「画像処理装置」の説明を通じて本発明の「画像処理プログラム」の詳細についても明らかにする。
（第１の実施例）
第１の実施例における画像処理装置は、自動運転システムにおける自動運転車の車両内をデジタルビデオカメラなどにより撮影し、撮影した画像から動きのある乗員の輪郭を抽出する画像処理を行う装置であり、乗員がシートをリクライニングやスライドさせ、背景の一部であるシートの状態が一旦変化すると変化した状態が継続しても、乗員のみの輪郭を画像から抽出して、乗員の輪郭の画像情報を自動運転システムに送信することができる。第１の実施例においては、画像処理装置が送信した乗員の輪郭の画像情報に基づき、乗員が運転可能な姿勢であるか否かを自動運転システムが判定し、手動運転に切り換えるか、あるいは自動運転を継続するかを設定する。
なお、画像処理装置を実施すると画像処理方法が実施される。
第１の実施例における画像処理装置は、自動運転システムにおける自動運転車の車両内をデジタルビデオカメラなどにより撮影し、撮影した画像から動きのある乗員の輪郭を抽出する画像処理を行う装置であり、乗員がシートをリクライニングやスライドさせ、背景の一部であるシートの状態が一旦変化すると変化した状態が継続しても、乗員のみの輪郭を画像から抽出して、乗員の輪郭の画像情報を自動運転システムに送信することができる。第１の実施例においては、画像処理装置が送信した乗員の輪郭の画像情報に基づき、乗員が運転可能な姿勢であるか否かを自動運転システムが判定し、手動運転に切り換えるか、あるいは自動運転を継続するかを設定する。
なお、画像処理装置を実施すると画像処理方法が実施される。
第１の実施例における画像処理装置は、動きのある対象物としての乗員を少なくとも含む車両内の画像を順次取得し、取得した画像において、背景を構成する各画素の特徴量の情報を背景モデル情報としてデータベース（以下、「ＤＢ」と称することがある）を更新し、更新した背景モデル情報に基づき、背景差分により、乗員とシートが連動して変化する画像から乗員を抽出する。
具体的には、まず、第１の実施例における画像処理装置は、取得した画像における各画素の特徴量を算出し、順次取得した画像における画素ごとの、特徴量の同種のもの同士の差分情報に基づき、乗員及びシートを含む変化領域を画像ごとに抽出し、順次取得した画像における変化領域に基づき、シートの状態の変化が開始してから終了するまでの画像を識別する。
次に、第１の実施例における画像処理装置は、シートの状態変化が終了したと識別した画像の画素ごとに算出した特徴量と、背景モデル情報の特徴量とが類似するか否かを判定する。
類似しないと判定した場合、類似しないと判定した画素が、シートの状態変化が開始してから終了するまでの画像の変化領域に含まれる画素であれば、リクライニングやスライドにより状態が変化したシートの画像を構成する画素であるとして、類似しないと判定した画素の特徴量の情報を背景モデル情報に登録して、更新する。なお、シートの状態変化とは、乗員がシートをリクライニングやスライドさせ、シートの状態が変化することを意味する。また、類似すると判定した場合、類似すると判定した画素の特徴量の発生回数を更新し、シートの状態変化が開始してから終了するまでの画像において、当該画素での発生回数が所定の回数以上であれば、動きのある乗員の画像を構成する特徴量であるとして、類似すると判定した画素の特徴量の情報を背景モデル情報から削除して更新することが好ましい。
そして、第１の実施例における画像処理装置は、上記のように更新した背景モデル情報に基づき、背景差分により画像から乗員を抽出し、乗員の輪郭の画像情報を自動運転システムに送信する。
具体的には、まず、第１の実施例における画像処理装置は、取得した画像における各画素の特徴量を算出し、順次取得した画像における画素ごとの、特徴量の同種のもの同士の差分情報に基づき、乗員及びシートを含む変化領域を画像ごとに抽出し、順次取得した画像における変化領域に基づき、シートの状態の変化が開始してから終了するまでの画像を識別する。
次に、第１の実施例における画像処理装置は、シートの状態変化が終了したと識別した画像の画素ごとに算出した特徴量と、背景モデル情報の特徴量とが類似するか否かを判定する。
類似しないと判定した場合、類似しないと判定した画素が、シートの状態変化が開始してから終了するまでの画像の変化領域に含まれる画素であれば、リクライニングやスライドにより状態が変化したシートの画像を構成する画素であるとして、類似しないと判定した画素の特徴量の情報を背景モデル情報に登録して、更新する。なお、シートの状態変化とは、乗員がシートをリクライニングやスライドさせ、シートの状態が変化することを意味する。また、類似すると判定した場合、類似すると判定した画素の特徴量の発生回数を更新し、シートの状態変化が開始してから終了するまでの画像において、当該画素での発生回数が所定の回数以上であれば、動きのある乗員の画像を構成する特徴量であるとして、類似すると判定した画素の特徴量の情報を背景モデル情報から削除して更新することが好ましい。
そして、第１の実施例における画像処理装置は、上記のように更新した背景モデル情報に基づき、背景差分により画像から乗員を抽出し、乗員の輪郭の画像情報を自動運転システムに送信する。
このように、第１の実施例においては、画像処理装置が、上記のように更新した背景モデル情報に基づき、背景差分により画像から乗員を抽出して乗員の輪郭の画像情報を自動運転システムに送信することにより、自動運転システムが、乗員の輪郭の画像情報に基づき、乗員が運転可能な姿勢であるか否かを判定し、手動運転に切り換えるか、あるいは自動運転を継続するかを設定することができる。
次に、第１の実施例における画像処理装置の機能構成及びハードウェア構成を説明する。
図１は、第１の実施例における画像処理装置１００の機能構成を示す説明図である。
図１に示すように、画像処理装置１００は、画像取得手段１１０と、記憶手段１２０と、制御手段１３０と、通信手段１４０と、入力手段１５０と、出力手段１６０と、を有する。
図１に示すように、画像処理装置１００は、画像取得手段１１０と、記憶手段１２０と、制御手段１３０と、通信手段１４０と、入力手段１５０と、出力手段１６０と、を有する。
＜画像取得手段＞
画像取得手段１１０は、自動運転車室内の乗員の状態を把握するために車室内に設置され、制御手段１３０の指示に基づき、動きのある乗員を撮影し、順次画像を取得する（図４：ステップＳ１０１参照）。
画像取得手段１１０は、自動運転車室内の乗員の状態を把握するために車室内に設置され、制御手段１３０の指示に基づき、動きのある乗員を撮影し、順次画像を取得する（図４：ステップＳ１０１参照）。
＜記憶手段＞
記憶手段１２０は、変化情報ＤＢ１２１と、背景モデル情報ＤＢ１２２と、識別情報ＤＢ１２３と、を有する。
記憶手段１２０は、変化情報ＤＢ１２１と、背景モデル情報ＤＢ１２２と、識別情報ＤＢ１２３と、を有する。
変化情報ＤＢ１２１には、後述する変化領域抽出部１３２により抽出された変化領域の各画素の特徴量が格納される。
背景モデル情報ＤＢ１２２には、過去に取得した画像において背景を構成する各画素の特徴量の情報を、背景モデル情報として格納されている。
図２は、各画素に対応付けられている背景モデル情報としての特徴量の登録情報の一例を示す説明図である。
図２に示すように、背景モデル情報ＤＢ１２２には、画素ごとに背景モデル情報が格納されており、背景モデル情報として特徴量の登録情報を有する。
特徴量の登録情報としては、例えば、輝度の平均値、輝度の標準偏差値、重み、変化があったときのテクスチャ登録情報などが挙げられる。また、変化があったときのテクスチャ登録情報には、１又は２以上の特徴量が登録され、画像取得手段１１０が取得した最新の画像（以下、「現フレーム」と称することがある）までに変化があったときのテクスチャ形状と、そのテクスチャ形状と類似するテクスチャ形状の発生回数及び発生時刻が更新される。
なお、背景モデル情報は、背景モデル情報更新部１３５により登録又は削除されて更新される。背景モデル情報更新部１３５の詳細な説明については後述する。
図２に示すように、背景モデル情報ＤＢ１２２には、画素ごとに背景モデル情報が格納されており、背景モデル情報として特徴量の登録情報を有する。
特徴量の登録情報としては、例えば、輝度の平均値、輝度の標準偏差値、重み、変化があったときのテクスチャ登録情報などが挙げられる。また、変化があったときのテクスチャ登録情報には、１又は２以上の特徴量が登録され、画像取得手段１１０が取得した最新の画像（以下、「現フレーム」と称することがある）までに変化があったときのテクスチャ形状と、そのテクスチャ形状と類似するテクスチャ形状の発生回数及び発生時刻が更新される。
なお、背景モデル情報は、背景モデル情報更新部１３５により登録又は削除されて更新される。背景モデル情報更新部１３５の詳細な説明については後述する。
識別情報ＤＢ１２３には、取得した画像において乗員を識別するための識別情報が格納されている。
また、記憶手段１２０は、制御手段１３０の指示に基づき、画像処理装置１００にインストールされた各種プログラムや、プログラムを実行することにより生成されるデータ等を記憶する。
＜制御手段＞
制御手段１３０は、シートの状態が変化する画像から、更新した背景モデル情報に基づき、対象物としての乗員の輪郭を抽出する制御を行う手段であり、特徴量算出部１３１と、変化領域抽出部１３２と、背景変化画像識別部１３３と、特徴量類似判定部１３４と、背景モデル情報更新部１３５と，対象物抽出部１３６と、を有する。
特徴量類似判定部１３４及び背景モデル情報更新部１３５は、後述する背景モデル情報の更新処理を行う。
制御手段１３０は、シートの状態が変化する画像から、更新した背景モデル情報に基づき、対象物としての乗員の輪郭を抽出する制御を行う手段であり、特徴量算出部１３１と、変化領域抽出部１３２と、背景変化画像識別部１３３と、特徴量類似判定部１３４と、背景モデル情報更新部１３５と，対象物抽出部１３６と、を有する。
特徴量類似判定部１３４及び背景モデル情報更新部１３５は、後述する背景モデル情報の更新処理を行う。
−特徴量算出部−
特徴量算出部１３１は、画像取得手段１１０が取得した画像における各画素の特徴量を算出する（図４：ステップＳ１０２参照）。
特徴量算出部１３１は、画像取得手段１１０が取得した画像における各画素の特徴量を算出する（図４：ステップＳ１０２参照）。
−変化領域抽出部−
変化領域抽出部１３２は、順次取得した画像における画素ごとの、特徴量の同種のもの同士の差分情報に基づき、シート及び乗員を含む変化領域を、画像ごとに抽出する（図４：ステップＳ１０３参照）。言い換えると、変化領域抽出部１３２は、現フレームと、最新の画像の前に取得した画像（前フレーム）との差分、即ち、フレーム間差分により画像取得手段１１０が順次取得した画像の特徴量の差分情報を算出し、算出した差分情報に基づき、差分がある領域を変化領域として抽出する。
変化領域抽出部１３２は、順次取得した画像における画素ごとの、特徴量の同種のもの同士の差分情報に基づき、シート及び乗員を含む変化領域を、画像ごとに抽出する（図４：ステップＳ１０３参照）。言い換えると、変化領域抽出部１３２は、現フレームと、最新の画像の前に取得した画像（前フレーム）との差分、即ち、フレーム間差分により画像取得手段１１０が順次取得した画像の特徴量の差分情報を算出し、算出した差分情報に基づき、差分がある領域を変化領域として抽出する。
−背景変化画像識別部−
背景変化画像識別部１３３は、順次取得した画像における変化領域に基づき、シートの状態変化が開始してから終了するまでの画像を識別する（図４：ステップＳ１０４及びＳ１０５参照）。
シートの状態変化が開始してから終了するまでの画像を識別する方法としては、例えば、変化領域抽出部１３２が抽出した変化領域に基づいて識別する方法、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）情報から得られるシートの動きから識別する方法、シートにマーカを設置してマーカの動きから識別する方法などが挙げられる。
変化領域に基づいて識別する方法としては、例えば、変化領域の形状の変化に基づいて識別する方法、変化領域の面積の変化に基づいて識別する方法などが挙げられる。
これらは、１種単独で使用してもよいし、２種以上を組み合せてもよい。
背景変化画像識別部１３３は、順次取得した画像における変化領域に基づき、シートの状態変化が開始してから終了するまでの画像を識別する（図４：ステップＳ１０４及びＳ１０５参照）。
シートの状態変化が開始してから終了するまでの画像を識別する方法としては、例えば、変化領域抽出部１３２が抽出した変化領域に基づいて識別する方法、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）情報から得られるシートの動きから識別する方法、シートにマーカを設置してマーカの動きから識別する方法などが挙げられる。
変化領域に基づいて識別する方法としては、例えば、変化領域の形状の変化に基づいて識別する方法、変化領域の面積の変化に基づいて識別する方法などが挙げられる。
これらは、１種単独で使用してもよいし、２種以上を組み合せてもよい。
−特徴量類似判定部−
特徴量類似判定部１３４は、シートの状態変化が終了したと識別した画像の画素ごとに、特徴量算出部１３１が算出した特徴量と、背景モデル情報ＤＢ１２２に記憶された背景モデル情報の特徴量とが類似するか否かを判定する（図５：ステップＳ２０１及びＳ２０２参照）。
特徴量算出部１３１が算出した特徴量と、背景モデル情報ＤＢ１２２に記憶された背景モデル情報の特徴量とが類似するか否かを判定する方法としては、特徴量算出部１３１が算出した特徴量と、背景モデル情報ＤＢ１２２に記憶された背景モデル情報の特徴量との類似度を算出し、算出した類似度が閾値以上か否かにより判定する方法などが挙げられる。
特徴量類似判定部１３４は、シートの状態変化が終了したと識別した画像の画素ごとに、特徴量算出部１３１が算出した特徴量と、背景モデル情報ＤＢ１２２に記憶された背景モデル情報の特徴量とが類似するか否かを判定する（図５：ステップＳ２０１及びＳ２０２参照）。
特徴量算出部１３１が算出した特徴量と、背景モデル情報ＤＢ１２２に記憶された背景モデル情報の特徴量とが類似するか否かを判定する方法としては、特徴量算出部１３１が算出した特徴量と、背景モデル情報ＤＢ１２２に記憶された背景モデル情報の特徴量との類似度を算出し、算出した類似度が閾値以上か否かにより判定する方法などが挙げられる。
−背景モデル情報更新部−
背景モデル情報更新部１３５は、特徴量類似判定部１３４が類似しないと判定した場合、類似しないと判定した画素が、シートの状態変化が開始してから終了するまでの画像の変化領域に含まれる画素であれば、変化した背景に該当する画素であるとして、類似しないと判定した画素の特徴量の情報を背景モデル情報に登録して更新する（図５：ステップＳ２０６〜Ｓ２０８参照）。また、背景モデル情報更新部１３５は、特徴量類似判定部１３４が類似すると判定した場合、類似すると判定した画素の特徴量の発生回数を更新し、シートの状態変化が開始してから終了するまでの画像において、発生回数が所定の回数以上であれば、動きのある乗員を構成する画素であるとして、類似すると判定した画素の特徴量の情報を背景モデル情報から削除して更新する（図５：ステップＳ２０３〜Ｓ２０５参照）。
背景モデル情報更新部１３５は、特徴量類似判定部１３４が類似しないと判定した場合、類似しないと判定した画素が、シートの状態変化が開始してから終了するまでの画像の変化領域に含まれる画素であれば、変化した背景に該当する画素であるとして、類似しないと判定した画素の特徴量の情報を背景モデル情報に登録して更新する（図５：ステップＳ２０６〜Ｓ２０８参照）。また、背景モデル情報更新部１３５は、特徴量類似判定部１３４が類似すると判定した場合、類似すると判定した画素の特徴量の発生回数を更新し、シートの状態変化が開始してから終了するまでの画像において、発生回数が所定の回数以上であれば、動きのある乗員を構成する画素であるとして、類似すると判定した画素の特徴量の情報を背景モデル情報から削除して更新する（図５：ステップＳ２０３〜Ｓ２０５参照）。
−対象物抽出部−
対象物抽出部１３６は、背景モデル情報更新部１３５が更新した背景モデル情報に基づき、現フレームから前景領域を背景差分により抽出する（図４：ステップＳ１０７参照）。
乗員の輪郭を抽出する方法としては、変化領域の特徴量の情報の統計量に基づく方法が好ましく、例えば、画像取得手段１１０からの画像と背景モデル情報ＤＢ１２２の情報から前景領域を抽出し、抽出した前景領域のうち識別情報ＤＢ１２３に格納されている乗員の識別情報と合致する領域を識別し、識別された前景領域の輪郭を乗員の輪郭として抽出する方法などが挙げられる。具体的には、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を用いたＡｄａＢｏｏｓｔによる機械学習で識別する方法、Ｈａａｒ−ｌｉｋｅ特徴を用いた顔検出により識別する方法などが挙げられる。
対象物抽出部１３６は、識別情報ＤＢ１２３に格納されている識別情報に基づき、前景領域から乗員を識別し、前景領域から識別した乗員の輪郭の画像情報を自動運転システムに送信する（図４：ステップＳ１０８及びＳ１０９参照）。
対象物抽出部１３６は、背景モデル情報更新部１３５が更新した背景モデル情報に基づき、現フレームから前景領域を背景差分により抽出する（図４：ステップＳ１０７参照）。
乗員の輪郭を抽出する方法としては、変化領域の特徴量の情報の統計量に基づく方法が好ましく、例えば、画像取得手段１１０からの画像と背景モデル情報ＤＢ１２２の情報から前景領域を抽出し、抽出した前景領域のうち識別情報ＤＢ１２３に格納されている乗員の識別情報と合致する領域を識別し、識別された前景領域の輪郭を乗員の輪郭として抽出する方法などが挙げられる。具体的には、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を用いたＡｄａＢｏｏｓｔによる機械学習で識別する方法、Ｈａａｒ−ｌｉｋｅ特徴を用いた顔検出により識別する方法などが挙げられる。
対象物抽出部１３６は、識別情報ＤＢ１２３に格納されている識別情報に基づき、前景領域から乗員を識別し、前景領域から識別した乗員の輪郭の画像情報を自動運転システムに送信する（図４：ステップＳ１０８及びＳ１０９参照）。
通信手段１４０は、自動運転システムと通信可能に接続されており、乗員の輪郭の画像情報を自動運転システムに送信する。なお、通信手段１４０は、他の情報処理装置等と通信可能に接続されていてもよい。
入力手段１５０は、制御手段１３０の指示に基づき、画像処理装置１００に対する各種要求を受け付ける。
出力手段１６０は、制御手段１３０の指示に基づき、画像処理装置１００の内部状態の表示などを行う。
入力手段１５０は、制御手段１３０の指示に基づき、画像処理装置１００に対する各種要求を受け付ける。
出力手段１６０は、制御手段１３０の指示に基づき、画像処理装置１００の内部状態の表示などを行う。
図３は、第１の実施例における画像処理装置１００のハードウェア構成を示す説明図である。
図３に示すように、画像処理装置１００は、画像取得手段１１０と、記憶手段１２０と、制御手段１３０と、通信手段１４０と、入力手段１５０と、出力手段１６０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１７０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１８０と、を有する。なお、画像処理装置１００の各手段は、バス１９０を介してそれぞれ通信可能に接続されている。
図３に示すように、画像処理装置１００は、画像取得手段１１０と、記憶手段１２０と、制御手段１３０と、通信手段１４０と、入力手段１５０と、出力手段１６０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１７０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１８０と、を有する。なお、画像処理装置１００の各手段は、バス１９０を介してそれぞれ通信可能に接続されている。
画像取得手段１１０は、例えば、デジタルビデオカメラなどが挙げられる。
記憶手段１２０は、各種情報を記憶できれば特に制限はなく、目的に応じて適宜選択することができ、例えば、ソリッドステートドライブ、ハードディスクドライブなどのほか、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）ドライブ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）ドライブなどの可搬記憶装置であってもよく、ネットワーク上のコンピュータ群であるクラウドの一部であってもよい。
制御手段１３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などが挙げられる。なお、ソフトウェアを実行するプロセッサはハードウェアである。
通信手段１４０は、他の情報処理装置等と通信可能に接続されていてもよい。
入力手段１５０は、画像処理装置１００に対する各種要求を受け付けることができれば特に制限はなく、適宜公知のものを用いることができ、例えば、キーボード、マウス、タッチパネル、マイクなどが挙げられる。
出力手段１６０は、特に制限はなく、適宜公知のものを用いることができ、例えば、ディスプレイ、スピーカーなどが挙げられる。
ＲＯＭ１７０は、記憶手段１２０に記憶された各種プログラムを制御手段１３０が実行するために必要な各種プログラム、データ等を記憶する。具体的には、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＥＦＩ（Ｅｘｔｅｎｓｉｂｌｅ Ｆｉｒｍｗａｒｅ Ｉｎｔｅｒｆａｃｅ）等のブートプログラムなどを記憶する。
ＲＡＭ１８０は、主記憶装置であり、記憶手段１２０に記憶された各種プログラムが制御手段１３０によって実行される際に展開される作業領域として機能する。ＲＡＭ１８０としては、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などが挙げられる。
図４は、画像処理装置１００が、自動運転車両内の画像を取得してから、乗員の輪郭の画像情報を自動運転システムに送信するまでの制御の流れを示すフローチャートである。
ここでは、図４に示すフローチャートにしたがって図１を参照しながら、画像処理装置１００が、自動運転車両内の画像を取得してから、乗員の輪郭の画像情報を自動運転システムに送信するまでの制御の流れについて説明する。
なお、画像処理装置１００は、過去に取得した画像において背景を構成する各画素の特徴量の情報を、背景モデル情報として背景モデル情報ＤＢ１２２に更新しながら格納している。
ここでは、図４に示すフローチャートにしたがって図１を参照しながら、画像処理装置１００が、自動運転車両内の画像を取得してから、乗員の輪郭の画像情報を自動運転システムに送信するまでの制御の流れについて説明する。
なお、画像処理装置１００は、過去に取得した画像において背景を構成する各画素の特徴量の情報を、背景モデル情報として背景モデル情報ＤＢ１２２に更新しながら格納している。
ステップＳ１０１では、自動運転車室内に設置されている画像取得手段１１０は、制御手段１３０の指示に基づき、動きのある乗員を撮影して画像を取得すると処理をＳ１０２に移行させる。なお、画像取得手段１１０が取得した画像は、記憶手段１２０に記憶される。
ステップＳ１０２では、特徴量算出部１３１は、画像取得手段１１０が取得した画像における各画素の特徴量を算出すると処理をＳ１０３に移行させる。
ステップＳ１０３では、変化領域抽出部１３２は、画像における画素ごとの、特徴量の同種のもの同士の差分情報に基づき、シート及び乗員を含む変化領域を抽出すると処理をＳ１０３に移行させる。
ステップＳ１０４では、背景変化画像識別部１３３は、変化領域抽出部１３２が抽出した変化領域に基づき、ステップＳ１０１で取得した画像（現フレーム）においてシートの状態変化が開始したか否かを判定する。背景変化画像識別部１３３は、現フレームにおいてシートの状態変化が開始したと判定すると処理をＳ１０５に移行させる。現フレームにおいてシートの状態変化が開始していないと判定すると処理をＳ１０７に移行させる。
ステップＳ１０５では、背景変化画像識別部１３３は、順次取得した画像における変化領域に基づき、現フレームにおいてシートの状態変化が終了したか否かを判定する。背景変化画像識別部１３３は、現フレームにおいてシートの状態変化が終了したと判定すると処理をＳ１０６に移行させる。現フレームにおいてシートの状態変化が終了していないと判定すると処理をＳ１０１に移行させ、次フレームとなる画像を取得する。
ステップＳ１０６では、特徴量類似判定部１３４及び背景モデル情報更新部１３５は、背景モデル情報の更新処理を行うと処理をＳ１０７に移行させる。なお、背景モデル情報の更新処理についての詳細な説明は、図５を参照しながら後述する。
ステップＳ１０７では、対象物抽出部１３６は、背景モデル情報の更新処理により更新した背景モデル情報に基づき、現フレームから前景領域を背景差分により抽出すると処理をＳ１０８に移行させる。
ステップＳ１０８では、対象物抽出部１３６は、識別情報ＤＢ１２３に格納されている識別情報に基づき、前景領域から乗員を識別すると処理をＳ１０９に移行させる。
ステップＳ１０９では、対象物抽出部１３６は、前景領域から識別した乗員の輪郭の画像情報を自動運転システムに送信すると本処理を終了させる。
図５は、背景モデル情報の更新処理を行う制御の流れの一例を示すフローチャートである。
ここでは、図５に示すフローチャートにしたがって図１を参照しながら、ステップＳ１０６の背景モデル情報の更新処理を行う制御の流れについて説明する。
なお、背景モデル情報の更新処理は、図５に示すようなループ処理により、取得した画像の全画素を対象とするが、１画素分の処理について、ステップＳ２０１からＳ２０８までの流れに沿って説明する。
ここでは、図５に示すフローチャートにしたがって図１を参照しながら、ステップＳ１０６の背景モデル情報の更新処理を行う制御の流れについて説明する。
なお、背景モデル情報の更新処理は、図５に示すようなループ処理により、取得した画像の全画素を対象とするが、１画素分の処理について、ステップＳ２０１からＳ２０８までの流れに沿って説明する。
ステップＳ２０１では、特徴量類似判定部１３４は、背景変化画像識別部１３３がシートの状態変化が終了したと識別した画像において特徴量算出部１３１が算出した特徴量と、背景モデル情報ＤＢ１２２に記憶された背景モデル情報の特徴量とに基づき、類似度を算出すると処理をＳ２０２に移行させる。言い換えると、特徴量類似判定部１３４は、シートの状態変化の前後の特徴量が類似しているか否かを判定する。
ステップＳ２０２では、特徴量類似判定部１３４は、算出した類似度が閾値以上であるか否かを判定する。特徴量類似判定部１３４は、算出した類似度が閾値以上であると判定すると処理をＳ２０３に移行させる。算出した類似度が閾値以上ではないと判定すると処理をＳ２０６に移行させる。
ステップＳ２０３では、特徴量類似判定部１３４が算出した類似度が閾値以上であり、類似すると判定した場合、背景モデル情報更新部１３５は、類似すると判定した画素の特徴量の発生回数を更新すると処理をＳ２０４に移行させる。なお、背景モデル情報更新部１３５は、類似すると判定した画素の特徴量が登録情報に登録されていなければ、登録するようにする。
ステップＳ２０４では、類似すると判定した画素の特徴量の発生回数を更新した背景モデル情報更新部１３５は、シートの状態変化が開始してから終了するまでの画像において、発生回数が所定の回数以上か否かを判定する。背景モデル情報更新部１３５は、発生回数が所定の回数以上であると判定すると処理をＳ２０５に移行させ、発生回数が所定の回数以上ではないと判定すると処理をＳ２０８に移行させる。
ステップＳ２０５では、背景モデル情報更新部１３５は、当該画素での発生回数が所定の回数以上であれば、動きのある乗員を構成する画素であるとして、類似する特徴量の登録情報を背景モデル情報ＤＢ１２２から削除し、背景ではない特徴量として記憶手段１２０に記憶させると、当該画像の全画素の処理が終了したか否かを判定するループ処理に移行させる。
ループ処理では、制御手段１３０が全画素の処理が終了していないと判定すると、処理をＳ２０１に移行させる。全画素の処理が終了したと判定すると、処理を図４で示したフローチャートのＳ１０７に移行させる。
ループ処理では、制御手段１３０が全画素の処理が終了していないと判定すると、処理をＳ２０１に移行させる。全画素の処理が終了したと判定すると、処理を図４で示したフローチャートのＳ１０７に移行させる。
ステップＳ２０６では、特徴量類似判定部１３４が算出した類似度が閾値以上ではなく、類似しないと判定した場合、背景モデル情報更新部１３５は、シートの状態変化が開始してから終了するまでの画像において、類似しないと判定した画素が変化領域に含まれる画素か否か、即ち、フレーム間差分があるか否かを判定する。背景モデル情報更新部１３５は、当該画素にフレーム間差分があると判定すると処理をＳ２０７に移行させる。当該画素にフレーム間差分がないと判定すると処理をＳ２０８に移行させる。
ステップＳ２０７では、当該画素にフレーム間差分があると判定した背景モデル情報更新部１３５は、シートの状態変化が終了したと識別した画像において、当該画素に対応する特徴量を、背景モデル情報ＤＢ１２２に新規に登録すると処理をＳ２０８に移行させる。
ステップＳ２０８では、背景モデル情報更新部１３５は、当該画素の背景モデル情報に含まれる輝度の平均値、輝度の標準偏差値、重みの情報を更新すると、シートの状態変化が終了したと識別した画像の全画素の処理が終了したか否かを判定するループ処理に移行させる。
ループ処理では、制御手段１３０が全画素の処理が終了していないと判定すると、処理をＳ２０１に移行させる。全画素の処理が終了したと判定すると、処理を図４で示したフローチャートのＳ１０７に移行させる。
ループ処理では、制御手段１３０が全画素の処理が終了していないと判定すると、処理をＳ２０１に移行させる。全画素の処理が終了したと判定すると、処理を図４で示したフローチャートのＳ１０７に移行させる。
図６は、第１の実施例において、画像処理装置１００から送信された乗員の輪郭の画像情報に基づき、乗員が運転可能な姿勢か否かを判定して手動運転に切り換えるか否かを決定する制御の流れを示すフローチャートである。
ここでは、図６に示すフローチャートにしたがって、画像処理装置１００から送信された乗員の輪郭の画像情報に基づき、乗員が運転可能な姿勢か否かを自動運転システムが判定し、手動運転に切り換えるか否かを決定する制御の流れについて説明する。
ここでは、図６に示すフローチャートにしたがって、画像処理装置１００から送信された乗員の輪郭の画像情報に基づき、乗員が運転可能な姿勢か否かを自動運転システムが判定し、手動運転に切り換えるか否かを決定する制御の流れについて説明する。
ステップＳ３０１では、自動運転システムは、画像処理装置１００から乗員の輪郭の画像情報を入力されると、処理をＳ３０２に移行させる。
ステップＳ３０２では、自動運転システムは、入力された乗員の輪郭の画像情報に基づき、乗員の輪郭が運転可能な姿勢の形状と類似するか否か判定する。自動運転システムは、乗員の輪郭の画像情報が運転可能な姿勢の形状と類似すると判定すると処理をＳ３０３に移行させる。乗員の輪郭が運転可能な姿勢の形状と類似しないと判定すると処理をＳ３０４に移行させる。
ステップＳ３０３では、乗員の輪郭が運転可能な姿勢の形状と類似すると判定した自動運転システムは、自動運転から手動運転に設定を切り換えて運転権限を乗員に渡すと本処理を終了させる。
ステップＳ３０４では、乗員の輪郭が運転可能な姿勢の形状と類似しないと判定した自動運転システムは、自動運転の設定を継続させて本処理を終了させる。
このように、第１の実施例においては、画像処理装置が、上記のように更新した背景モデル情報に基づき、取得した画像から背景差分により乗員を抽出し、乗員の輪郭の画像情報を自動運転システムに送信することにより、自動運転システムが、乗員の輪郭の画像情報に基づき、乗員が運転可能な姿勢であるか否かを判定し、手動運転に切り換えるか、あるいは自動運転を継続するかを設定することができる。
なお、本実施例では、自動運転システムに用いているが、これに限ることなく、例えば、乗員の安全のための監視などに用いてもよい。
なお、本実施例では、自動運転システムに用いているが、これに限ることなく、例えば、乗員の安全のための監視などに用いてもよい。
（第２の実施例）
第２の実施例では、画像処理装置１００から送信された乗員の輪郭の画像情報に基づき、乗員が異常姿勢か否かを判定する場合について説明する。
なお、第２の実施例における画像処理装置１００は、第１の実施例における画像処理装置１００と比較すると、機構構成及びハードウェア構成が同様であり、図４及び図５のフローチャートに示した画像処理装置１００が行う制御の流れについても同様であるため、これらの説明を省略し、画像処理装置１００から乗員の輪郭の画像情報を送信された自動運転システムの制御の流れについて説明する。
第２の実施例では、画像処理装置１００から送信された乗員の輪郭の画像情報に基づき、乗員が異常姿勢か否かを判定する場合について説明する。
なお、第２の実施例における画像処理装置１００は、第１の実施例における画像処理装置１００と比較すると、機構構成及びハードウェア構成が同様であり、図４及び図５のフローチャートに示した画像処理装置１００が行う制御の流れについても同様であるため、これらの説明を省略し、画像処理装置１００から乗員の輪郭の画像情報を送信された自動運転システムの制御の流れについて説明する。
図７は、第２の実施例において、画像処理装置１００から送信された乗員の輪郭の画像情報に基づき、乗員が異常姿勢か否かを自動運転システムが判定して対応を決定する制御の流れを示すフローチャートである。
ここでは、図７に示すフローチャートにしたがって、画像処理装置１００から送信された乗員の輪郭の画像情報に基づき、乗員が異常姿勢か否かを自動運転システムが判定し、対応を決定する制御の流れについて説明する。
ここでは、図７に示すフローチャートにしたがって、画像処理装置１００から送信された乗員の輪郭の画像情報に基づき、乗員が異常姿勢か否かを自動運転システムが判定し、対応を決定する制御の流れについて説明する。
ステップＳ４０１では、自動運転システムは、画像処理装置１００から乗員の輪郭の画像情報を入力されると、処理をＳ４０２に移行させる。
ステップＳ４０２では、自動運転システムは、入力された乗員の輪郭の画像情報に基づき、乗員の輪郭が異常姿勢の形状と類似するか否か判定する。自動運転システムは、乗員の輪郭が異常姿勢の形状と類似すると判定すると処理をＳ４０３に移行させる。乗員の輪郭が異常姿勢の形状と類似しないと判定すると処理をＳ４０４に移行させる。
なお、異常な姿勢としては、例えば、てんかんにより気を失い乗員の上体が大きく傾いている姿勢などが挙げられる。
なお、異常な姿勢としては、例えば、てんかんにより気を失い乗員の上体が大きく傾いている姿勢などが挙げられる。
ステップＳ４０３では、乗員の輪郭が異常姿勢の形状と類似すると判定した自動運転システムは、自動的に路肩へ停車し、病院などに緊急通報すると本処理を終了させる。
ステップＳ４０４では、乗員の輪郭が異常姿勢の形状と類似しないと判定した自動運転システムは、自動運転の設定を継続して本処理を終了させる。
このように、第２の実施例においては、画像処理装置が、上記のように更新した背景モデル情報に基づき、取得した画像から背景差分により乗員を抽出し、乗員の輪郭の画像情報を自動運転システムに送信することにより、自動運転システムが、乗員の輪郭の画像情報に基づき、乗員が異常姿勢であるか否かを判定し、自動的に路肩へ停車し、病院などに緊急通報するか否かを決定することができる。
なお、第１の実施例及び第２の実施例では、画像処理装置を自動運転システムに用いているが、これに限ることなく、例えば、車両内の乗員の安全のための監視などに用いてもよい。
なお、第１の実施例及び第２の実施例では、画像処理装置を自動運転システムに用いているが、これに限ることなく、例えば、車両内の乗員の安全のための監視などに用いてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
動きのある対象物を少なくとも含む画像を順次取得する画像取得手段と、
前記画像取得手段が取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶する記憶手段と、
前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う制御手段と、
を有する画像処理装置であって、
前記制御手段が、
前記画像取得手段が取得した前記画像における各画素の特徴量を算出する特徴量算出部と、
順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出する変化領域抽出部と、
前記背景の一部の変化が開始してから終了するまでの前記画像を識別する背景変化画像識別部と、
前記背景変化画像識別部が前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、前記特徴量算出部が算出した前記特徴量と、前記記憶手段に記憶された前記背景モデル情報の前記特徴量とが類似するか否かを判定する特徴量類似判定部と、
前記特徴量類似判定部が類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新する背景モデル情報更新部と、
更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する対象物抽出部と、
を有することを特徴とする画像処理装置。
（付記２）
前記背景モデル情報更新部が、前記特徴量類似判定部が類似すると判定した場合、類似すると判定した前記画素の前記特徴量の発生回数を更新し、前記背景の一部の変化が開始してから終了するまでの前記画像において、当該画素での前記発生回数が所定の回数以上であれば、動きのある前記対象物を構成する前記画素の前記特徴量であるとして、類似すると判定した前記画素の前記特徴量の情報を前記背景モデル情報から削除して更新する付記１に記載の画像処理装置。
（付記３）
前記対象物抽出部が、前記背景の一部の変化が開始してから終了するまでの間、前記画像取得手段が取得した前記画像から前記対象物を抽出しない付記１から２のいずれかに記載の画像処理装置。
（付記４）
前記対象物抽出部が、更新した前記背景モデル情報に基づいて前記画像から前景領域を抽出し、前記前景領域における前記特徴量の情報の統計量に基づき、前記画像取得手段が取得した前記画像から前記対象物を抽出する付記１から３のいずれかに記載の画像処理装置。
（付記５）
前記画像取得手段が、車両内の乗員を撮影し、
前記対象物が、前記乗員であり、
前記背景の一部の変化が、前記乗員が前記車両内のシートをリクライニング及び／又はスライドさせたときの変化である付記１から４のいずれかに記載の画像処理装置。
（付記６）
動きのある対象物を少なくとも含む画像を順次取得する画像取得工程と、
前記画像取得工程で取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶する記憶工程と、
前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う制御工程と、
を含む画像処理方法であって、
前記制御工程が、
前記画像取得工程で取得した前記画像における各画素の特徴量を算出する特徴量算出処理と、
順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出する変化領域抽出処理と、
前記背景の一部の変化が開始してから終了するまでの前記画像を識別する背景変化画像識別処理と、
前記背景変化画像識別処理で前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、前記特徴量算出処理で算出した前記特徴量と、前記記憶工程で記憶した前記背景モデル情報の前記特徴量とが類似するか否かを判定する特徴量類似判定処理と、
前記特徴量類似判定処理で類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新する背景モデル情報更新処理と、
更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する対象物抽出処理と、
を含むことを特徴とする画像処理方法。
（付記７）
動きのある対象物を少なくとも含む画像を順次取得し、
取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶し、
記憶した前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う、
処理をコンピュータに実行させる画像処理プログラムであって、
取得した前記画像における各画素の特徴量を算出し、
順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出し、
前記背景の一部の変化が開始してから終了するまでの前記画像を識別し、
前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、算出した前記特徴量と、記憶した前記背景モデル情報の前記特徴量とが類似するか否かを判定し、
類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新し、
更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
（付記１）
動きのある対象物を少なくとも含む画像を順次取得する画像取得手段と、
前記画像取得手段が取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶する記憶手段と、
前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う制御手段と、
を有する画像処理装置であって、
前記制御手段が、
前記画像取得手段が取得した前記画像における各画素の特徴量を算出する特徴量算出部と、
順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出する変化領域抽出部と、
前記背景の一部の変化が開始してから終了するまでの前記画像を識別する背景変化画像識別部と、
前記背景変化画像識別部が前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、前記特徴量算出部が算出した前記特徴量と、前記記憶手段に記憶された前記背景モデル情報の前記特徴量とが類似するか否かを判定する特徴量類似判定部と、
前記特徴量類似判定部が類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新する背景モデル情報更新部と、
更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する対象物抽出部と、
を有することを特徴とする画像処理装置。
（付記２）
前記背景モデル情報更新部が、前記特徴量類似判定部が類似すると判定した場合、類似すると判定した前記画素の前記特徴量の発生回数を更新し、前記背景の一部の変化が開始してから終了するまでの前記画像において、当該画素での前記発生回数が所定の回数以上であれば、動きのある前記対象物を構成する前記画素の前記特徴量であるとして、類似すると判定した前記画素の前記特徴量の情報を前記背景モデル情報から削除して更新する付記１に記載の画像処理装置。
（付記３）
前記対象物抽出部が、前記背景の一部の変化が開始してから終了するまでの間、前記画像取得手段が取得した前記画像から前記対象物を抽出しない付記１から２のいずれかに記載の画像処理装置。
（付記４）
前記対象物抽出部が、更新した前記背景モデル情報に基づいて前記画像から前景領域を抽出し、前記前景領域における前記特徴量の情報の統計量に基づき、前記画像取得手段が取得した前記画像から前記対象物を抽出する付記１から３のいずれかに記載の画像処理装置。
（付記５）
前記画像取得手段が、車両内の乗員を撮影し、
前記対象物が、前記乗員であり、
前記背景の一部の変化が、前記乗員が前記車両内のシートをリクライニング及び／又はスライドさせたときの変化である付記１から４のいずれかに記載の画像処理装置。
（付記６）
動きのある対象物を少なくとも含む画像を順次取得する画像取得工程と、
前記画像取得工程で取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶する記憶工程と、
前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う制御工程と、
を含む画像処理方法であって、
前記制御工程が、
前記画像取得工程で取得した前記画像における各画素の特徴量を算出する特徴量算出処理と、
順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出する変化領域抽出処理と、
前記背景の一部の変化が開始してから終了するまでの前記画像を識別する背景変化画像識別処理と、
前記背景変化画像識別処理で前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、前記特徴量算出処理で算出した前記特徴量と、前記記憶工程で記憶した前記背景モデル情報の前記特徴量とが類似するか否かを判定する特徴量類似判定処理と、
前記特徴量類似判定処理で類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新する背景モデル情報更新処理と、
更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する対象物抽出処理と、
を含むことを特徴とする画像処理方法。
（付記７）
動きのある対象物を少なくとも含む画像を順次取得し、
取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶し、
記憶した前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う、
処理をコンピュータに実行させる画像処理プログラムであって、
取得した前記画像における各画素の特徴量を算出し、
順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出し、
前記背景の一部の変化が開始してから終了するまでの前記画像を識別し、
前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、算出した前記特徴量と、記憶した前記背景モデル情報の前記特徴量とが類似するか否かを判定し、
類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新し、
更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
１００ 画像処理装置
１１０ 画像取得手段
１２０ 記憶手段
１２２ 背景モデル情報ＤＢ
１３０ 制御手段
１３１ 特徴量算出部
１３２ 変化領域抽出部
１３３ 背景変化画像識別部
１３４ 特徴量類似判定部
１３５ 背景モデル情報更新部
１３６ 対象物抽出部
１１０ 画像取得手段
１２０ 記憶手段
１２２ 背景モデル情報ＤＢ
１３０ 制御手段
１３１ 特徴量算出部
１３２ 変化領域抽出部
１３３ 背景変化画像識別部
１３４ 特徴量類似判定部
１３５ 背景モデル情報更新部
１３６ 対象物抽出部
Claims (7)
- 動きのある対象物を少なくとも含む画像を順次取得する画像取得手段と、
前記画像取得手段が取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶する記憶手段と、
前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う制御手段と、
を有する画像処理装置であって、
前記制御手段が、
前記画像取得手段が取得した前記画像における各画素の特徴量を算出する特徴量算出部と、
順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出する変化領域抽出部と、
前記背景の一部の変化が開始してから終了するまでの前記画像を識別する背景変化画像識別部と、
前記背景変化画像識別部が前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、前記特徴量算出部が算出した前記特徴量と、前記記憶手段に記憶された前記背景モデル情報の前記特徴量とが類似するか否かを判定する特徴量類似判定部と、
前記特徴量類似判定部が類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新する背景モデル情報更新部と、
更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する対象物抽出部と、
を有することを特徴とする画像処理装置。 - 前記背景モデル情報更新部が、前記特徴量類似判定部が類似すると判定した場合、類似すると判定した前記画素の前記特徴量の発生回数を更新し、前記背景の一部の変化が開始してから終了するまでの前記画像において、当該画素での前記発生回数が所定の回数以上であれば、動きのある前記対象物を構成する前記画素の前記特徴量であるとして、類似すると判定した前記画素の前記特徴量の情報を前記背景モデル情報から削除して更新する請求項１に記載の画像処理装置。
- 前記対象物抽出部が、前記背景の一部の変化が開始してから終了するまでの間、前記画像取得手段が取得した前記画像から前記対象物を抽出しない請求項１から２のいずれかに記載の画像処理装置。
- 前記対象物抽出部が、更新した前記背景モデル情報に基づいて前記画像から前景領域を抽出し、前記前景領域における前記特徴量の情報の統計量に基づき、前記画像取得手段が取得した前記画像から前記対象物を抽出する請求項１から３のいずれかに記載の画像処理装置。
- 前記画像取得手段が、車両内の乗員を撮影し、
前記対象物が、前記乗員であり、
前記背景の一部の変化が、前記乗員が前記車両内のシートをリクライニング及び／又はスライドさせたときの変化である請求項１から４のいずれかに記載の画像処理装置。 - 動きのある対象物を少なくとも含む画像を順次取得する画像取得工程と、
前記画像取得工程で取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶する記憶工程と、
前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う制御工程と、
を含む画像処理方法であって、
前記制御工程が、
前記画像取得工程で取得した前記画像における各画素の特徴量を算出する特徴量算出処理と、
順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出する変化領域抽出処理と、
前記背景の一部の変化が開始してから終了するまでの前記画像を識別する背景変化画像識別処理と、
前記背景変化画像識別処理で前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、前記特徴量算出処理で算出した前記特徴量と、前記記憶工程で記憶した前記背景モデル情報の前記特徴量とが類似するか否かを判定する特徴量類似判定処理と、
前記特徴量類似判定処理で類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新する背景モデル情報更新処理と、
更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する対象物抽出処理と、
を含むことを特徴とする画像処理方法。 - 動きのある対象物を少なくとも含む画像を順次取得し、
取得した前記画像において、前記対象物の背景を構成する各画素の特徴量の情報を、背景モデル情報として記憶し、
記憶した前記背景モデル情報に基づき、前記対象物と前記背景の一部が連動して変化する前記画像から前記対象物を抽出する制御を行う、
処理をコンピュータに実行させる画像処理プログラムであって、
取得した前記画像における各画素の特徴量を算出し、
順次取得した前記画像における前記画素ごとの、前記特徴量の同種のもの同士の差分情報に基づき、前記背景及び前記対象物を含む変化領域を、前記画像ごとに抽出し、
前記背景の一部の変化が開始してから終了するまでの前記画像を識別し、
前記背景の一部の変化が終了したと識別した前記画像の前記画素ごとに、算出した前記特徴量と、記憶した前記背景モデル情報の前記特徴量とが類似するか否かを判定し、
類似しないと判定した場合、類似しないと判定した前記画素が、前記背景の一部の変化が開始してから終了するまでの前記画像の前記変化領域に含まれる前記画素であれば、変化した前記背景に該当する前記画素であるとして、類似しないと判定した前記画素の前記特徴量の情報を前記背景モデル情報に登録して更新し、
更新した前記背景モデル情報に基づき、背景差分により前記画像から前記対象物を抽出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017016240A JP2018124786A (ja) | 2017-01-31 | 2017-01-31 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| PCT/JP2018/000986 WO2018142916A1 (ja) | 2017-01-31 | 2018-01-16 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US16/511,075 US20190340452A1 (en) | 2017-01-31 | 2019-07-15 | Image processing apparatus, image processing method, and computer-readable recording medium recording image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017016240A JP2018124786A (ja) | 2017-01-31 | 2017-01-31 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018124786A true JP2018124786A (ja) | 2018-08-09 |
Family
ID=63040540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017016240A Pending JP2018124786A (ja) | 2017-01-31 | 2017-01-31 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20190340452A1 (ja) |
| JP (1) | JP2018124786A (ja) |
| WO (1) | WO2018142916A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639653B (zh) * | 2020-05-08 | 2023-10-10 | 浙江大华技术股份有限公司 | 一种误检图像确定方法、装置、设备和介质 |
| PL3955566T3 (pl) | 2020-08-14 | 2023-10-02 | Alpsentek Gmbh | Czujnik obrazu z konfigurowalnym układem pikseli oraz sposób |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4031122B2 (ja) * | 1998-09-30 | 2008-01-09 | 本田技研工業株式会社 | 差分画像を用いた被写体の検出装置 |
| JP4631806B2 (ja) | 2006-06-05 | 2011-02-16 | 日本電気株式会社 | 物体検出装置、物体検出方法および物体検出プログラム |
| JP5763965B2 (ja) | 2011-05-11 | 2015-08-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2017
- 2017-01-31 JP JP2017016240A patent/JP2018124786A/ja active Pending
-
2018
- 2018-01-16 WO PCT/JP2018/000986 patent/WO2018142916A1/ja active Application Filing
-
2019
- 2019-07-15 US US16/511,075 patent/US20190340452A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20190340452A1 (en) | 2019-11-07 |
| WO2018142916A1 (ja) | 2018-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11875467B2 (en) | Processing method for combining a real-world environment with virtual information according to a video frame difference value to provide an augmented reality scene, terminal device, system, and computer storage medium | |
| US10417503B2 (en) | Image processing apparatus and image processing method | |
| US9213896B2 (en) | Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera | |
| JP6655878B2 (ja) | 画像認識方法及び装置、プログラム | |
| US10839521B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| US10070047B2 (en) | Image processing apparatus, image processing method, and image processing system | |
| US10540546B2 (en) | Image processing apparatus, control method, and storage medium | |
| US9621857B2 (en) | Setting apparatus, method, and storage medium | |
| US11037014B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP2016134803A (ja) | 画像処理装置及び画像処理方法 | |
| US10936876B2 (en) | Content recognition method, system and storage medium thereof | |
| JP6652051B2 (ja) | 検出システム、検出方法及びプログラム | |
| JP2015219879A (ja) | 画像認識システム、画像認識方法およびプログラム | |
| JP2019204518A (ja) | 人物追跡方法、装置、機器及び記憶媒体 | |
| WO2018142916A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP5441151B2 (ja) | 顔画像追跡装置及び顔画像追跡方法並びにプログラム | |
| US10965858B2 (en) | Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium for detecting moving object in captured image | |
| US11132778B2 (en) | Image analysis apparatus, image analysis method, and recording medium | |
| JP2008009938A (ja) | 動画像データ処理装置、動画像データ処理方法、動画像データ処理プログラム、およびこれを記録した記録媒体 | |
| JP2020071717A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN113177967A (zh) | 视频数据的物体追踪方法、系统和存储介质 | |
| JP2017512398A (ja) | 映像を提示する方法及び装置 | |
| CN110909579A (zh) | 一种视频图像处理方法、装置、电子设备及存储介质 | |
| US20220230333A1 (en) | Information processing system, information processing method, and program | |
| JP7435298B2 (ja) | 物体検出装置および物体検出方法 |