JP2015213537A - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2015213537A JP2015213537A JP2014096213A JP2014096213A JP2015213537A JP 2015213537 A JP2015213537 A JP 2015213537A JP 2014096213 A JP2014096213 A JP 2014096213A JP 2014096213 A JP2014096213 A JP 2014096213A JP 2015213537 A JP2015213537 A JP 2015213537A
- Authority
- JP
- Japan
- Prior art keywords
- head
- face
- image processing
- image
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program.
医療や介護などの施設において、看護側が気付かないうちに患者がベッドから離れ、徘徊や転倒等の事故が起きることがある。かかる事故の発生を抑制する技術の一例として、次のような安全看護システムが提案されている。 In facilities such as medical care and nursing care, the patient may leave the bed without being aware of the nursing side, and accidents such as epilepsy and falls may occur. As an example of a technique for suppressing the occurrence of such an accident, the following safety nursing system has been proposed.
上記の安全看護システムでは、ベッドの上面の側端を含めて撮像可能な位置にカメラが配置される。このようなカメラが設置された状況の下、同システムは、カメラによって撮像された画像を用いて、患者の頭部を画像処理によって検出および追跡し、画像上の頭部の位置および位置の変動から患者の動作、例えば起き上がる動作やベッドから降りる動作を認識する。 In the above safety nursing system, the camera is arranged at a position where imaging is possible including the side edge of the upper surface of the bed. Under the situation where such a camera is installed, the system uses the image captured by the camera to detect and track the patient's head by image processing, and the position of the head on the image and the variation of the position. To recognize the patient's movements, for example, getting up and getting out of bed.
しかしながら、上記の技術では、患者でない来床者の頭部が患者の頭部と誤検出される場合がある。 However, with the above technique, the head of a non-patient visitor may be erroneously detected as the patient's head.
すなわち、上記の安全看護システムでは、画像処理によって頭部が検出されるが、その頭部が患者であるのか、あるいは見舞客や医療または介護のスタッフなどの来床者の頭部であるのかまでは弁別できない。それ故、上記の安全看護システムでは、カメラが撮像する画像に来床者の頭部が映る場合には、画像に映る来床者の頭部を患者の頭部と誤検出してしまうことがある。 In other words, in the safety nursing system described above, the head is detected by image processing, but whether the head is a patient or the head of a visitor such as a visitor or a medical or nursing staff. Cannot be distinguished. Therefore, in the safety nursing system described above, when the head of the visitor is reflected in the image captured by the camera, the head of the visitor reflected in the image may be erroneously detected as the head of the patient. is there.
1つの側面では、本発明は、患者でない来床者の頭部が患者の頭部と誤検出されるのを抑制できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。 In one aspect, an object of the present invention is to provide an image processing device, an image processing method, and an image processing program capable of suppressing erroneous detection of a head of a non-patient visitor as a patient's head. .
一態様の画像処理装置は、画像を取得する取得部と、前記画像の監視対象領域内で人間の頭部の有無を探索する探索部と、前記頭部が検出された際、検出された頭部が観察対象の患者の頭部か否かを患者の顔の向きに基づいて判断し、患者であれば前記頭部を追跡して起床または離床を判定させ、前記顔の向きが判断不能な場合に、検出された頭部の動きが検出されている場合は頭部を追跡する制御部とを有する。 An image processing apparatus according to an aspect includes an acquisition unit that acquires an image, a search unit that searches for a human head within the monitoring target region of the image, and a head that is detected when the head is detected. The head of the patient to be observed is determined based on the orientation of the patient's face, and if it is a patient, the head is tracked to determine whether to wake up or leave, and the face orientation cannot be determined In this case, a control unit that tracks the head when the detected movement of the head is detected is provided.
患者でない来床者の頭部が患者の頭部と誤検出されるのを抑制できる。 It is possible to suppress erroneous detection of the head of a non-patient visitor as the patient's head.
以下に添付図面を参照して本願に係る画像処理装置、画像処理方法及び画像処理プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Hereinafter, an image processing apparatus, an image processing method, and an image processing program according to the present application will be described with reference to the accompanying drawings. Note that this embodiment does not limit the disclosed technology. Each embodiment can be appropriately combined within a range in which processing contents are not contradictory.
[画像処理装置の構成]
図1は、実施例1に係る画像処理装置の機能的構成を示すブロック図である。図1に示す画像処理装置10は、カメラ20によって撮像された画像上で患者の頭部を探索および追跡し、患者の起床または離床の少なくとも一方の動作を検出する画像処理を実行するものである。なお、図1には、画像処理装置10に接続されるカメラとして1台のカメラを図示したが、画像処理装置10には任意の台数のカメラが接続されることとしてかまわない。
[Configuration of image processing apparatus]
FIG. 1 is a block diagram illustrating a functional configuration of the image processing apparatus according to the first embodiment. An image processing apparatus 10 shown in FIG. 1 searches and tracks a patient's head on an image captured by a
一実施形態として、画像処理装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の画像処理を実現する画像処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、画像処理装置10は、上記の画像処理によるサービスを提供するWebサーバとして実装することとしてもよいし、アウトソーシングによって上記の画像処理によるサービスを提供するクラウドとして実装することとしてもかまわない。この他、スマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末のみならず、タブレット端末などを含む携帯端末装置全般に上記の画像処理プログラムをインストールさせることによって、携帯端末装置を画像処理装置10として機能させることもできる。 As one embodiment, the image processing apparatus 10 can be implemented by installing an image processing program for realizing the above-described image processing as package software or online software on a desired computer. For example, the image processing apparatus 10 may be implemented as a Web server that provides the above-described image processing service, or may be implemented as a cloud that provides the above-described image processing service by outsourcing. In addition, the above-described image processing program is installed not only on mobile communication terminals such as smartphones, mobile phones, and PHS (Personal Handyphone System), but also on mobile terminal devices including tablet terminals. It can also function as the processing device 10.
画像処理装置10は、所定のネットワークを介して、カメラ20と相互に通信可能に接続される。かかるネットワークには、一例として、有線または無線を問わず、インターネット(Internet)を始め、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。
The image processing apparatus 10 is connected to the
ここで、上記のカメラ20には、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を搭載する撮像装置を採用できる。一実施形態として、カメラ20は、医療または介護の施設内に設けられた患者用のベッドの全部または一部を撮像範囲に収める位置に設置される。例えば、カメラ20は、ベッドの枕元から足下への方向に向けて、ベッドの上面の側端を撮像できる高さに設置することができる。なお、以下では、ベッドの枕元から足下への方向に向けてカメラを設置する場合を想定するが、ベッドの足下から枕元への方向に向けてカメラを設置することとしてもかまわない。
Here, the
図1に示すように、画像処理装置10は、取得部11と、探索部12と、動き量算出部13と、向き算出部14と、追跡部15と、動作判定部16と、モード制御部17とを有する。なお、画像処理装置10は、図1に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスなどの機能部を有することとしてもかまわない。
As illustrated in FIG. 1, the image processing apparatus 10 includes an
このうち、取得部11は、画像を取得する処理部である。
Among these, the
一実施形態として、取得部11は、カメラ20によって撮像された画像を取得することができる。他の実施形態として、取得部11は、画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやUSB(Universal Serial Bus)メモリなどのリムーバブルメディアから画像を取得することもできる。更なる実施形態として、取得部11は、外部装置からネットワークを介して受信することによって画像を取得することもできる。
As an embodiment, the
ここで、取得部11は、上記のいずれかの入手経路によって画像を取得した後、後述のモード制御部17からの指示にしたがって探索部12または追跡部15のいずれかの機能部へ画像を出力する。例えば、画像から頭部候補領域を探索する「探索モード」がモード制御部17によって選択された場合、取得部11は、カメラ20から取得された画像を探索部12へ出力する。一方、画像のフレーム間で頭部を追跡する「追跡モード」がモード制御部17によって選択された場合、取得部11は、カメラ20から取得された画像を追跡部15へ出力する。
Here, the
探索部12は、画像から頭部らしいと推定される領域、すなわち上記の「頭部候補領域」を探索する処理部である。 The search unit 12 is a processing unit that searches an area presumed to be a head from an image, that is, the “head candidate area”.
一実施形態として、探索部12は、HOG・RealAdaBoostによる学習データを用いて、画像から頭部候補領域を検出することができる。図2は、学習方法の一例を示す図であり、図3は、スキャニング方法の一例を示す図である。図2に示すように、探索部12は、人の頭部のポジティブデータと、布団、ベッド、頭部以外の身体などのネガティブデータとを学習サンプルとし、各学習サンプルのHOG特徴量をRealAdaBoostのアルゴリズムにしたがって学習することによってRealAdaBoostの分類器を作成する。このようにして作成された分類器を用いて、探索部12は、図3に示すように、画像をラスタスキャンすることによって頭部候補領域を検出する。 As one embodiment, the search unit 12 can detect a head candidate region from an image using learning data obtained by HOG / RealAdaBoost. FIG. 2 is a diagram illustrating an example of a learning method, and FIG. 3 is a diagram illustrating an example of a scanning method. As shown in FIG. 2, the search unit 12 uses positive data of a human head and negative data of a body other than a futon, a bed, and a head as a learning sample, and the HOG feature amount of each learning sample is represented by RealAdaBoost. RealAdaBoost classifier is created by learning according to the algorithm. Using the classifier created in this way, the search unit 12 detects a head candidate region by raster scanning an image as shown in FIG.
かかる頭部候補領域の検出後、探索部12は、頭部候補領域が画像内の対象領域に含まれない場合には、頭部候補領域に関する動き量を後述の動き量算出部13に算出させる一方で、対象領域に含まれる場合には、頭部候補領域から顔の向きを後述の向き算出部14に算出させる。図4は、対象領域の一例を示す図である。図4に示すように、ベッドの上面のうち手前側である枕元から所定の範囲、例えば縦半分までが対象領域として設定される。例えば、対象領域は、領域を形成する頂点、すなわちP1〜P4の4つの頂点の座標によって定義することができる。このように、対象領域には、患者がベッドで臥位の姿勢をとっている場合に患者の頭部が画像に映る公算が高い領域が設定される。
After detecting the head candidate region, the search unit 12 causes the motion
動き量算出部13は、頭部候補領域の動き量を背景差分によって算出する処理部である。
The motion
一実施形態として、動き量算出部13は、過去に頭部候補領域が検出されたフレームtの頭部候補領域の画像をテンプレートとして図示しない内部メモリに保存しておき、取得部11によって画像が取得された現在のフレームt+Nの画像との間で輝度差を画素ごとに算出する。このとき、動き量算出部13は、フレームtの画像およびフレームt+Nの画像の間でフレームtの頭部候補領域に位置する各画素の輝度差を算出する。そして、動き量算出部13は、輝度差が所定の閾値以上である画素に白「1」を設定する一方で、閾値未満である画素に黒「0」を設定することによって2値化する。その上で、動き算出部13は、白が設定された画素の数の和を算出し、当該和を頭部候補領域の面積で除算することによって動き量を算出する。このとき、動き量算出部13は、除算値×100等の計算を行うことによって動き量を正規化することもできる。このようにして、上記の動き量は、各頭部候補領域ごとに算出される。なお、動き量が一定値を超える場合には、テンプレートがフレームt+Nの頭部候補領域の部分画像に更新される。
As an embodiment, the motion
向き算出部14は、顔の向きを算出する処理部である。 The orientation calculation unit 14 is a processing unit that calculates the orientation of the face.
一実施形態として、向き算出部14は、目および口の位置関係から顔の向きを定めることができる。かかる目や口の顔パーツを検出する場合、一例として、Haar-LikeおよびAdaBoostによる学習データを用いて、画像から顔パーツを検出することができる。図5は、学習方法の一例を示す図である。図5に示すように、向き算出部14は、人の目や口のポジティブデータと、布団、髪や鼻などの目および口以外の画像などのネガティブデータとを学習サンプルとし、各学習サンプルのHaar-Like特徴量をAdaBoostのアルゴリズムにしたがって学習することによってAdaBoostの分類器を作成する。このようにして作成された分類器を用いて、向き算出部14は、頭部候補領域内をラスタスキャンすることによって目や口などの顔パーツを検出する。 As an embodiment, the orientation calculation unit 14 can determine the orientation of the face from the positional relationship between the eyes and the mouth. When detecting the face parts of the eyes and mouth, for example, the face parts can be detected from the image using learning data by Haar-Like and AdaBoost. FIG. 5 is a diagram illustrating an example of a learning method. As shown in FIG. 5, the orientation calculation unit 14 uses positive data for human eyes and mouth and negative data for images other than eyes and mouth such as futon, hair and nose as learning samples, and An AdaBoost classifier is created by learning Haar-Like features according to the AdaBoost algorithm. Using the classifier created in this way, the orientation calculation unit 14 detects facial parts such as eyes and mouth by performing a raster scan in the head candidate region.
例えば、向き算出部14は、頭部候補領域から目および口を検出する。このとき、向き算出部14は、顔の向きの算出に用いる顔パーツ、例えば目が2個、口1個が検出できた場合に、顔の向きの相対角度を算出する。図6は、顔の向きの相対角度の算出方法の一例を示す図である。図6に示すように、向き算出部14は、左の目の中心位置IL及び右の目の中心位置IRを結ぶ線1に対し、口の中心位置Mから垂直方向の線2を算出する。続いて、向き算出部14は、上記の線2に平行で目から口へ向かう方向を顔の向きとする。その上で、向き算出部14は、顔の向きが所定の基準とする方位、例えば画像座標系でのY方向とでなす角度を顔の向きの相対角度θ[度]として算出する。
For example, the direction calculation unit 14 detects eyes and mouth from the head candidate region. At this time, the orientation calculation unit 14 calculates a relative angle of the face orientation when the face parts used for calculating the face orientation, for example, two eyes and one mouth can be detected. FIG. 6 is a diagram illustrating an example of a method for calculating the relative angle of the face direction. As shown in FIG. 6, the orientation calculation unit 14 with respect to a
図7は、画像の一例を示す図である。図7には、患者とともに来床者が映っている画像30が示されている。図7に示す符号の「31」は、患者の顔に対応する頭部候補領域を指し、符号の「32」は、来床者の顔に対応する頭部候補領域を指す。図7に示すように、患者の顔の向きV1が画像座標系のY軸となす相対角度θ1は、180度前後である公算が高い一方で、来床者の顔の向きV2が画像座標系のY軸となす相対角度θ2は、90度未満である公算が高い。これは、患者の顔がカメラ20に映るのは、臥位である状態であるのに対し、来床者の顔がカメラ20に映るのは、立位または座位である状態であるといった相違が患者および来床者の間で相対角度に違いが生じる一因として挙げられる。このような相対角度を求めることによって、顔の向きの相対角度から頭部候補領域や頭部が患者または来床者のいずれであるのかを判別させることができる。
FIG. 7 is a diagram illustrating an example of an image. FIG. 7 shows an image 30 in which a visitor is shown with a patient. 7 indicates a head candidate region corresponding to the patient's face, and “32” indicates a head candidate region corresponding to the visitor's face. As shown in FIG. 7, the relative angle θ1 formed by the patient's face orientation V1 and the Y axis of the image coordinate system is highly likely to be around 180 degrees, while the floor orientation V2 of the visitor is represented by the image coordinate system. The relative angle θ2 with respect to the Y-axis is likely to be less than 90 degrees. This is because the patient's face reflected on the
追跡部15は、画像のフレーム間で頭部を追跡する処理部である。
The
一実施形態として、追跡部15は、前のフレームで追跡された頭部の位置または探索部12によって探索された頭部候補領域の近傍に頭部の検出対象範囲を絞り込む。かかる検出対象範囲の一例として、前のフレームで追跡された頭部領域または頭部候補領域の中心位置を中心とし、頭部領域または頭部候補領域よりも大きく、かつ頭部の2つ分よりも小さいサイズの範囲を設定することができる。その上で、追跡部15は、上記の探索部12と同様に、上記のRealAdaBoostの分類器を用いて、当該範囲内をラスタスキャンすることによって頭部領域を追跡する。
As an embodiment, the
かかる頭部領域の追跡後、追跡部15は、頭部領域の位置を動作判定部16へ出力することによって起床および離床などの動作の有無を判定させる。さらに、追跡部15は、頭部領域の位置を動き量算出部13へ出力することによって前のフレームとの間の動き量を算出させる。さらに、追跡部15は、頭部領域の位置を向き算出部14へ出力することによって顔の向きの相対角度を算出させた後に1フレーム前における顔の向きの相対角度との間で相対角度の変動量、すなわち相対角度の角度差を算出させる。
After tracking the head region, the
動作判定部16は、頭部領域から起床または離床の少なくとも一方の動作の有無を判定する処理部である。
The
一実施形態として、動作判定部16は、前のフレームと現在のフレームの頭部追跡位置、すなわち頭部領域の中心位置が所定の起床ライン及び離床ラインの各ラインをまたがったか否かによって患者の起床または離床を検出する。図8は、起床ライン及び離床ラインの一例を示す図である。図8には、起床ラインL1がベッドの縦方向半分の位置にベッドを横切って設定された例が示されている。さらに、離床ラインL21及びL22がベッドの左右の側端と平行に側端からNピクセル隔てた位置に設定された例が示されている。上記の起床ラインL1の設定の下、追跡部15によって追跡された頭部領域の中心位置が起床ラインL1よりも画像の上側に存在する場合、言い換えれば頭部領域の中心座標のY座標が起床ラインL1のY座標よりも小さい場合には、患者が起床していると判定される。また、上記の離床ラインL21及び離床ラインL22の設定の下、追跡部15によって追跡された頭部領域の中心位置が離床ラインL21よりも左側である場合、言い換えれば頭部領域の中心座標のX座標が離床ラインL21のX座標よりも小さい場合には、患者が離床していると判定される。また、追跡部15によって追跡された頭部領域の中心位置が離床ラインL22よりも右側である場合、言い換えれば頭部領域の中心座標のX座標が離床ラインL22のX座標よりも大きい場合にも、患者が離床していると判定される。
As one embodiment, the
このようにして起床または離床が検出された場合には、画像処理装置10が有する図示しない表示デバイスを始め、任意の出力先へ出力することができる。例えば、患者の関係者、例えば患者の家族、看護師、医者や介護士などが使用する端末装置を出力先とすることもできる。また、施設の管理室やナースステーションなどのスピーカ等から起床または離床を報知する報知音、例えば電子音、メッセージなどを出力させることもできる。 In this way, when getting up or getting out of bed is detected, it can be output to an arbitrary output destination including a display device (not shown) of the image processing apparatus 10. For example, a terminal device used by a patient related person, for example, a patient's family, a nurse, a doctor, a caregiver, or the like can be used as the output destination. In addition, a notification sound for notifying rising or leaving the floor, such as an electronic sound or a message, can be output from a speaker of a facility management room or a nurse station.
モード制御部17は、探索モードおよび追跡モードの遷移を制御する処理部である。
The
一側面として、モード制御部17は、次のような条件を満たす場合に、滞在モードを探索モードから追跡モードへ遷移させる。一例として、モード制御部17は、向き算出部14によって算出された顔の向きの相対角度が所定の範囲、例えば患者が取りうる顔向きの範囲内である場合には、頭部候補領域が患者の頭部であると推定する。この場合、モード制御部17は、滞在モードを探索モードから追跡モードへ遷移させる。例えば、図6に示した顔の向きの相対角度の場合、相対角度θが180度±α度の範囲、例えば135度以上225度以下であれば患者と判断する。一方、相対角度θが180度±α度の範囲外である場合には、患者でないと判断して頭部を追跡させない。これによって、来床者などの頭部を追跡することなく、患者の頭部に絞って追跡させることができる。他の一例として、モード制御部17は、動き量算出部13によって算出された動き量が所定の閾値以上である頭部候補領域が存在する場合には、当該領域を頭部であると推定する。この場合には、上記の相対角度の場合と異なり、頭部が患者または来床者のいずれであるかまでは判断できない。すなわち、患者が起床しようとする過程で側頭部、後頭部または頭頂部が画像に映っている可能性があり、患者の頭部である余地が残る。よって、モード制御部17は、滞在モードを探索モードから追跡モードへ遷移させる。これによって、顔向きが寝ているときの角度と異なる、あるいは顔が映らない時に対して患者の頭部を追跡することが可能となる。
As one aspect, the
他の側面として、モード制御部17は、次のような条件を満たす場合に、滞在モードを追跡モードから探索モードへ遷移させる。一例として、モード制御部17は、向き算出部14によって算出された顔の向きの相対角度の変動量が所定の閾値以上である場合には、来床者によるオクルージョンが発生したとみなす。この場合、モード制御部17は、滞在モードを追跡モードから探索モードへ遷移させる。これによって来床者によるオクルージョンによって来床者の頭部を追跡することを抑制することができる。他の一例として、モード制御部17は、所定のフレーム数にわたって動き量が連続で所定の閾値以下であった場合、かつ探索時に顔の向きの相対角度が患者に対応する相対角度の範囲内、すなわち上記の180度±α度の範囲でなかった場合には、当該頭部領域が患者の頭部である可能性が低いと推定する。この場合にも、モード制御部17は、滞在モードを追跡モードから探索モードへ遷移させる。
As another aspect, the
なお、上記の取得部11、探索部12、動き量算出部13、向き算出部14、追跡部15、動作判定部16及びモード制御部17は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などに画像処理プログラムを実行させることによって実現できる。また、上記の各機能部は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
The
また、上記の内部メモリには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、フラッシュメモリ(Flash Memory)、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。 Further, a semiconductor memory element or a storage device can be adopted as the internal memory. For example, examples of the semiconductor memory element include a flash memory, a dynamic random access memory (DRAM), and a static random access memory (SRAM). Further, examples of the storage device include storage devices such as a hard disk and an optical disk.
[処理の流れ]
続いて、本実施例に係る画像処理装置10の処理の流れについて説明する。なお、ここでは、画像処理装置10によって実行される(1)初期設定処理を説明した後に(2)探索処理を説明し、その後、(3)追跡処理について説明することとする。
[Process flow]
Subsequently, a flow of processing of the image processing apparatus 10 according to the present embodiment will be described. Here, (1) the initial setting process executed by the image processing apparatus 10 will be described, (2) the search process will be described, and then (3) the tracking process will be described.
(1)初期設定処理
図9は、実施例1に係る初期設定処理の手順を示すフローチャートである。この初期設定処理は、画像処理装置10の出荷前、あるいは画像処理装置10に画像処理プログラムがインストールされてから最初に画像処理プログラムが起動された場合などに実行される。
(1) Initial Setting Processing FIG. 9 is a flowchart illustrating a procedure of initial setting processing according to the first embodiment. This initial setting process is executed before shipment of the image processing apparatus 10 or when the image processing program is first activated after the image processing program is installed in the image processing apparatus 10.
図9に示すように、画像処理装置10は、一例として、画像上のベッドの位置の角を4点指定し、座標を設定する(ステップS1)。続いて、画像処理装置10は、一例として、図4に示したベッド位置の半分を対象領域として設定する(ステップS2)。 As shown in FIG. 9, as an example, the image processing apparatus 10 designates four corners of the bed position on the image and sets coordinates (step S1). Subsequently, as an example, the image processing apparatus 10 sets half of the bed position illustrated in FIG. 4 as a target region (step S2).
さらに、画像処理装置10は、一例として、起床および離床の動作判定で用いる起床ライン及び離床ラインを設定する(ステップS3)。例えば、図8を用いて説明したように、ベッドの縦方向半分の位置にベッドを横切って設定された起床ラインL1が設定される。さらに、ベッドの左右の側端と平行に側端からNピクセル隔てた位置に離床ラインL21及びL22が設定される。 Furthermore, as an example, the image processing apparatus 10 sets a wake-up line and a wake-up line that are used for determination of wake-up and wake-up actions (step S3). For example, as described with reference to FIG. 8, the wake-up line L <b> 1 set across the bed is set at a half position in the vertical direction of the bed. Further, floor leaving lines L21 and L22 are set at positions separated by N pixels from the side edges in parallel with the left and right side edges of the bed.
そして、画像処理装置10は、動き量に関する閾値を設定する(ステップS4)。例えば、顔が少し動くなどの場合には動いたと判定したいため、閾値は低めに設定する。ここでは動き量の閾値を5とする。 Then, the image processing apparatus 10 sets a threshold relating to the amount of motion (step S4). For example, when it is desired to determine that the face has moved a little, for example, the threshold is set low. Here, the threshold of the motion amount is set to 5.
さらに、画像処理装置10は、顔の向きの相対角度と比較する閾値を設定する(ステップS5)。例えば、患者が取りうる顔の向きの相対角度の範囲を設定する。一例として、図7に示した定義の顔向きで135度〜225度の範囲とする。 Furthermore, the image processing apparatus 10 sets a threshold value to be compared with the relative angle of the face direction (step S5). For example, the range of the relative angle of the face orientation that the patient can take is set. As an example, the face orientation defined in FIG. 7 is set to a range of 135 degrees to 225 degrees.
そして、画像処理装置10は、顔の向きの相対角度の変動量と比較する閾値を設定する(ステップS6)。例えば、45度以上の変動がある場合に来床者によるオクルージョンが発生したと見なし、閾値を45度に設定する。 Then, the image processing apparatus 10 sets a threshold value to be compared with the amount of change in the relative angle of the face direction (step S6). For example, when there is a fluctuation of 45 degrees or more, it is considered that the occlusion by the visitor has occurred, and the threshold value is set to 45 degrees.
さらに、画像処理装置10は、頭部および頭部候補領域の検出用の学習データを作成する(ステップS7)。図2に示すように、患者の頭部画像と頭部以外の画像から、HOG・RealAdaBoostにより学習データを作成する。 Furthermore, the image processing apparatus 10 creates learning data for detecting the head and head candidate regions (step S7). As shown in FIG. 2, learning data is created by HOG / RealAdaBoost from the patient's head image and images other than the head.
そして、画像処理装置10は、顔の向きの相対角度を算出するのに用いる顔パーツ検出用の学習データを作成する(ステップS8)。図6に示すように、目または口の画像と目・口以外の画像からHaar-Like・AdaBoostにより学習データを作成する。 Then, the image processing apparatus 10 creates learning data for detecting a face part that is used to calculate the relative angle of the face direction (step S8). As shown in FIG. 6, learning data is created by Haar-Like / AdaBoost from an image of the eyes or mouth and an image other than the eyes / mouth.
さらに、画像処理装置10は、顔検出をするための学習データを作成する(ステップS9)。患者の顔と顔以外の学習データから、Haar-Like・AdaBoostにより学習データを作成する。 Furthermore, the image processing apparatus 10 creates learning data for face detection (step S9). Learning data is created by Haar-Like and AdaBoost from the patient's face and other learning data.
なお、図9に示した各ステップS1〜9の処理は、図示の順序で実行されずともよく、いずれのステップが先または後に実行されてもよく、各ステップの処理を並行して実行することとしてもよい。 In addition, the process of each step S1-9 shown in FIG. 9 does not need to be performed in the order of illustration, and any step may be performed before or after, and the process of each step is performed in parallel. It is good.
(2)探索処理
図10は、実施例1に係る探索処理の手順を示すフローチャートである。この探索処理は、画像処理プログラムが起動された時点、もしくはモード制御部17によって滞在モードが探索モードへ遷移された場合に実行される処理である。
(2) Search Process FIG. 10 is a flowchart illustrating the procedure of the search process according to the first embodiment. This search process is a process executed when the image processing program is started or when the stay mode is changed to the search mode by the
図10に示すように、カメラ20から画像が取得されると(ステップS101)、探索部12は、RealAdaBoostの分類器を用いて、ステップS101で取得された画像をラスタスキャンすることによって頭部候補領域を検出する(ステップS102)。 As shown in FIG. 10, when an image is acquired from the camera 20 (step S101), the search unit 12 uses the RealAdaBoost classifier to perform a raster scan on the image acquired in step S101, thereby selecting a head candidate. A region is detected (step S102).
このとき、頭部候補領域が画像内の対象領域に含まれない場合(ステップS103No)には、動き量算出部13は、ステップS102で検出された頭部候補領域を動き量の算出対象に設定し(ステップS104)、各頭部候補領域ごとに動き量を算出する(ステップS105)。
At this time, if the head candidate region is not included in the target region in the image (No in step S103), the motion
そして、動き量が所定の閾値以上である頭部候補領域が存在する場合(ステップS106Yes)には、当該領域を頭部であると推定する。この場合には、モード制御部17は、滞在モードを探索モードから追跡モードへ遷移させ(ステップS107)、探索処理を終了する。なお、動き量が所定の閾値以上である頭部候補領域が存在しない場合(ステップS106No)には、上記のステップS101の処理へ戻る。
If there is a head candidate region whose amount of motion is equal to or greater than a predetermined threshold (Yes in step S106), the region is estimated to be the head. In this case, the
また、頭部候補領域が画像内の対象領域に含まれる場合(ステップS103Yes)には、向き算出部14は、ステップS102で検出された頭部候補領域から目および口の位置関係にしたがって顔の向きの相対角度を算出する(ステップS108)。 When the head candidate area is included in the target area in the image (Yes in step S103), the orientation calculation unit 14 determines the face according to the positional relationship between the eyes and the mouth from the head candidate area detected in step S102. A relative angle of the direction is calculated (step S108).
このとき、上記のステップS108で顔の向きの相対角度が算出できなかった場合、すなわち相対角度の算出に用いる全ての顔パーツが頭部候補領域から検出できなかった場合(ステップS109No)には、動き量から追跡モードへの移行を判定するために、上記のステップS104の処理へ進む。 At this time, when the relative angle of the face orientation cannot be calculated in step S108, that is, when all the face parts used for calculating the relative angle cannot be detected from the head candidate region (No in step S109), In order to determine the transition from the amount of motion to the tracking mode, the process proceeds to step S104 described above.
一方、上記のステップS108で顔の向きの相対角度が算出できた場合、すなわち相対角度の算出に用いる全ての顔パーツが頭部候補領域から検出できた場合(ステップS109Yes)には、下記のステップS110の判定に進む。 On the other hand, when the relative angle of the face direction can be calculated in the above step S108, that is, when all the face parts used for calculating the relative angle can be detected from the head candidate region (Yes in step S109), the following steps are performed. The process proceeds to S110.
ここで、ステップS108で算出された顔の向きの相対角度が所定の範囲、例えば患者が取りうる顔向きの範囲内である場合(ステップS110Yes)には、頭部候補領域が患者の頭部であると推定する。この場合、モード制御部17は、滞在モードを探索モードから追跡モードへ遷移させ(ステップS107)、探索処理を終了する。
Here, if the relative angle of the face orientation calculated in step S108 is within a predetermined range, for example, the range of face orientations that the patient can take (step S110 Yes), the head candidate region is the patient's head. Presume that there is. In this case, the
一方、ステップS108で算出された顔の向きの相対角度が所定の範囲外である場合(ステップS110No)には、頭部候補領域が来床者の頭部であると推定する。この場合、追跡による誤検出を避けるために、モード遷移を実行せずに、上記のステップS101へ戻る。 On the other hand, when the relative angle of the face orientation calculated in step S108 is outside the predetermined range (No in step S110), it is estimated that the head candidate region is the head of the visitor. In this case, in order to avoid erroneous detection due to tracking, the process returns to step S101 without performing mode transition.
(3)追跡処理
図11は、実施例1に係る追跡処理の手順を示すフローチャートである。この追跡処理は、モード制御部17によって滞在モードが追跡モードへ遷移された場合に実行される処理である。
(3) Tracking Process FIG. 11 is a flowchart illustrating the procedure of the tracking process according to the first embodiment. This tracking process is a process executed when the stay mode is changed to the tracking mode by the
図11に示すように、カメラ20から画像が取得されると(ステップS301)、追跡部15は、RealAdaBoostの分類器を用いて、ステップS301で取得された画像のうち前のフレームで追跡された頭部領域またはステップS102で検出された頭部候補領域を含む近傍の所定範囲をラスタスキャンすることによって頭部を追跡する(ステップS302)。
As shown in FIG. 11, when an image is acquired from the camera 20 (step S301), the
そして、動作判定部16は、ステップS302で追跡された頭部領域から起床または離床の少なくとも一方の動作の有無を判定する(ステップS303)。続いて、動き量判定部13は、頭部領域の動き量を算出する(ステップS304)。また、向き算出部14は、ステップS302で検出された頭部領域から目および口の位置関係にしたがって顔の向きの相対角度を算出する(ステップS305)。その上で、向き算出部14は、1フレーム前における顔の向きの相対角度との間で相対角度の変動量、すなわち相対角度の角度差を算出する(ステップS306)。
Then, the
ここで、ステップS306で算出された顔の向きの相対角度の変動量が所定の閾値以上である場合(ステップS307Yes)には、来床者によるオクルージョンが発生したとみなす。この場合、モード制御部17は、滞在モードを追跡モードから探索モードへ遷移させ(ステップS310)、追跡処理を終了する。
Here, when the fluctuation amount of the relative angle of the face direction calculated in step S306 is equal to or greater than a predetermined threshold (Yes in step S307), it is considered that the occlusion by the visitor has occurred. In this case, the
また、所定のフレーム数にわたって動き量が連続で所定の閾値以下であった場合、かつ探索時に顔の向きの相対角度が患者に対応する相対角度の範囲内でなかった場合(ステップS308YesかつステップS309No)には、当該頭部領域が患者の頭部である可能性が低いと推定する。この場合にも、モード制御部17は、滞在モードを追跡モードから探索モードへ遷移させ(ステップS310)、追跡処理を終了する。
Further, when the amount of motion is continuously less than or equal to a predetermined threshold over a predetermined number of frames, and when the relative angle of the face orientation is not within the range of the relative angle corresponding to the patient at the time of searching (No in step S308 and step S309) ) Is estimated to be unlikely to be the patient's head. Also in this case, the
一方、所定のフレーム数にわたって動き量が連続で所定の閾値以下でない場合または探索時に顔の向きの相対角度が患者に対応する相対角度の範囲内である場合(ステップS308NoまたはステップS309Yes)には、上記のステップS301に戻り、追跡処理を継続する。 On the other hand, if the amount of motion is not continuously below the predetermined threshold over a predetermined number of frames, or if the relative angle of the face orientation is within the range of the relative angle corresponding to the patient during the search (step S308 No or step S309 Yes), Returning to step S301, the tracking process is continued.
[効果の一側面]
上述してきたように、本実施例に係る画像処理装置10は、ベッド画像から検出された顔の向きで患者の頭部か否かを判断し、患者ならば追跡して起床離床を判定し、顔の向きが判断不能な場合は頭部に動きがあれば頭部を追跡する。図12は、効果の一側面を示す図である。図12に示すように、来床者が離床ラインL21またはL22をまたいだとしても、あるいは起床ラインL1をまたいだとしても、来床者の頭部はそもそも追跡の対象とされず、ひいては起床や離床の判定が実行されない。また、顔の検出が不能である場合も、起床または離床の判定時に追跡対象を可能性のある頭部に限定して判断できる。これらのことから、本実施例に係る画像処理装置10によれば、患者でない来床者の頭部が患者の頭部と誤検出されるのを抑制できる。
[One aspect of effect]
As described above, the image processing apparatus 10 according to the present embodiment determines whether or not the patient's head is based on the orientation of the face detected from the bed image. If the face orientation cannot be determined, the head is tracked if there is movement in the head. FIG. 12 is a diagram illustrating one aspect of the effect. As shown in FIG. 12, even if the visitor crosses the getting-off line L21 or L22 or the get-up line L1, the head of the visitor is not subject to tracking in the first place. Getting out of bed is not executed. In addition, even when face detection is impossible, it is possible to make a determination by limiting the tracking target to a possible head when determining to wake up or get out of bed. From these things, according to the image processing apparatus 10 which concerns on a present Example, it can suppress misdetecting the head of the visitor who is not a patient as a patient's head.
さらに、本実施例に係る画像処理装置10は、顔の向きの相対角度の変動量が所定の閾値以上である場合に、頭部の追跡を中止させる。図13は、効果の一側面を示す図である。図13に示すように、本実施例に係るカメラ20の配置の場合、患者の顔および来床者の顔の両方が前のフレームで追跡された頭部領域または頭部候補領域を含む近傍の所定範囲に含まれる場合、すなわち来床者によるオクルージョンが発生する場合がある。かかるオクルージョンの発生を顔の向きの相対角度の変動量によって検知し、オクルージョンの発生時に追跡、ひいては起床や離床の判定を抑制できる。このため、本実施例に係る画像処理装置10によれば、来床者によるオクルージョンの発生に起因する誤検出を抑制できる。
Furthermore, the image processing apparatus 10 according to the present embodiment stops the tracking of the head when the amount of change in the relative angle of the face orientation is equal to or greater than a predetermined threshold. FIG. 13 is a diagram illustrating one aspect of the effect. As shown in FIG. 13, in the case of the arrangement of the
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。 Although the embodiments related to the disclosed apparatus have been described above, the present invention may be implemented in various different forms other than the above-described embodiments. Therefore, another embodiment included in the present invention will be described below.
[応用例1]
例えば、画像処理装置10は、顔の有無を検出してから顔の向きの相対角度を算出することとしてもよい。この場合、顔が検出できない場合には、顔の向きの相対角度を算出する代わりに、対象領域を動き量算出対象にすることとすればよい。
[Application Example 1]
For example, the image processing apparatus 10 may calculate the relative angle of the face orientation after detecting the presence or absence of the face. In this case, if the face cannot be detected, instead of calculating the relative angle of the face direction, the target area may be set as a motion amount calculation target.
図14は、応用例に係る探索処理の手順を示すフローチャートである。図14には、図10に示したフローチャートから追加された処理のステップ番号に500番台の番号が付与されている。なお、図10に示したステップ番号と同一の処理については、同様の内容の処理が実行される。 FIG. 14 is a flowchart illustrating a procedure of search processing according to the application example. In FIG. 14, numbers in the 500s are added to the step numbers of the processes added from the flowchart shown in FIG. Note that the same processing as the step number shown in FIG. 10 is executed.
図14に示すフローチャートでは、図10に示したフローチャートに比べて、ステップS103Yesの場合に、ステップS501及びステップS502の処理が追加されている点が異なる。 The flowchart shown in FIG. 14 is different from the flowchart shown in FIG. 10 in that the processes in steps S501 and S502 are added in the case of step S103 Yes.
すなわち、図14に示すように、頭部候補領域が画像内の対象領域に含まれる場合(ステップS103Yes)には、向き算出部14は、顔の向きの相対角度を算出するのに先立って頭部候補領域に顔検出を実行する(ステップS501)。 That is, as shown in FIG. 14, when the head candidate region is included in the target region in the image (Yes in step S103), the orientation calculation unit 14 calculates the relative head angle before calculating the relative angle of the face. Face detection is performed on the part candidate area (step S501).
ここで、頭部候補領域に顔が存在する場合(ステップS502Yes)には、向き算出部14は、ステップS102で検出された頭部候補領域から目および口の位置関係にしたがって顔の向きの相対角度を算出する(ステップS108)。一方、頭部候補領域に顔が存在しない場合(ステップS502No)には、ステップS104の処理へ移行する。なお、以降の処理については、図10に示したフローチャートと同様の処理が実行される。 Here, when a face is present in the head candidate area (step S502 Yes), the orientation calculation unit 14 determines the relative orientation of the face according to the positional relationship between the eyes and the mouth from the head candidate area detected in step S102. An angle is calculated (step S108). On the other hand, if no face exists in the head candidate area (No in step S502), the process proceeds to step S104. For the subsequent processing, the same processing as in the flowchart shown in FIG. 10 is executed.
これによって、患者がうつ伏せで寝ていて顔の向きが算出できず、かつ来床者の顔が映っている状況においても、来床者の頭部を追跡せず、患者の頭部領域を動き量算出対象にし、かつ患者が動いた場合に追跡することができる。なお、上記の顔検出は、Haar-Like・AdaBoostによる学習データを用いて行う。顔の学習用画像を収集し、Haar-Like・AdaBoostにより学習データを作成する。同学習データを用いて、頭部候補領域内をラスタスキャンすることにより顔を検出する。 As a result, even when the patient is lying on his / her face, the orientation of the face cannot be calculated, and the face of the visitor is reflected, the head area of the patient is not tracked and the head area of the patient is moved. It can be tracked when the patient moves as a quantity calculation target. The face detection is performed using learning data by Haar-Like / AdaBoost. Collect face learning images and create learning data using Haar-Like and AdaBoost. Using the learning data, a face is detected by performing a raster scan in the head candidate region.
[応用例2]
例えば、画像処理装置10は、追跡処理の実行中に顔が検出できない場合に、追跡処理を中止させ、探索処理を実行させることもできる。この場合、一例として、動き量が所定の閾値以下である場合に絞って探索モードへ遷移させることもできる。これによって、頭部領域が誤検出されている場合に、その頭部領域で起床や離床が判定されるのを抑制できる。
[Application Example 2]
For example, if the face cannot be detected during the execution of the tracking process, the image processing apparatus 10 can stop the tracking process and execute the search process. In this case, as an example, when the amount of motion is equal to or less than a predetermined threshold, it is possible to make a transition to the search mode by narrowing down. Thereby, when the head region is erroneously detected, it is possible to suppress the determination of getting up or getting out of the head region.
[分散および統合]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部11、探索部12、動き量算出部13、向き算出部14、追跡部15、動作判定部16またはモード制御部17を画像処理装置10の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部11、探索部12、動き量算出部13、向き算出部14、追跡部15、動作判定部16またはモード制御部17を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の画像処理装置10の機能を実現するようにしてもよい。
[Distribution and integration]
In addition, each component of each illustrated apparatus does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. For example, the
[画像処理プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図15を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。
[Image processing program]
The various processes described in the above embodiments can be realized by executing a prepared program on a computer such as a personal computer or a workstation. In the following, an example of a computer that executes an image processing program having the same function as that of the above embodiment will be described with reference to FIG.
図15は、実施例1及び実施例2に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。図15に示すように、コンピュータ100は、操作部110aと、スピーカ110bと、カメラ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD170と、RAM180とを有する。これら110〜180の各部はバス140を介して接続される。
FIG. 15 is a schematic diagram illustrating an example of a computer that executes an image processing program according to the first and second embodiments. As illustrated in FIG. 15, the
HDD170には、図15に示すように、上記の実施例1で示した取得部11、探索部12、動き量算出部13、向き算出部14、追跡部15、動作判定部16またはモード制御部17と同様の機能を発揮する画像処理プログラム170aが予め記憶される。この画像処理プログラム170aについては、図1に示した各々の取得部11、探索部12、動き量算出部13、向き算出部14、追跡部15、動作判定部16またはモード制御部17の各構成要素と同様、適宜統合又は分離しても良い。すなわち、HDD170に格納される各データは、常に全てのデータがHDD170に格納されずともよく、処理に用いるデータのみがHDD170に格納されれば良い。
As shown in FIG. 15, the HDD 170 includes an
そして、CPU150が、画像処理プログラム170aをHDD170から読み出してRAM180に展開する。これによって、図15に示すように、画像処理プログラム170aは、画像処理プロセス180aとして機能する。この画像処理プロセス180aは、HDD170から読み出した各種データを適宜RAM180上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、画像処理プロセス180aは、図1に示した取得部11、探索部12、動き量算出部13、向き算出部14、追跡部15、動作判定部16またはモード制御部17にて実行される処理、例えば図9〜図11や図14に示す処理を含む。また、CPU150上で仮想的に実現される各処理部は、常に全ての処理部がCPU150上で動作されずともよく、処理に用いる処理部のみが仮想的に実現されれば良い。
Then, the
なお、上記の画像処理プログラム170aについては、必ずしも最初からHDD170やROM160に記憶させておく必要はない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ100がこれらから各プログラムを取得して実行するようにしてもよい。
Note that the
10 画像処理装置
11 取得部
12 探索部
13 動き量算出部
14 向き算出部
15 追跡部
16 動作判定部
17 モード制御部
DESCRIPTION OF SYMBOLS 10
Claims (6)
前記画像の監視対象領域内で人間の頭部の有無を探索する探索部と、
前記頭部が検出された際、検出された頭部が観察対象の患者の頭部か否かを患者の顔の向きに基づいて判断し、患者であれば前記頭部を追跡して起床または離床を判定させ、前記顔の向きが判断不能な場合に、検出された頭部の動きが検出されている場合は頭部を追跡する制御部と
を有することを特徴とする画像処理装置。 An acquisition unit for acquiring images;
A search unit for searching for the presence or absence of a human head in the monitoring target area of the image;
When the head is detected, it is determined whether or not the detected head is the head of the patient to be observed based on the orientation of the patient's face. An image processing apparatus, comprising: a control unit that tracks a head when the movement of the detected head is detected when it is determined that the person has left the floor and the orientation of the face cannot be determined.
画像を取得し、
前記画像の監視対象領域内で人間の頭部の有無を探索し、
前記頭部が検出された際、検出された頭部が観察対象の患者の頭部か否かを患者の顔の向きに基づいて判断し、患者であれば追跡して起床または離床を判定させ、前記顔の向きが判断不能な場合に、検出された頭部の動きが検出されている場合は頭部を追跡する
処理を実行することを特徴とする画像処理方法。 Computer
Get an image,
Search for the presence or absence of a human head within the monitored area of the image,
When the head is detected, it is determined whether or not the detected head is the head of the patient to be observed based on the orientation of the patient's face. An image processing method comprising: performing a process of tracking the head when the detected head movement is detected when the face orientation cannot be determined.
画像を取得し、
前記画像の監視対象領域内で人間の頭部の有無を探索し、
前記頭部が検出された際、検出された頭部が観察対象の患者の頭部か否かを患者の顔の向きに基づいて判断し、患者であれば追跡して起床または離床を判定させ、前記顔の向きが判断不能な場合に、検出された頭部の動きが検出されている場合は頭部を追跡する
処理を実行させることを特徴とする画像処理プログラム。 On the computer,
Get an image,
Search for the presence or absence of a human head within the monitored area of the image,
When the head is detected, it is determined whether or not the detected head is the head of the patient to be observed based on the orientation of the patient's face. An image processing program that, when the orientation of the face cannot be determined, performs a process of tracking the head when a detected movement of the head is detected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014096213A JP6264181B2 (en) | 2014-05-07 | 2014-05-07 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014096213A JP6264181B2 (en) | 2014-05-07 | 2014-05-07 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015213537A true JP2015213537A (en) | 2015-12-03 |
JP6264181B2 JP6264181B2 (en) | 2018-01-24 |
Family
ID=54751063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014096213A Active JP6264181B2 (en) | 2014-05-07 | 2014-05-07 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6264181B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3263031A1 (en) | 2016-06-29 | 2018-01-03 | Fujitsu Limited | Situation identification method, situation identification device, and situation identification program |
JP2018523234A (en) * | 2016-03-18 | 2018-08-16 | シェンチェン ユニバーシティー | Method and system for calculating passenger congestion |
JP2018147089A (en) * | 2017-03-02 | 2018-09-20 | オムロン株式会社 | Watch support system and control method thereof |
WO2018168042A1 (en) * | 2017-03-14 | 2018-09-20 | オムロン株式会社 | Image analysis device, image analysis method, and image analysis program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0476698A (en) * | 1990-07-13 | 1992-03-11 | Toshiba Corp | Picture monitoring device |
JPH08257017A (en) * | 1995-03-24 | 1996-10-08 | Toshiba Corp | Condition monitoring device and its method |
JPH1199140A (en) * | 1997-09-26 | 1999-04-13 | Toshiba Corp | Device for detecting sleeping condition abnormality |
JP2008048819A (en) * | 2006-08-23 | 2008-03-06 | Fujifilm Corp | Monitoring system and apparatus |
JP2012170483A (en) * | 2011-02-17 | 2012-09-10 | Fujitsu Ltd | State detection device and state detection method |
-
2014
- 2014-05-07 JP JP2014096213A patent/JP6264181B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0476698A (en) * | 1990-07-13 | 1992-03-11 | Toshiba Corp | Picture monitoring device |
JPH08257017A (en) * | 1995-03-24 | 1996-10-08 | Toshiba Corp | Condition monitoring device and its method |
JPH1199140A (en) * | 1997-09-26 | 1999-04-13 | Toshiba Corp | Device for detecting sleeping condition abnormality |
JP2008048819A (en) * | 2006-08-23 | 2008-03-06 | Fujifilm Corp | Monitoring system and apparatus |
JP2012170483A (en) * | 2011-02-17 | 2012-09-10 | Fujitsu Ltd | State detection device and state detection method |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523234A (en) * | 2016-03-18 | 2018-08-16 | シェンチェン ユニバーシティー | Method and system for calculating passenger congestion |
EP3263031A1 (en) | 2016-06-29 | 2018-01-03 | Fujitsu Limited | Situation identification method, situation identification device, and situation identification program |
JP2018147089A (en) * | 2017-03-02 | 2018-09-20 | オムロン株式会社 | Watch support system and control method thereof |
CN109964248A (en) * | 2017-03-02 | 2019-07-02 | 欧姆龙株式会社 | Nurse auxiliary system and its control method and program |
WO2018168042A1 (en) * | 2017-03-14 | 2018-09-20 | オムロン株式会社 | Image analysis device, image analysis method, and image analysis program |
JP2018151919A (en) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | Image analysis apparatus, image analysis method, and image analysis program |
US11188781B2 (en) | 2017-03-14 | 2021-11-30 | Omron Corporation | Image analyzer, image analysis method, and image analysis program |
Also Published As
Publication number | Publication date |
---|---|
JP6264181B2 (en) | 2018-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9477880B2 (en) | Behavior detection method and behavior detection apparatus | |
US10786183B2 (en) | Monitoring assistance system, control method thereof, and program | |
JP6547563B2 (en) | Detection program, detection method and detection apparatus | |
JP6264181B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP7271915B2 (en) | Image processing program and image processing device | |
JP2014174627A (en) | Information processing device, information processing method, and program | |
JP2018005413A (en) | State specification device, state specification program, and state specification method | |
JP7243725B2 (en) | Target object detection program and target object detection device | |
JP7347577B2 (en) | Image processing system, image processing program, and image processing method | |
JP6870514B2 (en) | Watching support system and its control method | |
US10762761B2 (en) | Monitoring assistance system, control method thereof, and program | |
CN110415486B (en) | Attitude determination method, electronic system and non-transitory computer readable recording medium | |
JP7351339B2 (en) | Image processing system, image processing program, and image processing method | |
JP2019008515A (en) | Watching support system and method for controlling the same | |
JP5170130B2 (en) | Height estimation device | |
JP2017091122A (en) | Image processing program, image processing apparatus, and image processing method | |
JP7435609B2 (en) | Image processing system, image processing program, and image processing method | |
JP7388440B2 (en) | Image processing system, image processing program, and image processing method | |
JP5776187B2 (en) | Facial expression determination program and facial expression determination apparatus | |
US10970988B2 (en) | Information processing apparatus, information processing system, method, and program | |
US20230011319A1 (en) | Systems and methods for predicting and preventing collisions | |
JP6635074B2 (en) | Watching support system and control method thereof | |
JP2022126070A (en) | Image processing method | |
JP2020120829A (en) | robot | |
JP2021033379A (en) | Image processing system, image processing program, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6264181 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |