JP2022055254A - System, electronic apparatus, method for controlling electronic apparatus, and program - Google Patents
System, electronic apparatus, method for controlling electronic apparatus, and program Download PDFInfo
- Publication number
- JP2022055254A JP2022055254A JP2020162744A JP2020162744A JP2022055254A JP 2022055254 A JP2022055254 A JP 2022055254A JP 2020162744 A JP2020162744 A JP 2020162744A JP 2020162744 A JP2020162744 A JP 2020162744A JP 2022055254 A JP2022055254 A JP 2022055254A
- Authority
- JP
- Japan
- Prior art keywords
- wheelchair
- monitored object
- image
- monitored
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 230000007774 longterm Effects 0.000 description 6
- 230000000474 nursing effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003862 health status Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000028017 Psychotic disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
Images
Abstract
Description
本開示は、システム、電子機器、電子機器の制御方法、及びプログラムに関する。 The present disclosure relates to systems, electronic devices, control methods for electronic devices, and programs.
例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献１は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者システムを開示している。特許文献２は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献３は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、引用文献４は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。
For example, in a field such as a long-term care facility, a device for monitoring the behavior of a monitored person such as a nurse or a care recipient has been proposed. For example,
被監視対象を監視することにより、被監視対象の安全に供することができれば、有益である。 It would be beneficial if the monitored object could be safely monitored by monitoring it.
本開示の目的は、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することにある。 An object of the present disclosure is to provide a system, an electronic device, a control method for the electronic device, and a program that can be safely provided to the monitored object.
一実施形態に係るシステムは、
画像を撮像する撮像部と、
前記撮像部によって撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識部と、
前記認識部によって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力するコントローラと、
を備える。
The system according to one embodiment is
An image pickup unit that captures images and
A recognition unit that recognizes a monitored object and a wheelchair related to the monitored object in the image captured by the imaging unit, and a recognition unit.
A controller that outputs a predetermined warning signal when the distance between the monitored object and the wheelchair recognized by the recognition unit exceeds a predetermined threshold value continues for a predetermined time.
To prepare for.
一実施形態に係る電子機器は、
撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識部と、
前記認識部によって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力するコントローラと、
を備える。
The electronic device according to one embodiment is
A recognition unit that recognizes the monitored object and the wheelchair related to the monitored object in the captured image, and
A controller that outputs a predetermined warning signal when the distance between the monitored object and the wheelchair recognized by the recognition unit exceeds a predetermined threshold value continues for a predetermined time.
To prepare for.
一実施形態に係る電子機器の制御方法は、
画像を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識ステップと、
前記認識ステップによって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力する出力ステップと、
を含む。
The method for controlling an electronic device according to an embodiment is as follows.
An imaging step to capture an image and
A recognition step for recognizing a monitored object and a wheelchair related to the monitored object in the image captured by the imaging step.
An output step that outputs a predetermined warning signal when the state in which the distance between the monitored object and the wheelchair recognized by the recognition step exceeds a predetermined threshold value continues for a predetermined time,
including.
一実施形態に係るプログラムは、
コンピュータに、
画像を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識ステップと、
前記認識ステップによって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力する出力ステップと、
を実行させる。
The program according to one embodiment is
On the computer
An imaging step to capture an image and
A recognition step for recognizing a monitored object and a wheelchair related to the monitored object in the image captured by the imaging step.
An output step that outputs a predetermined warning signal when the state in which the distance between the monitored object and the wheelchair recognized by the recognition step exceeds a predetermined threshold value continues for a predetermined time,
To execute.
一実施形態によれば、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することができる。 According to one embodiment, it is possible to provide a system, an electronic device, a control method for the electronic device, and a program that can be safely provided to the monitored object.
本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び／又は電子機器を使用する者（典型的には人間）としてよい。ユーザは、一実施形態に係るシステム及び／又は電子機器を用いることで、被監視対象の監視を行う者を含んでもよい。また、「被監視対象」とは、一実施形態に係るシステム及び／又は電子機器によって監視される対象となる者（例えば人間又は動物）としてよい。さらに、ユーザは、被監視対象を含んでもよい。 In the present disclosure, the "electronic device" may be a device driven by electric power. Further, the "system" may include a device driven by electric power. Further, the "user" may be a person (typically a human being) who uses the system and / or the electronic device according to the embodiment. The user may include a person who monitors the monitored object by using the system and / or the electronic device according to the embodiment. Further, the "monitored target" may be a person (for example, a human being or an animal) to be monitored by the system and / or the electronic device according to the embodiment. Further, the user may include a monitored object.
一実施形態に係るシステムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び／又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び／又は管理は、極めて重要である。一実施形態に係るシステムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び／又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係るシステムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。 It is assumed that the system according to one embodiment is used in a specific situation used by a person engaged in social activities such as a company, a hospital, an elderly home, a school, a sports gym, and a long-term care facility. It may be a facility. For example, in the case of a company, it is extremely important to understand and / or manage the health status of employees. Similarly, it is extremely important to understand and / or manage the health status of patients and medical staff in hospitals, and residents and staff in elderly housing with care. The scene in which the system according to the embodiment is used is not limited to the above-mentioned facilities such as companies, hospitals, and elderly housings, but any facility where it is desired to grasp and / or manage the health condition of the monitored object. May be. Any facility may also include non-commercial facilities, such as the user's home. Further, the scene in which the system according to one embodiment is used may be, for example, a moving body such as a train, a bus, or an airplane, a station, a platform, or the like.
一実施形態に係るシステムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象が着座して使用している車椅子から立ち上がって車椅子を放置する動作を監視することができる。 The system according to one embodiment may be used for monitoring the behavior of a monitored object such as a nurse-requiring person or a nursing-requiring person in a nursing care facility or the like. The system according to one embodiment can monitor the operation of standing up from a wheelchair used by a monitored object such as a nurse or a care recipient and leaving the wheelchair unattended.
特に、一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視者が車椅子に着座している場合に、被監視者が車椅子を放置する動作が完了する前、又は車椅子を放置する動作が完了した後に、所定の警告を発することができる。したがって、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が車椅子を放置する前に、車椅子が放置されようとしていることを認識し得る。また、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が車椅子を放置した後に、車椅子が放置されたことを認識し得る。 In particular, in the system according to one embodiment, when a monitored person such as a nurse or a care recipient is seated in a wheelchair, before the operation of leaving the wheelchair by the monitored person is completed, or A predetermined warning can be issued after the operation of leaving the wheelchair is completed. Therefore, according to the system according to one embodiment, a staff member such as a care facility is about to leave the wheelchair before a monitored person such as a nurse or a care recipient leaves the wheelchair. You can recognize that. Further, according to the system according to one embodiment, the staff of a nursing care facility, for example, recognizes that the wheelchair was left unattended after the monitored person such as a nurse requiring nursing care or a person requiring long-term care left the wheelchair. Can be.
以下、一実施形態に係るシステムについて、図面を参照して詳細に説明する。 Hereinafter, the system according to the embodiment will be described in detail with reference to the drawings.
図１は、一実施形態に係るシステムの概略構成を示す図である。図１に示すように、一実施形態に係るシステム１は、電子機器１０及び撮像部２０を含んで構成されてよい。電子機器１０と撮像部２０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係るシステム１は、図１に示す機能部の一部を含まなくてもよいし、図１に示す以外の機能部を含んでもよい。例えば、一実施形態に係るシステム１は、警告部１７及び通信部１９の少なくとも一方を備えなくてもよい。また、例えば、一実施形態に係るシステム１は、画像を表示可能なディスプレイ及び／又はメモリカードなどのストレージを挿入可能なスロットなどを備えてもよい。
FIG. 1 is a diagram showing a schematic configuration of a system according to an embodiment. As shown in FIG. 1, the
図１に示す撮像部２０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部２０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部２０は、例えば図１に示すように、被監視対象Ｔを撮像してよい。ここで、被監視対象Ｔは、例えば人間としてよい。撮像部２０は、撮像した画像を信号に変換して、電子機器１０に送信してよい。例えば、撮像部２０は、撮像した画像に基づく信号を、電子機器１０の認識部１１、記憶部１３、及び／又は、コントローラ１５などに送信してよい。撮像部２０は、被監視対象Ｔを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。
The
一実施形態において、撮像部２０は、例えば被監視対象Ｔを所定時間ごと（例えば秒間１５フレーム）の静止画として撮像してもよい。また、一実施形態において、撮像部２０は、例えば被監視対象Ｔを連続した動画として撮像してもよい。このように、一実施形態において、撮像部２０は、画像を撮像する。
In one embodiment, the
図１に示すように、一実施形態に係る電子機器１０は、認識部１１、記憶部１３、コントローラ１５、警告部１７、及び通信部１９を備えてよい。一実施形態に係る電子機器１０は、図１に示す機能部の一部を備えなくてもよいし、図１に示す以外の機能部を備えてもよい。
As shown in FIG. 1, the
認識部１１は、撮像部２０によって撮像された画像から、所定の物体を認識する機能を有してよい。例えば、認識部１１は、撮像部２０によって撮像された画像から、被監視対象Ｔを認識してもよい。また、例えば、認識部１１は、撮像部２０によって撮像された画像から、車椅子を認識してもよい。さらに、例えば、認識部１１は、撮像部２０によって撮像された画像から、被監視対象Ｔに関連する車椅子を認識してもよい。ここで、被監視対象Ｔに関連する車椅子とは、例えば、被監視対象Ｔが使用している車椅子としてもよいし、被監視対象Ｔが使用していた車椅子などとしてもよい。認識部１１は、例えば既存の画像認識の技術を用いて、撮像部２０によって撮像された画像から、被監視対象Ｔ及び／又は車椅子を認識してよい。一実施形態において、認識部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの頭部、体幹、四肢、及び／又は各関節などの各部の位置を認識してもよい。認識部１１は、専用のハードウェアとして構成されてもよいし、少なくとも一部にソフトウェアを含めて構成されてもよいし、全てソフトウェアで構成されているとしてもよい。このように、認識部１１は、撮像部２０によって撮像された画像において、被監視対象Ｔ及び被監視対象Ｔに関連する車椅子を認識してよい。
The
記憶部１３は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部１３は、例えばコントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などを記憶してよい。一実施形態において、記憶部１３は、被監視対象Ｔが着座していた車椅子を放置する動作を開始したか否かをコントローラ１５が判定するための基準となる所定の条件を記憶してもよい。所定の条件については、さらに後述する。また、記憶部１３は、コントローラ１５のワークメモリとして機能してよい。記憶部１３は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部１３は、一実施形態に係る電子機器１０に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部１３は、後述のコントローラ１５として用いられるＣＰＵの内部メモリであってもよいし、コントローラ１５に別体として接続されるものとしてもよい。
The
コントローラ１５は、電子機器１０を構成する各機能部をはじめとして、電子機器１０の全体を制御及び／又は管理する。コントローラ１５は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）のような、少なくとも１つのプロセッサを含んでよい。コントローラ１５は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
The
一実施形態において、コントローラ１５は、例えばＣＰＵ及び当該ＣＰＵで実行されるプログラムとして構成されてよい。コントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などは、例えば記憶部１３に記憶されてよい。コントローラ１５は、コントローラ１５の動作に必要なメモリを適宜含んでもよい。
In one embodiment, the
特に、一実施形態において、コントローラ１５は、被監視対象Ｔが被監視対象Ｔに関連する車椅子を放置する動作を開始したか否かを判定する処理を行ってよい。以下、被監視対象Ｔが被監視対象Ｔに関連する車椅子を放置する動作を、単に「放置動作」と記すことがある。コントローラ１５は、放置動作の開始を判定するために、所定の条件が満たされたか否かを判定してよい。コントローラ１５は、放置動作の開始を判定するために、認識部１１によって認識された被監視対象Ｔ及び車椅子の所定部位の位置（又は座標）に基づいて、所定の条件が満たされたか否かを判定してよい。また、コントローラ１５は、所定の条件が満たされることによって、放置動作の開始を判定したら、所定の警告信号を出力してよい。所定の条件については、さらに後述する。また、一実施形態に係る電子機器１０のコントローラ１５の動作についても、さらに後述する。
In particular, in one embodiment, the
警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、システム１又は電子機器１０のユーザなどに注意を促すための所定の警告を発してよい。警告部１７は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部１７は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部１７は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してもよい。
The
一実施形態において、警告部１７は、例えば被監視対象Ｔが放置動作を開始した時点で、被監視対象Ｔが放置動作を行うリスクがある旨の警告を発してよい。また、一実施形態において、警告部１７は、被監視対象Ｔが放置動作を完了する前に、被監視対象Ｔが放置動作を行うリスクがある旨の警告を発してもよい。さらに、警告部１７は、被監視対象Ｔが放置動作を完了した後に、被監視対象Ｔが放置動作を行った旨の警告を発してもよい。例えば、一実施形態において、視覚情報を出力する警告部１７は、被監視対象Ｔが放置動作を行うリスクがある旨又は放置動作を行った旨が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部１７は、被監視対象Ｔが放置動作を行うリスクがある旨又は放置動作を行った旨が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてもよい。
In one embodiment, the
図１に示す電子機器１０は、警告部１７を内蔵している。しかしながら、一実施形態にシステム１において、警告部１７は、電子機器１０の外部に設けられてもよい。この場合、警告部１７と電子機器１０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
The
通信部１９は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部１９によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）、及びＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、及びＮＦＣ（Near Field Communication）等を含む。通信部１９は、上記の通信規格の１つ又は複数をサポートすることができる。通信部１９は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。また、通信部１９は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部１９は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアなどの説明は省略する。
The
通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に供給されてよい。通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に内蔵されたメモリに記憶してもよい。また、通信部１９は、例えばコントローラ１５による処理結果、認識部１１による認識結果、及び／又は、記憶部１３に記憶された情報などを外部に送信してもよい。
Various types of information received by the
図１に示すような、一実施形態に係る電子機器１０を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。
As shown in FIG. 1, at least a part of each functional unit constituting the
次に、一実施形態に係るシステム１の動作について説明する。
Next, the operation of the
一実施形態に係るシステム１は、被監視対象Ｔ及び車椅子の位置（座標）から、被監視対象Ｔによる放置動作の開始を判定する動作を行ってよい。以下、上述の動作について、より詳細に説明する。
The
図２は、一実施形態に係るシステム１の動作の一例を示すフローチャートである。図２は、一実施形態に係るシステム１に含まれる電子機器１０の動作に焦点を当てたフローチャートとしてもよい。
FIG. 2 is a flowchart showing an example of the operation of the
例えば認知症の発症が疑われる者など（例えば要看護者又は要介護者など）は、車椅子に乗って移動している最中に、その車椅子から立ち上がって歩き出してしまうことがある。このような場合、その者は、車椅子の存在を思い出せなくなり、その車椅子を放置してしまうリスクがある。車椅子が放置されると、もともと車椅子を使用していた者は、行方不明になるリスクがある。また、車椅子が放置されると、もともと車椅子を使用していた者は、安全でない場所に向かってしまうリスクもある。さらに、車椅子が放置されると、環境によっては、放置された車椅子が他人の邪魔になるのみならず、危険な状況を形成してしまうこともあり得る。したがって、車椅子が放置されようとしていること、又は、車椅子が放置されたことを他者に警告することは、車椅子を使用していた者（被監視対象）の安全に供し得るのみならず、車椅子の周囲環境の安全にも供し得る。一実施形態に係るシステム１においては、上述のようにして被監視対象Ｔのような人間が車椅子を放置する動作における被監視対象Ｔ及び車椅子の位置（座標）から、放置動作の開始を判定してよい。以下、このような動作について、より詳細に説明する。
For example, a person suspected of developing dementia (for example, a person requiring nursing care or a person requiring long-term care) may get up from the wheelchair and start walking while moving in a wheelchair. In such a case, the person cannot remember the existence of the wheelchair, and there is a risk that the wheelchair is left unattended. If the wheelchair is left unattended, those who originally used the wheelchair are at risk of going missing. Also, if the wheelchair is left unattended, there is a risk that the person who originally used the wheelchair will go to an unsafe place. Furthermore, if the wheelchair is left unattended, depending on the environment, the abandoned wheelchair may not only interfere with others but also create a dangerous situation. Therefore, warning others that the wheelchair is about to be left or that the wheelchair has been left can not only provide the safety of the person using the wheelchair (the subject to be monitored), but also the wheelchair. It can also be used for the safety of the surrounding environment. In the
図２に示す動作が開始する時点において、システム１の撮像部２０は、例えば被監視対象Ｔのような人間及び／又は当該人間に関連する車椅子の撮像を開始していてよい。図２に示す動作が開始する時点は、撮像部２０が例えば被監視対象Ｔのような人間及び／又は当該人間に関連する車椅子の撮像を開始した時点としてもよい。また、図２に示す動作が開始する時点は、撮像部２０が撮像を開始してから、例えば被監視対象Ｔのような人間及び／又は当該人間に関連する車椅子が撮像部２０の撮像範囲に入った時点としてもよい。
At the time when the operation shown in FIG. 2 starts, the
図２に示す動作が開始すると、電子機器１０のコントローラ１５は、撮像部２０によって撮像された画像を取得する（ステップＳ１１）。
When the operation shown in FIG. 2 starts, the
図３は、図２に示したステップＳ１１においてコントローラ１５が取得した画像、すなわち撮像部２０によって撮像された画像の例を示す図である。
FIG. 3 is a diagram showing an example of an image acquired by the
図３に示すように、撮像部２０は、例えば被監視対象Ｔのような人間が車椅子Ｗに着座している状態を撮像してよい。図３は、被監視対象Ｔが車椅子Ｗに着座している様子を模式的に示している。図３において、被監視対象Ｔ及び／又は車椅子Ｗは、移動していてもよいし、静止していてもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間が車椅子Ｗに着座している画像を取得する。撮像部２０は、被監視対象Ｔのような人間が車椅子Ｗに着座している状態以外の状態の画像を撮像してもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間が車椅子Ｗに着座している状態以外の状態の画像を取得してもよい。
As shown in FIG. 3, the
撮像部２０は、秒間所定数のフレームの各画像を撮像するものとしてよい。ここで、撮像部２０が撮像する画像は、連続するフレームの静止画としてもよいし、動画としてもよい。例えば、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。ステップＳ１１において、コントローラ１５は、撮像部２０によって撮像された秒間所定数のフレームの画像を取得してよい。
The
図４は、図２に示したステップＳ１１においてコントローラ１５が取得した画像、すなわち撮像部２０によって撮像された画像の他の例を示す図である。
FIG. 4 is a diagram showing another example of the image acquired by the
図４に示すように、撮像部２０は、例えば被監視対象Ｔのような人間が車椅子Ｗから立ち上がって歩き出している状態を撮像してよい。図４は、被監視対象Ｔが車椅子Ｗから立ち上がって歩き出している様子を模式的に示している。図４において、被監視対象Ｔ及び／又は車椅子Ｗは、移動していてもよいし、静止していてもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間及び車椅子Ｗを含む画像を取得する。撮像部２０は、被監視対象Ｔのような人間が車椅子Ｗから立ち上がって歩き出している状態以外の状態の画像を撮像してもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間が車椅子Ｗから立ち上がって歩き出している状態以外の状態の画像を取得してもよい。
As shown in FIG. 4, the
図２に示すように、ステップＳ１１において撮像された画像を取得すると、認識部１１は、被監視対象Ｔ及び被監視対象Ｔに関連する車椅子Ｗを画像認識する（ステップＳ１２）。ステップＳ１２における動作は、認識部１１ではなく、コントローラ１５が行ってもよい。
As shown in FIG. 2, when the image captured in step S11 is acquired, the
図５は、ステップＳ１２において認識される被監視対象Ｔ及び車椅子Ｗの例を示す図である。図５は、図３に示した画像において、認識部１１が被監視対象Ｔ及び車椅子Ｗを認識した様子を示している。
FIG. 5 is a diagram showing an example of the monitored object T and the wheelchair W recognized in step S12. FIG. 5 shows how the
ステップＳ１２において、認識部１１は、例えば図５に示すような被監視対象Ｔ及び車椅子Ｗを認識してよい。図５においては、範囲Ｔｃにおいて被監視対象Ｔが認識され、範囲Ｗｃにおいて車椅子Ｗが認識されている。認識部１１は、例えば画像認識などの任意の技術によって、被監視対象Ｔ及び車椅子Ｗを認識してよい。撮像された画像において所定の物体を検出及び／又は認識する技術は種々知られているため、より詳細な説明は省略する。
In step S12, the
図６は、ステップＳ１２において認識される被監視対象Ｔ及び車椅子Ｗの他の例を示す図である。図６は、図４に示した画像において、認識部１１が被監視対象Ｔ及び車椅子Ｗを認識した様子を示している。
FIG. 6 is a diagram showing another example of the monitored object T and the wheelchair W recognized in step S12. FIG. 6 shows how the
ステップＳ１２において、認識部１１は、例えば図６に示すような被監視対象Ｔ及び車椅子Ｗを認識してもよい。図６においても、図５と同様に、範囲Ｔｃにおいて被監視対象Ｔが認識され、範囲Ｗｃにおいて車椅子Ｗが認識されている。
In step S12, the
ステップＳ１２において、認識部１１は、図５及び図６に示すような被監視対象Ｔ及び車椅子Ｗにおける所定の特徴点を認識してもよい。また、認識部１１は、図５及び図６に示す座標軸に従って、図５及び図６に示す被監視対象Ｔ及び車椅子Ｗを、２次元的に認識してもよい。また、認識部１１は、被監視対象Ｔ及び車椅子Ｗを認識する際に、画像における被監視対象Ｔ及び車椅子Ｗの位置（例えば座標）を抽出してもよい。
In step S12, the
ここで、撮像部２０が秒間所定数のフレームの各画像を撮像する場合、図７に示すように、認識部１１は、秒間所定数のフレームにおいて被監視対象Ｔ及び車椅子Ｗを認識してよい。また、コントローラ１５が秒間所定数のフレームの画像を取得する場合も、認識部１１は、秒間所定数のフレームにおいて被監視対象Ｔ及び車椅子Ｗを認識してよい。一例として、認識部１１は、図７に示すように、被監視対象Ｔ及び車椅子Ｗを、秒間１５のフレームにおいて認識してよい。また、例えば、認識部１１は、図７に示すように、秒間所定数の各フレームにおいて、被監視対象Ｔ及び車椅子Ｗの位置（座標）を認識してもよい。
Here, when the
このように、一実施形態において、認識部１１は、撮像部２０によって撮像された秒間所定数のフレームの各画像ごとに、被監視対象Ｔ及び車椅子Ｗの位置を２次元的に画像認識してもよい。
As described above, in one embodiment, the
ステップＳ１２において被監視対象Ｔ及び車椅子Ｗが認識されたら、コントローラ１５は、被監視対象Ｔ及び車椅子Ｗの座標を判定する（ステップＳ１３）。
When the monitored target T and the wheelchair W are recognized in step S12, the
ステップＳ１３において、コントローラ１５は、被監視対象Ｔとして認識された範囲の中心、及び、車椅子Ｗとして認識された範囲の中心を、それぞれの座標と判定してもよい。また、ステップＳ１３において、コントローラ１５は、被監視対象Ｔとして認識された範囲の重心、及び、車椅子Ｗとして認識された範囲の重心を、それぞれの座標と判定してもよい。また、コントローラ１５は、被監視対象Ｔとして認識された範囲の接地部分、及び、車椅子Ｗとして認識された範囲の接地部分を、それぞれの座標と判定してもよい。また、コントローラ１５は、被監視対象Ｔとして認識された範囲の下端部分、及び、車椅子Ｗとして認識された範囲の下端部分を、それぞれの座標と判定してもよい。また、コントローラ１５は、被監視対象Ｔとして認識された範囲の下端部分の中央、及び、車椅子Ｗとして認識された範囲の下端部分の中央を、それぞれの座標と判定してもよい。また、コントローラ１５は、被監視対象Ｔ及び車椅子Ｗの座標として、上記のものをいずれか任意に組み合わせてもよい。
In step S13, the
ステップＳ１３において被監視対象Ｔ及び車椅子Ｗの座標が判定されたら、コントローラ１５は、次のステップＳ１４に示す動作を行う。すなわち、ステップＳ１４において、コントローラ１５は、ステップＳ１３において判定された被監視対象Ｔ及び車椅子Ｗの座標に基づいて、放置動作の開始を判定してよい。一実施形態において、コントローラ１５は、ステップＳ１４において、被監視対象Ｔ及び車椅子Ｗの座標が所定の条件を満たした場合に、放置動作の開始と判定してよい。以下、ステップＳ１４において、放置動作の開始と判定される場合について、さらに説明する。
When the coordinates of the monitored object T and the wheelchair W are determined in step S13, the
例えば、「放置動作の開始」と判定される場合とは、例えば図５に示すように車椅子Ｗに着座していた被監視対象Ｔが、例えば図６に示すような動きを開始して車椅子Ｗから所定以上に離れた状態を所定時間継続した時点としてよい。図５及び図６は、上述のように、ステップＳ１２において被監視対象Ｔ及び車椅子Ｗが画像認識された様子を図示している。図５は、例えば被監視対象Ｔが車椅子Ｗに着座した状態であって、「放置動作の開始」と判定される前の状態を示すものとしてよい。 For example, when it is determined that "the start of the neglected operation", for example, the monitored object T sitting on the wheelchair W starts the movement as shown in FIG. 6, for example, the wheelchair W. A state separated from the wheelchair by a predetermined time or more may be set as a time point where the wheelchair is continued for a predetermined time. 5 and 6 show how the monitored object T and the wheelchair W are image-recognized in step S12 as described above. FIG. 5 may show, for example, a state in which the monitored object T is seated in the wheelchair W and before it is determined that “the start of the neglected operation”.
一般的に、図５に示す状態から被監視対象Ｔが放置動作を開始する場合、図６に示すように、被監視対象Ｔと車椅子Ｗとの距離Ｄ２が増大して所定の閾値ｔｈ以上になる傾向にある。ここで、所定の閾値ｔｈとは、例えば被監視対象Ｔの身長を１５５ｃｍに換算した場合に、５ｍとするなど任意の値としてよい。また、所定の閾値ｔｈとは、被監視対象Ｔの身長によらずに同じ値を用いてもよい。このように、一実施形態において、コントローラ１５は、被監視対象Ｔと車椅子Ｗとの距離Ｄ２が増大して所定の閾値ｔｈ以上になったら、「放置動作の開始」と判定してよい。
Generally, when the monitored object T starts the neglected operation from the state shown in FIG. 5, the distance D2 between the monitored object T and the wheelchair W increases to a predetermined threshold value th or more as shown in FIG. It tends to be. Here, the predetermined threshold value th may be any value such as 5 m when the height of the monitored target T is converted to 155 cm. Further, the same value may be used for the predetermined threshold value th regardless of the height of the monitored target T. As described above, in one embodiment, when the distance D2 between the monitored object T and the wheelchair W increases and becomes equal to or more than a predetermined threshold value th, the
また、図６に示すように、被監視対象Ｔと車椅子Ｗとの距離Ｄ２が増大して所定の閾値ｔｈ以上になった場合であっても、被監視対象Ｔがすぐに車椅子Ｗに戻って来れば、「放置動作の開始」ではないと判定してもよい。したがって、コントローラ１５は、認識部１１によって認識された被監視対象Ｔと車椅子Ｗとの距離Ｄ２が所定の閾値以上になった状態が所定時間Δｔ継続したら、「放置動作の開始」と判定してもよい。ここで、所定時間Δｔは、例えば３０秒とするなど任意の時間としてよい。また、コントローラ１５は、認識部１１によって認識された被監視対象Ｔと車椅子Ｗとの距離Ｄ２が増大して所定の閾値以上になった状態が所定時間Δｔ継続したら、「放置動作の開始」と判定してもよい。
Further, as shown in FIG. 6, even when the distance D2 between the monitored target T and the wheelchair W increases and becomes equal to or higher than a predetermined threshold value, the monitored target T immediately returns to the wheelchair W. If it comes, it may be determined that it is not "the start of the neglected operation". Therefore, the
ステップＳ１４において、コントローラ１５は、ステップＳ１３にて判定された被監視対象Ｔ及び車椅子Ｗの座標に基づいて、放置動作の開始を判定してよい。上述のように、ステップＳ１３において、コントローラ１５は、被監視対象Ｔ及び車椅子Ｗの座標として、種々の座標を判定してよい。したがって、ステップＳ１３において、コントローラ１５は、被監視対象Ｔと車椅子Ｗとの距離として、被監視対象Ｔ及び車椅子Ｗの種々の座標に基づく種々の距離に基づいて、放置動作の開始を判定してよい。すなわち、ステップＳ１３において、コントローラ１５が判定処理に用いる「被監視対象Ｔと車椅子Ｗとの距離」とは、種々のものを想定し得る。
In step S14, the
例えば、被監視対象Ｔと車椅子Ｗとの距離とは、被監視対象Ｔとして認識された範囲の重心と、車椅子Ｗとして認識された範囲の重心との距離としてもよい。また、被監視対象Ｔと車椅子Ｗとの距離とは、被監視対象Ｔとして認識された範囲の接地部分の任意の点と、車椅子Ｗとして認識された範囲の接地部分の任意の点との距離としてもよい。また、被監視対象Ｔと車椅子Ｗとの距離とは、被監視対象Ｔとして認識された範囲の下端部分の任意の点と、車椅子Ｗとして認識された範囲の下端部分の任意の点との距離としてもよい。また、被監視対象Ｔと車椅子Ｗとの距離とは、被監視対象Ｔとして認識された範囲の下端部分の中央と、車椅子Ｗとして認識された範囲の下端部分の中央との距離としてもよい。また、コントローラ１５は、被監視対象Ｔ及び車椅子Ｗの座標として、上記のものをいずれか任意に組み合わせてもよい。
For example, the distance between the monitored target T and the wheelchair W may be the distance between the center of gravity of the range recognized as the monitored target T and the center of gravity of the range recognized as the wheelchair W. Further, the distance between the monitored target T and the wheelchair W is the distance between an arbitrary point in the ground contact portion in the range recognized as the monitored target T and an arbitrary point in the ground contact portion in the range recognized as the wheelchair W. May be. The distance between the monitored target T and the wheelchair W is the distance between an arbitrary point at the lower end of the range recognized as the monitored target T and an arbitrary point at the lower end of the range recognized as the wheelchair W. May be. Further, the distance between the monitored target T and the wheelchair W may be the distance between the center of the lower end portion of the range recognized as the monitored target T and the center of the lower end portion of the range recognized as the wheelchair W. Further, the
また、被監視対象Ｔと車椅子Ｗとの距離とは、例えば、被監視対象Ｔが地面と接地してする部分の任意の点と、車椅子Ｗが地面と接地する部分の任意の点との距離としてもよい。ここで、被監視対象Ｔが地面と接地してする部分とは、例えば被監視対象Ｔのつま先部分としてもよい。この場合、被監視対象Ｔが地面と接地してする部分とは、例えば被監視対象Ｔの左右のつま先部分の一方としてもよいし、左右のつま先部分の中点としてもよい。また、車椅子Ｗが地面と接地する部分とは、例えば車椅子Ｗの車輪部分としてもよい。この場合、車椅子Ｗが地面と接地する部分とは、例えば車椅子Ｗの車輪のいずれか１つが接地する点としてもよいし、全ての車輪がそれぞれ接地する点の中点としてもよい。このように、コントローラ１５は、被監視対象Ｔのつま先と車椅子Ｗの車輪との距離を、被監視対象Ｔと車椅子Ｗとの距離としてもよい。
Further, the distance between the monitored target T and the wheelchair W is, for example, the distance between an arbitrary point of the portion where the monitored target T is in contact with the ground and an arbitrary point of the portion where the wheelchair W is in contact with the ground. May be. Here, the portion where the monitored target T is in contact with the ground may be, for example, the toe portion of the monitored target T. In this case, the portion where the monitored target T is in contact with the ground may be, for example, one of the left and right toe portions of the monitored target T, or may be the midpoint of the left and right toe portions. Further, the portion where the wheelchair W touches the ground may be, for example, the wheel portion of the wheelchair W. In this case, the portion where the wheelchair W touches the ground may be, for example, a point where any one of the wheels of the wheelchair W touches the ground, or may be a midpoint where all the wheels touch the ground. As described above, the
以上説明したような所定の閾値及び所定時間などは、予め記憶部１３に記憶しておいてもよいし、ステップＳ１４における判定までにコントローラ１５が通信部１９を介して取得してもよい。
The predetermined threshold value and the predetermined time as described above may be stored in the
図５において、被監視対象Ｔとして認識された範囲Ｔｃの下端部分の中央は、中心線Ｔｍによって示されている。また、車椅子Ｗとして認識された範囲Ｗｃの下端部分の中央は、中心線Ｗｍによって示されている。この場合、コントローラ１５は、例えば、被監視対象Ｔ及び車椅子Ｗの座標を、それぞれ中心線Ｔｍ及び中心線Ｗｍ上の任意の位置と判定してもよい。図５に示す場合、被監視対象Ｔは車椅子Ｗに着座している状態のため、被監視対象Ｔと車椅子Ｗとの距離Ｄ１は、非常に小さな値になる。ここで、被監視対象Ｔと車椅子Ｗとの距離Ｄ１は、例えば、被監視対象Ｔとして認識された範囲Ｔｃの下端部分の中央と、車椅子Ｗとして認識された範囲Ｗｃの下端部分の中央との距離としてよい。
In FIG. 5, the center of the lower end portion of the range Tc recognized as the monitored target T is indicated by the center line Tm. Further, the center of the lower end portion of the range Wc recognized as the wheelchair W is indicated by the center line Wm. In this case, the
図６においても、図５と同様に、被監視対象Ｔとして認識された範囲Ｔｃの下端部分の中央は、中心線Ｔｍによって示されている。また、車椅子Ｗとして認識された範囲Ｗｃの下端部分の中央は、中心線Ｗｍによって示されている。この場合、コントローラ１５は、例えば、被監視対象Ｔ及び車椅子Ｗとの座標を、それぞれ中心線Ｔｍ及び中心線Ｗｍ上の任意の位置と判定してもよい。図６に示す場合、被監視対象Ｔは車椅子Ｗから立ち上がって歩き出している状態のため、被監視対象Ｔと車椅子Ｗとの距離Ｄ２は、図５に示した距離Ｄ１に比べて大きな値になる。ここで、被監視対象Ｔと車椅子Ｗとの距離Ｄ２は、例えば、被監視対象Ｔとして認識された範囲Ｔｃの下端部分の中央と、車椅子Ｗとして認識された範囲Ｗｃの下端部分の中央との距離としてよい。
Also in FIG. 6, similarly to FIG. 5, the center of the lower end portion of the range Tc recognized as the monitored target T is indicated by the center line Tm. Further, the center of the lower end portion of the range Wc recognized as the wheelchair W is indicated by the center line Wm. In this case, the
一実施形態において、コントローラ１５は、例えば被監視対象Ｔと車椅子Ｗとの距離を判定してもよい。コントローラ１５により判定される被監視対象Ｔと車椅子Ｗとの距離は、例えば画像における距離を算出してもよいし、画像に基づいて現実の距離を推定してもよい。画像において被監視対象Ｔと車椅子Ｗとの距離を算出すると、その距離は、例えば撮像部２０と被監視対象Ｔとの距離、及び、撮像部２０から被監視対象Ｔに向く方向などにも起因してばらつくことが想定される。一方、画像に基づいて被監視対象Ｔと車椅子Ｗとの現実の距離を推定すると、撮像の環境に起因するばらつきを抑えることができる。
In one embodiment, the
ここで、コントローラ１５の動作について、図８及び図９を参照して、さらに説明する。例えばカメラのような撮像部２０によって画像が撮像される場合、実際の環境における現実の距離と、撮像される画像における距離とで、見え方が異なり得る。そこで、一実施形態において、コントローラ１５は、実際の環境における現実の距離と、撮像される画像における距離との見え方の違いを、学習することにより解決するものとしてよい。
Here, the operation of the
例えば、図８に示すような実際の環境に設置された撮像部２０によって、図９に示すような画像が撮像された例について説明する。
For example, an example in which an image as shown in FIG. 9 is captured by an
図８に示すように、例えば部屋又は通路のような環境において、その天井部にカメラのような撮像部２０が設置されているとする。この撮像部２０は、図８に示す部屋又は通路の奥行方向に平行な方向に向けて設置されているものとする（以下、撮像部２０の向く方向を「撮像方向」と記す）。このような環境において、図８に示すように、最初は手前側に存在した人間（被監視対象Ｔ１）が、撮像方向に沿って奥側に例えば５ｍ移動したとする（被監視対象Ｔ１’）。ここで、図８に示すように、被監視対象Ｔ１の位置における所定の距離Ｄ１と、被監視対象Ｔ１’の位置における所定の距離Ｄ１’とは、同じ長さの距離を示すものとする。
As shown in FIG. 8, it is assumed that an
図９は、図８に示すような実際の環境を撮像部２０によって撮像した画像の例を示している。すなわち、図８に示す実際の環境における被監視対象Ｔ１は、図９に示す撮像した画像における被監視対象Ｔ１を示している。同様に、図８に示す実際の環境における被監視対象Ｔ１’は、図９に示す撮像した画像における被監視対象Ｔ１’を示している。図９において、被監視対象Ｔ１の位置における所定の距離Ｄ１と、被監視対象Ｔ１’の位置における所定の距離Ｄ１’とは、現実には同じ長さの距離を示している。
FIG. 9 shows an example of an image captured by the
図８及び図９に示す被監視対象Ｔ１の位置のように、撮像部２０から比較的近いところにおいては、例えば被監視対象Ｔ１が動く場合に、撮像部２０によって撮像される画像における座標の移動（例えば１画素あたりの距離）は大きくなる。一方、図８及び図９に示す被監視対象Ｔ１’の位置のように、撮像部２０から比較的遠いところにおいては、例えば撮像方向に沿って奥側に動く場合に、撮像部２０によって撮像される画像における座標の移動（例えば１画素あたりの距離）も小さくなる。
At a location relatively close to the
以上のような原理に基づいて、一実施形態において、コントローラ１５は、実際の環境における現実の距離と、撮像される画像における距離との見え方の違いを、学習することにより解決することができる。また、実際の環境における現実の距離と、撮像される画像における距離との見え方の差異は、所定の環境において、所定の条件のもと、同じ結果になる。例えば、上述のような差異は、建物内など床面に傾斜がない環境において、カメラの画角、カメラの仰俯角、カメラの設置高、カメラの解像度、及び対象の座標が同じであれば、同じ結果になる。このため、上述のような差異は、予め実測しておくことにより解決してもよい。
Based on the above principle, in one embodiment, the
また、コントローラ１５は、被監視対象Ｔ及び車椅子Ｗの座標を判定する場合、被監視対象Ｔ及び車椅子Ｗそれぞれにおける任意の箇所、又は特徴点などを抽出してもよい。コントローラ１５は、被監視対象Ｔ及び車椅子Ｗのそれぞれを１点の座標（例えば中心又は重心など）として判定してもよい。また、コントローラ１５は、被監視対象Ｔ及び車椅子Ｗのそれぞれを複数の点を含む点群として判定してもよい。コントローラ１５は、被監視対象Ｔ及び車椅子Ｗのそれぞれを複数の点を含む点群として判定する場合、それぞれの点群の中心又は重心などを１点の座標として判定してもよい。
Further, when the
ステップＳ１４において放置動作の開始と判定された場合、すなわち、放置動作がこれから開始するリスクが高まった場合、又は放置動作が開始していると想定される場合、コントローラ１５は、所定の警告信号を出力する（ステップＳ１５）。ステップＳ１５において、コントローラ１５は、所定の警告信号を警告部１７に出力してよい。これにより、警告部１７は、所定の警告を発することができる。このように、コントローラ１５は、放置動作の開始と判定したら、所定の警告信号を出力してよい。
When it is determined in step S14 that the neglected operation has started, that is, when the risk of the neglected operation starting from now on increases, or when it is assumed that the neglected operation has started, the
一方、ステップＳ１４において放置動作の開始と判定されない場合、コントローラ１５は、ステップＳ１５の動作をスキップして、図２に示す動作を終了してよい。この場合、放置動作が開始していない、又は、放置動作がこれから開始するリスクが高まっていない、と想定され得る。図２に示す動作が終了すると、コントローラ１５は、再び図２に示す動作を開始してよい。例えば、コントローラ１５は、画像データから座標が認識されるごとに、図２に示す動作を繰り返してもよい。すなわち、例えば認識部１１が秒間１５フレームの画像データから被監視対象Ｔ及び車椅子Ｗを認識する場合、コントローラ１５は、ステップＳ２５における放置動作の開始の判定を秒間１５回行ってもよい。
On the other hand, if it is not determined in step S14 that the neglected operation has started, the
このように、一実施形態において、コントローラ１５は、認識部１１によって認識された被監視対象Ｔ及び車椅子Ｗの位置（座標）に基づいて、放置動作の開始を判定してよい。また、認識部１１は、撮像部２０によって撮像された単位時間当たり所定数のフレームの画像から被監視対象Ｔ及び車椅子Ｗの位置を認識してもよい。この場合、コントローラ１５は、認識部１１によって認識された被監視対象Ｔ及び車椅子Ｗの位置から、放置動作の開始を判定してもよい。
As described above, in one embodiment, the
図２に示すように、コントローラ１５は、ステップＳ１４において放置動作の開始を判定したら直ちに、ステップＳ１５において所定の警告信号を出力してよい。このため、コントローラ１５は、実際の放置動作が完了する前に、所定の警告信号を出力してよい。このように、コントローラ１５は、放置動作の開始を判定したら、放置動作の完了前に、所定の警告信号を出力してもよい。また、コントローラ１５は、可能な場合には、実際の放置動作が開始する前に、所定の警告信号を出力してもよい。このように、コントローラ１５は、放置動作の開始を判定したら、放置動作の開始前に、所定の警告信号を出力してもよい。
As shown in FIG. 2, the
一実施形態に係るシステム１によれば、例えば被監視対象Ｔのような人間が着座していた車椅子Ｗを放置する動作における人間及び車椅子Ｗの位置に基づいて、放置動作の開始を判定することができる。したがって、一実施形態に係るシステム１によれば、被監視対象Ｔが車椅子Ｗを放置しようとしている場合又は放置した場合に、その放置動作が終了する前又は終了した後に、所定の警告を発することができる。したがって、一実施形態に係るシステム１によれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が車椅子を放置する前又は放置した後に、被監視者が車椅子を放置しようとしていること又は放置したことを認識し得る。このため、一実施形態に係るシステム１によれば、被監視対象Ｔの安全に供し得る。
According to the
図１０は、図２のステップＳ１４において説明した判定処理をさらに説明する図である。図１０は、左側の列において、例えば図２のステップＳ１１において取得された画像データに撮像された被監視対象Ｔの状態を示している。図１０に示すように、撮像された画像データにおいて、被監視対象Ｔは、撮像部２０が設置された部屋に入室して車椅子Ｗに座っている状態の後、立っている状態となり、それから車椅子Ｗから離れている状態になったとする。車椅子Ｗから離れて放置動作が開始した瞬間から、コントローラ１５は、図２に示したステップＳ１１以降の動作を、秒間１５フレームの処理として行うものとする。すなわち、システム１において、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。また、システム１において、コントローラ１５は、秒間１５フレームの画像を取得するものとしてよい。また、システム１において、認識部１１は、秒間１５フレームの画像から、被監視対象Ｔ及び車椅子Ｗを画像認識するものとしてよい。また、システム１において、コントローラ１５は、秒間１５フレームの画像から認識された被監視対象Ｔ及び車椅子Ｗの座標を判定するものとしてよい。さらに、システム１において、コントローラ１５は、秒間１５フレームの被監視対象Ｔ及び車椅子Ｗの座標に基づいて、放置動作の開始を判定してよい。
FIG. 10 is a diagram further explaining the determination process described in step S14 of FIG. FIG. 10 shows the state of the monitored target T captured in the image data acquired in step S11 of FIG. 2, for example, in the left column. As shown in FIG. 10, in the captured image data, the monitored target T enters the room in which the
図１０の中央の列において、コントローラ１５が画像データのフレームを連続して取得する様子を概念的に示してある。ここで、各フレームの画像データは、画像データから認識（又は抽出）された位置又は座標としてもよい。また、図１０の中央の列において、ハッチングを付した画像データは、放置動作が開始してから１秒間のフレームを表しているものとしてよい。
In the central column of FIG. 10, a state in which the
このような状況において、コントローラ１５は、放置動作が開始してから１秒間のフレーム（フレーム１からフレーム１５まで）に基づいて、その時点における放置動作の開始を判定してよい（図１０に示す判定１）。次に、コントローラ１５は、フレーム２からフレーム１６までフレームに基づいて、その時点における放置動作の開始を判定してよい（図１０に示す判定２）。以上のような動作を繰り返すことにより、コントローラ１５は、放置動作の開始の判定を、秒間１５回行うことになる。したがって、一実施形態に係るシステム１によれば、例えば図１０に示す判定１及び判定２において何らかの原因により本来判定されるべき放置動作の開始が判定されなかったとしても、秒間１５回の判定によって失報のリスクを低減することができる。
In such a situation, the
上述した実施形態において、システム１は、秒間１５フレームを処理する例について説明した。しかしながら、一実施形態において、システム１又はシステム１を構成する各機能部は、秒間１５よりも多くのフレームを処理してもよいし、秒間１５よりも少ないフレームを処理してもよい。一実施形態において、システム１が扱う関節点の数及び／又は処理するフレームの数は、放置動作の開始の判定が妥当な結果になるように調整してもよい。
In the above-described embodiment, the
上記実施形態においては、撮像された画像データを用いているため、可視光を検出対象として用いて監視を行った。しかしながら、本開示は、このような場合に限定されず、任意の電磁波、音波、温度、振動など、他の検出対象を任意に用いてもよい。 In the above embodiment, since the captured image data is used, visible light is used as a detection target for monitoring. However, the present disclosure is not limited to such cases, and other detection targets such as arbitrary electromagnetic waves, sound waves, temperatures, and vibrations may be arbitrarily used.
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。 Although the embodiments according to the present disclosure have been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications or modifications based on the present disclosure. It should be noted, therefore, that these modifications or modifications are within the scope of this disclosure. For example, the functions included in each component or each step can be rearranged so as not to be logically inconsistent, and a plurality of components or steps can be combined or divided into one. Is. Although the embodiment according to the present disclosure has been mainly described with respect to the apparatus, the embodiment according to the present disclosure can also be realized as a method including steps executed by each component of the apparatus. The embodiments according to the present disclosure can also be realized as a method, a program, or a storage medium on which a program is recorded, which is executed by a processor included in the apparatus. It should be understood that these are also included in the scope of this disclosure.
上述した実施形態は、システム１としての実施のみに限定されるものではない。例えば、上述した実施形態は、システム１に含まれる電子機器１０として実施してもよい。また、上述した実施形態は、例えば、電子機器１０のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、電子機器１０のような機器又は情報処理装置（例えばコンピュータ）が実行するプログラムとして実施してもよい。また、本開示の技術において、図１に示される電子機器１０の各構成要素の全てが１つの筐体又はサーバなどに存在しなくてもよい。例えば、電子機器１０の構成要素のコントローラ及び／又は記憶部などの各部が、互いに有線若しくは無線又はこれらの組み合わせからなるネットワークにより接続されてもよい。この場合、電子機器１０の構成要素の各部は、異なる筐体、サーバ、装置、部屋、ビル、地域、又は国などに任意に配置されているとしてもよい。
The above-described embodiment is not limited to the implementation as the
１ システム
１０ 電子機器
１１ 認識部
１３ 記憶部
１５ コントローラ
１７ 警告部
１９ 通信部
２０ 撮像部
1
Claims (8)
前記撮像部によって撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識部と、
前記認識部によって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力するコントローラと、
を備えるシステム。 An image pickup unit that captures images and
A recognition unit that recognizes a monitored object and a wheelchair related to the monitored object in the image captured by the imaging unit, and a recognition unit.
A controller that outputs a predetermined warning signal when the distance between the monitored object and the wheelchair recognized by the recognition unit exceeds a predetermined threshold value continues for a predetermined time.
A system equipped with.
前記認識部によって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力するコントローラと、
を備える電子機器。 A recognition unit that recognizes the monitored object and the wheelchair related to the monitored object in the captured image, and
A controller that outputs a predetermined warning signal when the distance between the monitored object and the wheelchair recognized by the recognition unit exceeds a predetermined threshold value continues for a predetermined time.
Electronic equipment equipped with.
前記撮像ステップによって撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識ステップと、
前記認識ステップによって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力する出力ステップと、
を含む、電子機器の制御方法。 An imaging step to capture an image and
A recognition step for recognizing a monitored object and a wheelchair related to the monitored object in the image captured by the imaging step.
An output step that outputs a predetermined warning signal when the state in which the distance between the monitored object and the wheelchair recognized by the recognition step exceeds a predetermined threshold value continues for a predetermined time,
How to control electronic devices, including.
画像を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識ステップと、
前記認識ステップによって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力する出力ステップと、
を実行させる、プログラム。
On the computer
An imaging step to capture an image and
A recognition step for recognizing a monitored object and a wheelchair related to the monitored object in the image captured by the imaging step.
An output step that outputs a predetermined warning signal when the state in which the distance between the monitored object and the wheelchair recognized by the recognition step exceeds a predetermined threshold value continues for a predetermined time,
A program that runs.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020162744A JP2022055254A (en) | 2020-09-28 | 2020-09-28 | System, electronic apparatus, method for controlling electronic apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020162744A JP2022055254A (en) | 2020-09-28 | 2020-09-28 | System, electronic apparatus, method for controlling electronic apparatus, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022055254A true JP2022055254A (en) | 2022-04-07 |
Family
ID=80998170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020162744A Pending JP2022055254A (en) | 2020-09-28 | 2020-09-28 | System, electronic apparatus, method for controlling electronic apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022055254A (en) |
-
2020
- 2020-09-28 JP JP2020162744A patent/JP2022055254A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2015133195A1 (en) | Information processing device, information processing method, and program | |
| JP6150207B2 (en) | Monitoring system | |
| JP6115692B1 (en) | Behavior detecting device, method and program, and monitored person monitoring device | |
| US20160321903A1 (en) | A method for responding to a detected fall and an apparatus for implementing the same | |
| JP6123971B1 (en) | Monitored person monitoring system, monitored person monitoring apparatus, and monitored person monitoring method | |
| JP6852733B2 (en) | Living body monitoring device and living body monitoring method | |
| TWI541769B (en) | Falling down detecting systems and method | |
| JP2022055254A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
| JPWO2018012432A1 (en) | Behavior determination apparatus and behavior determination method | |
| JPWO2017081995A1 (en) | Monitored person monitoring apparatus and method, and monitored person monitoring system | |
| JPWO2020008726A1 (en) | Target object detection program and target object detection device | |
| JP7047945B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP7449212B2 (en) | Systems, electronic devices, control methods for electronic devices, and programs | |
| JP6645503B2 (en) | Image analysis device, image analysis method, and image analysis program | |
| JP7449211B2 (en) | Systems, electronic devices, control methods for electronic devices, and programs | |
| WO2016181731A1 (en) | Fall detecting device, fall detecting method, and device for monitoring person to be monitored | |
| JP2022055251A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
| JP2022055248A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
| JP2022039815A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
| WO2021033597A1 (en) | Image processing system, image processing program, and image processing method | |
| JP2021179723A (en) | Monitoring system, monitoring device, monitoring method, and program | |
| JP2019204366A (en) | Action monitoring system and action monitoring method | |
| JP2022050269A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
| JP2022050268A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
| JP2022039814A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230417 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240401 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |