JP2023068253A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2023068253A
JP2023068253A JP2021179159A JP2021179159A JP2023068253A JP 2023068253 A JP2023068253 A JP 2023068253A JP 2021179159 A JP2021179159 A JP 2021179159A JP 2021179159 A JP2021179159 A JP 2021179159A JP 2023068253 A JP2023068253 A JP 2023068253A
Authority
JP
Japan
Prior art keywords
person
room
face
result
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021179159A
Other languages
English (en)
Inventor
正博 若林
Masahiro Wakabayashi
勤 三重野
Tsutomu Mieno
一弘 掛端
Kazuhiro Kakehata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2021179159A priority Critical patent/JP2023068253A/ja
Priority to PCT/JP2022/038498 priority patent/WO2023079928A1/ja
Publication of JP2023068253A publication Critical patent/JP2023068253A/ja
Priority to JP2024067878A priority patent/JP2024096171A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47KSANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
    • A47K17/00Other equipment, e.g. separate apparatus for deodorising, disinfecting or cleaning devices without flushing for toilet bowls, seats or covers; Holders for toilet brushes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Collating Specific Patterns (AREA)
  • Toilet Supplies (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】部屋の使用者に付き添う人にマスク着用者が存在した場合に、処理能力を低下させずリアルタイムに且つ高精度で使用者の顔認証を行い認証結果を出力する情報処理装置を提供する。【解決手段】情報処理装置1は、部屋への入室を検知するセンサ1a、入室が検知された場合、入室者を撮像して画像データを得る撮像装置1b、判定部1c、顔認証部1d、及び顔認証処理の結果を通知先に出力する出力部1eを備える。判定部1cは、撮像装置1bで得られた画像データに基づき、入室者のマスク着用の有無を判定することで、入室者が部屋の使用者としての認証対象者でないか認証対象者であるかを仮に判定する。顔認証部1dは、仮判定の結果、認証対象者である場合に、認証対象者についての顔画像データと認証対象者毎及び認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで顔認証処理を実行する。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
介護者は介護施設や住宅等の介護現場において、被介護者(要介護者)の状況の把握や介助のために見守りを行っている。このような見守りの業務は介護者にとって負荷が大きく、負荷軽減を行うための支援が必要とされている。その支援の一つとして見守りをできるだけ自動化することが考えられるが、その自動化のためには少なくとも被介護者を特定する必要が生じる。
トイレに関し、特許文献1には、トイレの使用者から聞き取る必要なく便器に排泄した排泄物の内容を示す排泄情報を収集し、且つ、排泄物以外の異物が便器に存在するようにされた場合であってもその異物を流さないようにする技術が記載されている。特許文献1に記載の技術では、サーバが、カメラで取得された顔画像データを受信し、予め記憶された認証用データとその特徴点を比較して顔認証処理を行い、合致した認証用データに関連付けられた識別データを得ることで、トイレの使用者を特定している。
国際公開第2021/024584号
上述のように介護者は要介護者の状況の見守りや介助を行っており、特許文献1に記載の技術のように、サーバが撮像データに基づき顔認証処理を実行してトイレの使用者を識別するシステムを導入することで、介護者の負担を軽減することができる。しかしながら、その場合、カメラで取得された顔画像データがサーバ上に保存されることになる。トイレを使用した情報は機微情報であるため、サーバ上にその顔画像データが残ることは、使用者や介護者の精神的負担が大きいため適切ではない。そこで顔認証機能、通知機能と排泄物分析機能を持ちトイレ内に設置する小型の装置(トイレセンサ)を利用し、顔画像データが外部のサーバなどネットワーク上に流れないようにすることが望まれる。
そのような構成を採用した場合、トイレに入室した人物をトイレ内に設置された顔認証機能をもつ装置で特定し、使用者の入室はその情報だけを介護者へ通知することになる。よって、その場合、顔認証に使用する顔画像データは外部に保存されないため使用者や介護者の精神的負担を軽減することが可能であるが、トイレセンサを利用した顔認証には大きく、次の(1)、(2)の問題が生じる。
(1)複数の顔認証を同時実行する必要が生じるために発生する処理能力の問題。
(2)介護者のマスク着用による誤認識率が高まる問題。
上記(1)については、トイレ空間は、介護者の介助なしにトイレの入退室ができない使用者がいることにより発生する。トイレの利用において、使用者に付き添って介護者が1人又は複数人入室する場合には、使用者と介護者の両方が顔認証用のカメラの撮像範囲に入ると、複数の顔認証を同時に実行する必要が生じる。よって、このような場合には、使用者の人物特定のための精度低下や処理時間の増加が発生する。
上記(2)については、上記(1)の問題に加えて、介護施設内では、使用者はマスク未着用であり、介護者についても通常はマスク未着用ではあるが、感染症の流行期間は感染予防のため、マスクを着用して業務を行っていることがある。この場合、排泄介助の際には、使用者とマスク着用状態の介護者が顔認証用のカメラの撮像範囲に入ることになる。マスクを着用した顔の認証は、マスクで覆われた部分の顔の情報を利用することができず少ない特徴情報から照合をかけるため誤認識を発生しやすいなど、認証精度が悪化する要因となる。結果として顔が本来は介護者であるにも関わらず、使用者と誤認識してしまう問題が生じ得る。
また、顔認証による人物特定は、トイレ介助や事故防止ための駆け付けなど、介護者への通知機能と連携させる必要があるため、精度だけでなくリアルタイム性も求められることから、顔認証処理についての処理能力と精度を向上させることが望まれる。一方で、ネットワークを介して顔画像データを送信しないでそのような処理を行うとなると、トイレセンサは省スペース且つ省電力のCPU(Central Processing Unit)が組み込まれたエッジデバイスで実現することが望ましい。よって、CPUの高性能化以外の方法で、顔認証処理についての処理能力や精度を向上させることが望まれる。
以上のように、介護における排泄管理の負担軽減のため、トイレセンサを設置する改善が図られる中、介護者の介助が必要な使用者の顔認証による人物特定を行う際の精度や処理能力に関して課題があった。また、このような課題は、トイレに限らず様々な部屋への入室を管理する場合において、付き添いの人との入室が生じ得る場合にも生じ得る。
本開示の目的は、上記の課題を解決する情報処理装置、情報処理方法、及びプログラムを提供することにある。上記課題は、部屋の使用者に付き添う人にマスク着用者が存在した場合において、処理能力を低下させることなくリアルタイムに且つ高精度で使用者の顔認証を行い、認証結果を出力することを可能にすることにある。
本開示の第1の態様に係る情報処理装置は、部屋への人の入室を検知するセンサと、前記センサで人の入室が検知された場合、前記部屋へ入室した人を撮像して画像データを得る撮像装置と、を備える。前記情報処理装置は、前記撮像装置で得られた前記画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が前記部屋の使用者としての認証対象者でないか前記認証対象者であるかを仮に判定する判定部を備える。前記情報処理装置は、前記判定部での仮判定の結果、前記認証対象者である場合に、前記画像データにおける前記認証対象者についての顔画像データに基づき、顔認証処理を実行する顔認証部と、前記顔認証処理の結果を通知先に出力する出力部と、を備える。前記顔認証部は、前記顔画像データと前記認証対象者毎及び前記認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで、前記顔認証処理を実行する。
本開示の第2の態様に係る情報処理方法は、センサで部屋への人の入室を検知し、前記センサで人の入室が検知された場合、撮像装置で前記部屋へ入室した人を撮像して画像データを得る。前記情報処理方法は、前記撮像装置で得られた前記画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が前記部屋の使用者としての認証対象者でないか前記認証対象者であるかを仮に判定する。前記情報処理方法は、仮判定の結果、前記認証対象者である場合に、前記画像データにおける前記認証対象者についての顔画像データに基づき、顔認証処理を実行し、前記顔認証処理の結果を通知先に出力する。前記顔認証処理は、前記顔画像データと前記認証対象者毎及び前記認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで実行する。
本開示の第3の態様に係るプログラムは、コンピュータに、情報処理を実行させるためのプログラムである。前記情報処理は、センサで部屋への人の入室を検知した結果を入力し、前記センサで人の入室が検知された場合、撮像装置で前記部屋へ入室した人を撮像させて画像データを得る。前記情報処理は、前記撮像装置で得られた前記画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が前記部屋の使用者としての認証対象者でないか前記認証対象者であるかを仮に判定する。前記情報処理は、仮判定の結果、前記認証対象者である場合に、前記画像データにおける前記認証対象者についての顔画像データに基づき、顔認証処理を実行し、前記顔認証処理の結果を通知先に出力する。前記顔認証処理は、前記顔画像データと前記認証対象者毎及び前記認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで実行する。
本開示により、部屋の使用者に付き添う人にマスク着用者が存在した場合に、処理能力を低下させることなくリアルタイムに且つ高精度で使用者の顔認証を行い、認証結果を出力することが可能な情報処理装置、情報処理方法、及びプログラムを提供できる。
実施形態1に係る情報処理装置の一構成例を示すブロック図である。 実施形態2に係る情報処理装置を含む情報処理システムの一構成例を示す図である。 図2の情報処理システムにおける情報処理装置の設置例を示す側面図である。 図2の情報処理システムにおける情報処理装置の一構成例を示すブロック図である。 図2の情報処理システムにおける顔モデルデータの生成及び登録の処理の流れの一例を説明するための概略図である。 図4の情報処理装置における、介護者がマスクを着用していない場合の顔認証処理の一例を説明するための概略図である。 図4の情報処理装置における、介護者がマスクを着用している場合の顔認証処理の一例を説明するための概略図である。 図2の情報処理システムにおける端末装置での通知例を説明するための図である。 図4の情報処理装置における顔認証処理の一例を説明するためのフロー図である。 実施形態3に係る情報処理装置の一構成例を示す概略図である。 装置のハードウェア構成の一例を示す図である。
以下、図面を参照して、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付すことがあり、重複する説明は適宜省略される。
以下、図面を参照して、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付すことがあり、重複する説明は適宜省略される。
<実施形態1>
図1は、実施形態1に係る情報処理装置の一構成例を示すブロック図である。
図1に示すように、本実施形態に係る情報処理装置1は、センサ1a、撮像装置1b、判定部1c、顔認証部1d、及び出力部1eを備えることができる。
センサ1aは、入室監視対象となる部屋への人の入室を検知するセンサであり、入室を検知できる位置に設けられた人感センサとすることができる。入室監視対象となる部屋としては、トイレの個室や浴室など様々な部屋が適用できる。
以下、入室監視対象の人である認証対象者が被介護者である例、つまり入室監視対象となる部屋が被介護者が利用する部屋である例を挙げて説明するが、他種の認証対象者を入室監視対象とすることもできる。ここで、認証対象者とは顔認証部1dで顔認証を行いその結果を出力する対象の人物を指すものとする。また、被介護者は、被介助者、要介護者、要介助者などと称することもできる。また、介護者は、介護士や医師等が挙げられ、介助者と称することもできる。
認証対象者が被介護者である場合において監視対象となる部屋としては、上述したトイレ、浴室などが挙げられる。情報処理装置1は、例えば高齢者施設、個人宅や病院など要介護者の見守りが必要な場で使用することが可能である。
センサ1aとしては、例えば赤外線センサや光学センサなどが挙げられる。センサ1aは、赤外線等に限らず、画像識別、超音波など、どのような方式を用いたセンサであってもよい。また、センサ1aは、入室後の退室も検知できるようにしておくことが好ましく、単純な例では、入室を検知した後に人が検知された場合に退室したと検知することができる。
撮像装置1bは、センサ1aで人の入室が検知された場合、部屋へ入室した人を撮像して画像データを得る。撮像装置1bは、例えば、静止画及び/又は動画を撮影するカメラとすることができ、取得される撮像データが後段の顔認証部1dで用いられることから顔認証用カメラと称することができる。また、撮像装置1bは、可視光カメラに限らず、赤外光カメラ等であってもよい。
判定部1cは、撮像装置1bで得られた画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が部屋の使用者(ユーザ)としての認証対象者(この例では被介護者)でないか認証対象者であるかを仮に判定する。判定部1cによって被介護者でないと仮判定されることは、介護者であると仮判定されることを意味する。なお、判定部1cは、退室した人が被介護者であるか否かも判定するように構成することもできる。
顔認証部1dは、判定部1cでの仮判定の結果、認証対象者(この例では被介護者)である場合、つまりマスクを着用していない人物である場合に、画像データにおける認証対象者についての顔画像データに基づき、顔認証処理を実行する。画像データに複数の人物の顔画像の領域が含まれる場合、全ての人物のうち認証対象者についての顔画像の領域のデータに基づき顔認証処理を実行すればよい。
ここで、顔認証部1dは、顔画像データと認証対象者(この例では被介護者)毎及び認証対象者に付き添って入室する可能性のある付添者(この例では介護者)毎に予め記憶された顔の特徴を示す特徴データとを比較することで、上記顔認証処理を実行する。よって、顔認証部1dは、判定部1cでの仮判定の結果、付添者(この例では介護者)である場合、つまりマスクを着用している人物である場合に、顔認証処理を実行せず、以降の処理を終了する。
上記の特徴データは、例えば顔の特徴点を示すデータとすることができる。また、この比較は、例えば、特徴データとその元となる画像データ(顔画像データ)とを含む学習データで機械学習させた学習モデル(学習済みモデル)に、入室した被介護者の顔画像データを入力することで、実行されることもできる。
そして、このような顔認証処理により、仮判定により認証対象者となった人物の顔画像データから、対象の部屋へ入室した人を特定すること、つまり対象の部屋へ入室した個人を特定(識別)することができる。ここで特定される人物は、上述のような比較を行った結果となるため、仮判定により付添者となる場合もある。顔認証部1dは、このように個人を特定するため特定部と称することもできる。
なお、判定部1c及び顔認証部1dは、一部において共通の構成要素を備えることができる。例えば、判定部1cは顔認証部1dでの認識処理における中間データを用いることができる。つまり、判定部1cは顔認証部1dの機能の一部として含むことができる。
また、部屋の使用者には、被介護者及び介護者のいずれにも該当しない人(例えば見舞いに来た家族など)も想定できるが、そのような人物については顔認証処理の結果として認証失敗となり、未知の人物として判断されることができる。
出力部1eは、上記顔認証処理の結果を通知先に出力する。出力部1eは、例えば、有線又は無線の通信インタフェース等で構成される通信部とすることができる。出力部1eは、例えば、通信部を介して通知先の端末装置(図示せず)に顔認証処理の結果を示す情報を送信することができる。出力部1eは、例えば、通信部を介して外部のサーバ(図示せず)にこの情報を送信することができ、これによりサーバでは通知情報を通知先の端末装置に転送することができる。通知先は予め設定しておくことができ、また通知先は変更可能にしておくことが好ましい。
また、出力部1eは、顔認証処理の結果に依らずに通知先にその結果を出力することができる。但し、出力部1eは、上記顔認証処理で付添者(この例では介護者)を認証した場合、付添者についての顔認証処理の結果を除外して、顔認証処理の結果を通知先に出力することもできる。つまり、出力部1eは、認証対象者(この例では被介護者)が認証された場合にその結果を通知先に出力し、付添者が認証された場合にその結果を出力しないこともできる。また、未知の人物の場合には、出力部1eは、未知の人物が入室した旨を通知してもよいし、通知をしなくてもよく、いずれの処理を実行するかは予め定めておけばよい。
また、情報処理装置1は、制御部(図示せず)を有することができ、この制御部は上述した判定部1c、顔認証部1d、及び出力部1e(又はその一部)を備えることができる。この制御部は、例えば、CPU(Central Processing Unit)、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、センサ1aからの検知結果を入力する処理と、撮像装置1bで撮像された画像データを入力する処理と、判定部1c、顔認証部1d、及び出力部1eの処理とをCPUに実行させるためのプログラムとすることができる。また、情報処理装置1に備えられる制御部は、例えば集積回路によって実現することもできる。また、上記の記憶装置には、通知先も記憶しておくことができ、出力部1eはその通知先を参照して顔認証処理の結果を出力することができる。
また、本実施形態に係る情報処理装置1は、単体の情報処理装置として構成することが前提となるが、機能を分散させた複数の装置として構成することもできる。後者の場合、各装置に制御部、通信部、及び必要に応じて記憶部等を備えるとともに、無線又は有線の通信によりこれらの複数の装置を必要に応じて接続して協働して情報処理装置1としての機能を実現させればよい。
ここで、本実施形態に係る情報処理方法について簡単に説明する。この情報処理方法は、次のような情報処理を行う。上記の情報処理は、センサ1aで部屋への人の入室を検知し、センサ1aで人の入室が検知された場合、撮像装置1bでその部屋へ入室した人を撮像して画像データを得る。さらに、上記の情報処理は、撮像装置1bで得られた画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が部屋の使用者としての認証対象者でないか認証対象者であるかを仮に判定する。さらに、上記の情報処理は、仮判定の結果、認証対象者である場合に、上記画像データにおける認証対象者についての顔画像データに基づき、顔認証処理を実行し、その顔認証処理の結果を通知先に出力する。上記顔認証処理は、上記顔画像データと認証対象者毎及び付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで実行する。ここで、通知先への出力は、上記顔認証処理の結果として付添者を認証した場合、付添者についての顔認証処理の結果を除外して実行することもできる。また、上述したプログラムは、コンピュータに上記の情報処理を実行させるためのプログラムとすることができる。
以上に説明したように、本実施形態では、部屋の使用者に付き添う人(例えば介護者等の付添者)にマスク着用者が存在した場合に、処理能力を低下させることなくリアルタイムに且つ高精度で使用者の顔認証を行い、認証結果を出力することができる。
例えば、本実施形態では、介護者の顔の特徴データを事前登録しておき顔認証処理を行う機能とマスク検出機能とをもつため、エッジデバイスとしての情報処理装置に内蔵される省スペース省電力CPUでも精度高い顔認証処理が実現できる。より具体的な例を挙げると、本実施形態では、これらの機能により、マスク着用の介護者がトイレ清掃などのためにトイレに入室する際にその介護者を顔認証処理と比較して処理の軽いマスク判定処理を行うだけで顔認証対象から除外できる。よって、本実施形態では、複数の介護者が1人の使用者の介助する場合においても性能を大きく損なわず顔認証処理を行うことができる。また、本実施形態では、マスク非着用の介護者が入室した場合であっても通知までは行わないような構成を採用することもできる。
<実施形態2>
実施形態2について、図2~図9を参照しながら実施形態1との相違点を中心に説明するが、実施形態1で説明した様々な例が適用できる。図2は、実施形態2に係る情報処理装置を含む情報処理システムの一構成例を示す図で、図3は、図2の情報処理システムにおける情報処理装置の設置例を示す側面図である。
本実施形態に係る情報処理システム(以下、本システム)は、その一部がトイレに設置され、通知先(例えば介護者等)への通知を行うシステムとすることができ、以下、具体的に説明する。
図2に示すように、本システムは、便器10に取り付けられた情報処理装置60と、情報処理装置60に無線接続されたサーバ40と、サーバ40に無線接続された端末装置50と、を備えることができる。なお、これらの接続は例えば1つの無線LAN(Local Area Network)内で行うことができる。例えば、本システムでは、情報処理装置60が直接、端末装置50に情報を送信できるように構成することもできる。また、以下では、情報処理装置60がトイレの便器10に設置され、排泄情報の取得も行う例を挙げて説明するが、排泄情報を得るための撮像データを撮像するためのカメラなど、少なくとも一部が便器10に設置されていれば排泄情報を得ることはできる。
便器10は、側面10aとの間に滞水部分とを形成するための縁部10cを備えることができ、縁部10cから連なる平面部10bを備えることもできる。平面部10bには、例えば使用者洗浄用の温水洗浄機能等を搭載した便座本体11aと、便座本体11aを塞ぐための便座カバー11bと、を備える便座11を設けておくことができる。
情報処理装置60は、トイレ設置型(この例では便器設置型)の装置とすることができ、被介護者の入室を検知した検知イベント等の検知イベントに対する通知を、端末装置50に対し、直接又はサーバ40を介して行う。ここでは、情報処理装置60が、排泄情報を取得する機能をもつ排泄情報収集装置である例を挙げて説明する。この場合、排泄開始や排泄終了などの排泄に関するイベントも検知イベントとして通知することもできる。なお、詳細を説明しないが、情報処理装置60は排泄物の記録、排泄物情報の提示(通知等)、及び排泄予測もサーバ40及び端末装置50と連携しながら行うよう構成することもできる。情報処理装置60と便器10とは、例えば、排泄情報を出力する機能付き便器を構成することができる。
また、情報処理装置60の形状は、図2で示した形状に限らず、例えば便座本体11a等にその機能の全部又は一部を埋め込むような構成とすることもできる。また、情報処理装置60の機能の一部は便座本体11a側に設けておくこともできる。
情報処理装置60は、図1の情報処理装置1の一例であり、情報処理装置1の各部の機能をもつ。ここで、情報処理装置60の詳細な例について説明するに先立ち、図1の情報処理装置1の各部に対応する構成要素を含め、主な構成要素について簡単に説明する。
図2及び図3に示すように、本実施形態に係る情報処理装置60は、人感センサ24、撮像装置25、情報収集部26、収納筐体61、橋架部62、内側筐体63、制御部67、別筐体68、及び外側筐体69を備えることができる。
人感センサ24は、センサ1aの一例であって、トイレの便器10の使用者(利用者)等のトイレの個室への入室者を検知するセンサであり、例えば赤外線センサや光学センサなどが挙げられる。
撮像装置25は、撮像装置1bの一例であって、トイレの使用者等のトイレの個室への入室者の顔を撮像する装置であり、例えば、静止画及び/又は動画を撮影するカメラ(顔認証用カメラ)とすることができる。また、撮像装置25は、可視光カメラに限らず、赤外光カメラ等であってもよい。
情報収集部26は、内側筐体63に配設されるものとする。但し、情報収集部26における情報収集面を内側筐体63の開口部から露出させておくなどして、便器10の溜まりの部分(排泄物が排泄される領域)から情報を収集できるように、情報収集部26は配設される。上記情報収集面とは、例えば情報収集部26がカメラの場合にはレンズ面、センサの場合には検出面などが該当する。
情報収集部26は、便器10における排泄物の情報を収集する部位であり、例えば、排泄物の形状、色などの排泄物の内容を、光学レンズを介して収集する撮像装置又は光学的に距離を計測する距離センサなどとすることができる。排泄情報とは、排泄の内容を示す情報とすることができ、より単純な例では、排泄物が大便(糞)であるか小便(尿)であるかを示す情報とすることができる。排泄情報には、排泄物の色を示す情報、固形物であるのであればその形状など、他の情報を含むこともできる。情報収集部26は、排泄物の情報として、単に排泄の有無を検知して収集する構成だけであってもよい。
情報収集部26は、便器の滞水部分を含む領域(排泄範囲)を収集範囲とすることができ、この排泄範囲は排泄予定範囲と称することもできる。このような排泄範囲を撮像範囲に含めるように情報収集部26を設置しておくことで、撮像される撮像データには被写体として排泄物等が含まれることとなる。無論、上記の排泄範囲は、使用者が映り込まないような範囲とすることが好ましく、またレンズ等も使用者から見えないように情報収集部26が設置されることが好ましい。
情報収集部26、人感センサ24、及び撮像装置25は、制御部67に有線又は無線通信により接続される。なお、図2では、情報収集部26がケーブルK1により制御部67に接続され、人感センサ24及び撮像装置25がケーブルK2により制御部67に接続された例を挙げている。
制御部67は、人感センサ24、撮像装置25、及び情報収集部26を制御する。例えば、制御部67は、人感センサ24での検知結果を受け取ることができ、撮像装置25に撮像を指示することや撮像された画像を受け取ることができ、情報収集部26に排泄物の情報を収集するように指示することや収集された情報を受け取ることができる。また、制御部67は、判定部1c、顔認証部1d、及び出力部1eの機能を実行するように構成することができる。制御部67は、例えば、CPU、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、例えば上述のような処理をCPUに実行させるためのプログラムとすることができる。また、制御部67は、例えば集積回路によって実現することもできる。
収納筐体61は、制御部67を収納する、便器10の外側に配置する筐体で、以下、制御ボックス61として説明する。橋架部(わたり)62は、内側筐体63と外側筐体69とを橋架する部位である。つまり、わたり62は、内側筐体63と外側筐体69を繋ぐ機構で、便器10の縁部10cに設置される。外側筐体69は、内側筐体63と便器10を固定するためのクランプ機構を備える筐体である。外側筐体69は便器10の外側に配置される筐体であり、その形状は問わず、排泄の邪魔にならなければよい。
上述のクランプ機構(固定用クランプ機構)は、例えば、わたり62を介して縁部10cの内側との間の距離を調整して挟持することで、内側筐体63と外側筐体69とを縁部10cに固定する機構とすることができる。これにより、縁部10cの形状などの便器10の形状に依らず、確実に情報処理装置60の内側筐体63を固定して設置することができる。また、このような機構であれば、固定用クランプ機構の形状や構成部品は問わない。固定用クランプ機構は、その主な部品が外側筐体69に備えられることができる。
内側筐体63は、情報収集部26を配設した筐体であり、以下、センサボックス63として説明する。センサボックス63は、排泄物の情報を収集するための例えば光学センサを配備しており、便器10の内側に配置されることになる。
別筐体68は、人感センサ24及び撮像装置25が配設される筐体である。別筐体68は、人検知用の人感センサ24及び顔認証用の撮像装置(カメラ)25を内部に又は一部を外部に配設するものであり、以下、人検知/識別ボックス68として説明する。また、人検知/識別ボックス68は、水平方向にカメラの方向を調整するカメラ調整機構を配備しておくことができる。撮像装置25は、トイレの使用者の顔を撮像可能なように例えばレンズを人検知/識別ボックス68から露出させておくこともできるが、顔が撮影できればよい。また、人感センサ24は、トイレの使用者を検知可能なように検知面を人検知/識別ボックス68から露出させておくこともできるが、人が検知できればよい。また、人感センサ24及び撮像装置25が制御部67に有線又は無線通信により接続されていれば情報の送受は可能である。
人検知/識別ボックス68は、図2及び図3で例示したように、制御ボックス61及び便器10から離間した位置に配設されることができる。図2及び図3では、便器10が設置してあるトイレの壁Wに人検知/識別ボックス68が設置された例を挙げている。無論、壁W以外にも例えば室内の天井や室内に設置された棚などに人検知/識別ボックス68を設置することができる。人検知/識別ボックス68は、制御ボックス61とはケーブルK2による有線接続を採用すること、或いは無線接続を採用することができ、いずれの場合でも制御ボックス61とは離した位置で利用可能となっている。人検知/識別ボックス68は、水平方向に回転し、回転するボックスの向きを固定するための機構を配備しておくことができる。
また、人感センサ24、撮像装置25は、人の検知及び撮像を行い易くするために、少なくともわたり62より高い位置に、それぞれ検知面、撮像レンズが位置するように配設されることが好ましい。また、便座11の高さを考慮した所定の高さだけ高い位置に、検知面及び撮像レンズを備えることがより好ましい。
また、図2で例示する情報処理装置60の構成では、人検知/識別ボックス68と制御部67を有する制御ボックス61と排泄情報収集機能を有するセンサボックス63とをケーブルK1,K2で接続している。しかし、人検知/識別ボックス68がトイレの壁Wに配設され、制御部67を有するボックスが便器10の側面に配置されており、その設置作業も容易である。また、制御ボックス61は便器10の背面側に配置されることもでき、この場合の設置作業も容易である。また、ケーブルK1,K2はいずれも制御ボックス61から電源を供給する電源供給線も含むことが望ましい。なお、制御ボックス61へは図示しない電源ケーブルから電源が供給される。
なお、図2では、ケーブルK1がわたり62の内部を通っていることを前提にしているが、ケーブルK1は、情報収集部26に接続されてセンサボックス62から導出され、直接制御ボックス61に接続されることも可能である。その場合、ケーブルK1は便器10の縁部10cの上面側を通る(縁部10cの上面と便座本体11aとの間を通る)ことになる。
サーバ40は、その全体を制御する制御部41と、例えば通知条件と取得された様々な情報(及びそれに基づき生成された情報)とを蓄積する記憶部42と、を備えることができる。制御部41は、図1の出力部1eの一部の機能として端末装置50への通知の転送を実行するように構成することができる。例えば、記憶部42は、通知条件として、検知イベント毎に且つ使用者としての被介助者毎に通知先を記憶しておくこともできる。これにより、出力部1eの一部の機能を備えたサーバ40が、その通知条件に従って、検知イベントの発生に応じて通知先への出力を行うことができる。なお、ある検知イベントに対して通知する通知先は、1つであってもよいが、複数であってもよい。また、サーバ40は、端末装置50等の外部機器から、通知条件を設定する設定部を備えることが好ましく、これにより、運用形態に応じて通知条件を設定することができるようになる。
制御部41は、例えば、CPU、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。また、制御部41は、例えば集積回路によって実現することもできる。この記憶装置は、記憶部42と兼用とすることができ、また、このプログラムは、サーバ40の機能をCPUに実現させるためのプログラムとすることができる。
端末装置50は、トイレの使用者としての被介護者を介護する(介護することになる)介護者がもつ端末装置であり、可搬型の情報処理装置とすることができるが、設置型の装置であってもよい。前者の場合、端末装置50は、携帯電話機(スマートフォンと称されるものも含む)、タブレット、モバイルPCなどのスマートデバイスとすることができるが、電光掲示板などとすることもできる。端末装置50も、図示しないが、その全体の制御を行う制御部と、記憶部と、を備えることができ、この制御部は、制御部41と同様に、例えばCPU、作業用メモリ、記憶装置などによって実現することができる。また、この記憶装置に記憶されるプログラムは、端末装置50の機能をCPUに実現させるためのプログラムとすることができる。
次に、情報処理装置60の詳細な例について、図4を参照しながら説明する。図4は、図2の情報処理システムにおける情報処理装置の一構成例を示すブロック図である。情報処理装置60は、例えば、図2及び図3に図示するように2つの装置で構成されることができる。また、情報処理装置60は、トイレに設置する各種センサを有することから「トイレセンサ」又は「トイレセンサ装置」と称することもできる。トイレセンサは、被介護者のトイレ利用の監視を通信ネットワーク経由で行う本システムにおいて、いわゆるエッジに該当する。
制御ボックス61には、例えば、CPU27a、コネクタ27b、USB I/F27c、27d、及びWiFiモジュール27eを収納しておくことができる。なお、USBはUniversal Serial Busの略であり、USB、WiFiはいずれも登録商標である(以下同様)。なお、制御ボックス61において、各種I/Fやコネクタを備えず、直接、CPU27aに接続することもできる。
図4に示すように、制御ボックス61とセンサボックス63とは、コネクタ27b及びUSB I/F27cで例示するインタフェースによって接続され、その接続線はケーブルK1に収容される。ケーブルK1の一部はわたり62(及び外側筐体69)の内部を通ることになる。また、制御ボックス61と人検知/識別ボックス68とは、コネクタ27b及びUSB I/F27dで例示するインタフェースによって接続され、その接続線はケーブルK2に収容される。
このように、情報処理装置60には、各ボックスやわたり62に基板やそれらを接続するケーブルなどが備えられることになる。情報処理装置60は、上述のような分割したボックス構成を採用し且つケーブルを接続するコネクタの向きを最適化することで、ケーブル余長に必要な空間を削減、基板と搭載部品のサイズダウンを図ることができる。また、本実施形態では、各ボックスの配置場所を分けることで個々の構造物の横幅を抑えることができる。
センサボックス63には、例えば、便座11に座ったことを検出す着座センサとして機能させる距離センサ26aと、排泄物を撮影する第1カメラ26bと、を収納しておくことができる。
次に、各ボックス内の構成要素について説明する。
CPU27aは、情報処理装置60の主制御部の例であり、情報処理装置60の全体を制御する。コネクタ27bは、人感センサ24及び距離センサ26aと、CPU27aと、を接続する。USB I/F27cは、第1カメラ26bとCPU27aとを接続し、USB I/F27dは、第2カメラ25とCPU27aとを接続する。
距離センサ26aは、対象物(便器10の使用者の臀部)との距離を計測し、便座11に使用者が座ったことを検知するセンサであり、閾値の値を超えて一定時間経過した場合に対象物が便座11に着座したことを検知する。また、距離センサ26aは、着座後に、対象物の距離が変動した場合、使用者が便座11から退座したことを検知する。
距離センサ26aは、例えば、赤外線センサ、超音波センサ、光学センサなどを採用することができる。距離センサ26aは、光学センサを採用する場合、センサボックス63に設けられた穴から光(可視光に限らない)の送受信が行えるように、送受信素子を配置しておけばよい。ここでの送受信素子は、送信素子と受信素子とが別個に構成されていてもよいし、一体化されていてもよい。距離センサ26aは、コネクタ27bを介してCPU27aに接続されており、検知結果をCPU27a側に送信することができるようになっている。この検知結果に基づき、CPU27aは、人の離着席情報を示す離着席データを得ることができ、サーバ40側にWiFiモジュール27eを介して送信することもできる。
第1カメラ26bは、排泄情報の取得の元となる撮像データを撮像するカメラの一例であり、センサボックス63に設けられた穴にレンズ部分を配置させた光学カメラとすることができる。第1カメラ26bは、トイレの便器10における排泄物の排泄範囲を撮像範囲に含めるように設置されている。第1カメラ26bは、USB I/F27cを介してCPU27aに接続されており、撮像データをCPU27a側に送信する。
人感センサ24は、センサ1aの一例であり、トイレの部屋の一部となる特定領域(人感センサ24の測定領域範囲)に人が存在すること(人の入退室)を検知するセンサであり、入退室センサと称することができる。人感センサ24は、その検知方式を問わず、例えば、赤外線センサ、超音波センサ、光学センサなどを採用することができる。人感センサ24は、コネクタ27bを介してCPU27aに接続されており、特定領域に人を検知した場合、検知結果をCPU27aに送信する。この検知結果は、CPU27aによりWiFiモジュール27eを介してサーバ40に送信されることもできる。
第2カメラ25は、撮像装置1bの一例であり、光学カメラとすることができ、トイレの使用者を識別するために使用者等の顔画像を撮影して顔画像データを得る顔認証用カメラの例である。第2カメラ25は、便器10が設置されるトイレの部屋(トイレの室内)に設置されることができる。CPU27aでは、第2カメラ25で撮像した顔画像データを用いて顔認証処理が実施されることになる。本システムでは、人感センサ24が人を検出した場合に、第2カメラ25がトイレに入場した対象者を撮影するように処理することができ、これにより、人を検出した場合にのみ顔認証を実施することができる。
WiFiモジュール27eは、取得した各種データをサーバ40へ送信する通信機器の一例であり、他の通信規格を採用するモジュールに置き換えることもできる。送信対象のデータは、CPU27aによりWiFiモジュール27eを介してサーバ40に送信されることができる。なお、第2カメラ25で取得された顔画像データは、データ量削減のため及びプライバシーへの配慮から基本的に送信されない。
CPU27aは、第2カメラ25で得られた画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が部屋の使用者(ユーザ)としての被介護者でないか被介護者であるかを仮に判定する。被介護者でないと仮判定されることは、介護者であると仮判定されることを意味する。
また、CPU27aは、仮判定の結果、被介護者であった場合、つまりマスクを着用していない人物である場合に、画像データにおける被介護者についての顔画像データに基づき、顔認証処理を実行する。画像データに複数の人物の顔画像の領域が含まれる場合、全ての人物のうち被介護者についての顔画像の領域のデータに基づき顔認証処理を実行すればよい。ここで、顔認証処理は、顔画像データと被介護者毎及び被介護者に付き添って入室する可能性のある介護者毎に予め記憶された顔の特徴を示す特徴データとを比較することで実行される。よって、顔認証処理では、仮判定の結果、介護者である場合、つまりマスクを着用している人物である場合に、顔認証処理を実行せず、以降の処理を終了する。
上記の特徴データは、例えば顔の特徴点を示すデータとすることができる。また、上記の特徴データは、端末装置50等の端末装置で取得された顔画像データから生成されて、情報処理装置60の内部の記憶装置に記憶されたデータとすることができる。この内部の記憶装置は、図示しないが例えばCPU27aに接続されること、あるいはCPU27aの内部に設けることができる。また、この比較は、例えば、特徴データとその元となる画像データ(顔画像データ)とを含む学習データで機械学習させた学習モデル(学習済みモデル)に、入室した被介護者の顔画像データを入力することで、実行されることもできる。
そして、このような顔認証処理により、仮判定により被介護者となった人物の顔画像データから、対象の部屋へ入室した人を特定すること、つまり対象の部屋へ入室した個人を特定(識別)することができる。ここで特定される人物は、上述のような比較を行った結果となるため、仮判定により介護者となる場合もあるが、その場合には顔認証結果の出力を行わないこともできる。また、部屋の使用者には、被介護者及び介護者のいずれにも該当しない人(例えば見舞いに来た家族など)も想定できるが、そのような人物については顔認証処理の結果として認証失敗となり、未知の人物として判断されることができ、その旨も通知してもよい。なお、第2カメラ25で撮像した顔画像データは、プライバシーを考慮して、顔認証処理後は保存しないようにしておくことが好ましい。
CPU27a、WiFiモジュール27eは図1の出力部1eの一例とすることができる。また、CPU27aは、上記顔認証処理の結果を、WiFiモジュール27eを介して通知先に出力する。また、CPU27aは、上記顔認証処理で介護者を認証した場合、介護者についての顔認証処理の結果を除外して、顔認証処理の結果を通知先に出力することもできる。また、上記顔認証処理の結果、未知の人物の場合には、CPU27aは、未知の人物が入室した旨を通知してもよいし、通知をしなくてもよく、いずれの処理を実行するかは予め定めておけばよい。
このように、顔認証処理の結果をはじめ、排泄情報、及び離着席情報からそれらが示す検知イベントを検知する主な処理は、CPU27aが担うことができる。通知先は、介助者のいずれか1又は複数が保持する端末装置50とすることができ、どの介助者を通知先とするかは通知条件に含めておくことができる。最終的に端末装置50において表示及び/又は音声出力を行うことにより、介護者に通知されることができる。また、端末装置50は、スマートデバイスであることを前提に説明しているが、通知受信時に音を出すだけの装置や、入室や個人名などを表示する電光掲示板などであってもよい。このように通知先は、端末装置50の他に又はそれに代えて、例えばナースコールシステムの通知装置、介護者が端末装置50以外にもつ他の端末装置(例えばPHS:Personal Handy-phone System)、インターカム等であってもよい。なお、排泄情報や離着席情報の通知については、その詳細を省略するが、いずれも検知イベントの一つとして取り扱うことができる。
また、CPU27a、USB I/F27c、WiFiモジュール27e、及びサーバ40は、第1カメラ26bで撮像された撮像データに基づき上記の排泄情報を得る。この場合、撮像データから排泄情報を得る主な処理は、サーバ40が担うことができる。但し、CPU27aがこの処理を担うように構成することもできる。撮像データに基づき、排泄の内容を示す排泄情報を得るために、サーバ40又はCPU27aは、第1カメラ26bで得られた撮像データに基づき排泄情報を分析する分析部を備える。この分析部は、上記顔認証処理の結果として、被介護者を認証できた場合、つまり入室者が特定できてその人が被介護者であった場合に、排泄情報の分析を実行する。第1カメラ26bでの撮像の実施も、このような顔認証処理の結果が得られた場合にはじめてなされることができる。
図2の例におけるサーバ40は、例えば学習済みモデルに撮像データを入力し、排泄情報を取得する。そして、主にサーバ40は、撮像データに、便器及びその洗浄用液体を除く被写体として糞尿以外の物体である異物が含まれるか否かを示す情報を、排泄情報の一部として得ることが好ましい。異物は、他物体と称することもでき、糞尿以外のものであれば、液体でも固体でもよく、例えば嘔吐物、下血、血液の嘔吐(吐血)、おむつ、尿とりパッド、トイレットペーパーの芯などのいずれか1又は複数を含むことができる。また、サーバ40は、異物ではなく排泄物であった場合には、排泄情報として、排泄物の形状、色、量を得るように構成することもできる。また、CPU27a及びWiFiモジュール27e、あるいはサーバ40は、分析部での分析結果も通知先に通知することができる。この場合の通知先は顔認証処理の結果の通知先と異なっていてもよく、どの通知先にするかは例えば通知条件として、情報処理装置60内の記憶装置あるいは記憶部42に記憶しておけばよい。
また、排泄情報、離着席情報等の情報は、サーバ40が記憶部42等に記憶しておき、例えば端末装置50からのアクセスに応じてサーバ40が出力するようにしておくこともできる。特に、サーバ40が排泄日誌の生成機能を備えることが望ましく、その場合、生成した排泄日誌を記憶部42に格納しておけば、端末装置50から、端末装置50の使用者となる介護者が望むときに排泄日誌を閲覧できるようになる。なお、排泄日誌には排泄行為の日時を含むことになるが、この日時は、排泄物の撮像データの撮像日時、被写体の識別日時、入退室日時、着座日時、退座日時、着座から退座の中間の日時などのいずれかにより得ることができる。
次に、図5を参照しながら顔の特徴データの生成及び登録の処理例について説明する。図5は、図2の情報処理システムにおける顔モデルデータの生成及び登録の処理の流れの一例を説明するための概略図である。
図5に示すように、顔の特徴データ(以下、顔モデルデータ)の登録は、顔モデルデータの生成及び情報処理装置60への顔モデルデータの送信を行うことでなされる。まず、顔モデルデータの生成に使用する顔写真は、介護者などが端末装置50などの端末で、自身や被介護者を撮影して得た撮像データとすることができる。この端末は、得られた撮像データをクラウド上にあるサーバ40に送信し、サーバ40が撮像データから顔認証用の顔モデルデータを生成する。どのような顔モデルデータとするかは問わず、顔認証処理での認証精度が高ければよいが、顔認証処理での処理負荷が軽いような顔モデルデータとすることが好ましい。顔モデルデータとは、顔写真などから目、口、鼻や輪郭などの特徴を抽出した情報を含むデータとすることができる。また、被介護者自身が端末装置50と同等の端末で自身の顔写真を撮影して、その撮像データをサーバ40に送信し、サーバ40が顔モデルデータを生成することもできる。
その後、サーバ40は、生成された顔モデルデータを情報処理装置60に送信し、情報処理装置60がその顔モデルデータを顔認証処理時に参照できるように登録、つまりインストールし、その顔モデルデータを保持する。サーバ40から情報処理装置60にデータを送信する際には、このように顔写真などの画像データそのものを送信せずにモデル化したデータのみを送信することができる。
顔モデルデータの生成はサーバ40以外のサーバで実行することもできる。また、顔モデルデータの生成については、顔写真を撮影した端末装置50等の端末で顔モデルデータが生成できる場合は、サーバ40等のサーバを使用せずに、端末で生成したデーを直接、情報処理装置60に送信することも可能である。
次に、判定部1c及び顔認証部1dに対応する機能について、つまり顔検出、顔の識別(顔認証)、マスク検出について、図6及び図7を参照しながら説明する。図6は、情報処理装置60における、介護者がマスクを着用していない場合の顔認証処理の一例を説明するための概略図である。図7は、情報処理装置60における、介護者がマスクを着用している場合の顔認証処理の一例を説明するための概略図である。
顔検出、顔の識別(顔認証)、マスク検出の処理については、機械学習によるニューラルネットワークベースのアルゴリズムを利用して実行することができる。図6に、介護者がマスク未着用の場合での顔認証機能の概要を示す。図6に示すように、まず、CPU27aが人感センサ24からの検出結果を受けてトイレ入室を検出すると、顔認証のために第2カメラ25を起動し、第2カメラ25の撮像範囲内を走査し、顔を検出すると検出した顔を矩形で囲む。結果として、図6の画像FDで示すように、撮像データにおいて被介護者、介護者の顔領域がそれぞれ矩形fa1、矩形fa2で囲まれる。
次に、CPU27aは、図6の画像FR1で示すように、検出した顔の領域fa1,fa2を顔モデルデータと照合することで、顔認証処理を実施する。CPU27aは、顔認証処理の結果、介護者と判明した場合(この例では顔の領域fa2が介護者の顔であると判明した場合)は、第2カメラ25の撮像範囲内にその介護者が居たとしても、顔の領域fa2を図6の画像FR2で示すように顔認証の対象外とする。介護者であるとの判定は、例えば、介護者の顔モデルデータにおけるある特徴点を最初に検出することでなされることができる。この特徴点は例えば帽子、ヘアピン、髪型などの特徴点として、事前に登録しておくことができる。最終的に、CPU27aは、画像FR2における顔の領域fa1に対する顔認証処理により、この顔が被介護者Aであると特定することができる。
図7に、介護者がマスクを着用している場合での顔認証機能の概要を示すように、まず、CPU27aが人感センサ24からの検出結果を受けてトイレ入室を検出すると、顔認証のために第2カメラ25を起動し、第2カメラ25の撮像範囲内を走査し、顔を検出すると検出した顔を矩形で囲む。結果として、図7の画像FDで示すように、撮像データにおいて被介護者、介護者の顔領域がそれぞれ矩形fa1、矩形fa2で囲まれる。
CPU27aは、矩形で囲まれた顔の領域fa1,fa2にマスクがある場合、図7の画像MDで示すように、マスクを矩形(この場合、矩形領域ma2)で囲みマスクが着用されていると判定する。CPU27aは、マスク着用判定の結果、マスクを着用している人物、つまり介護者であると判定した場合、第2カメラ25の撮像範囲内にその介護者が居たとしても、顔の領域fa2を図7の画像FRで示すように顔認証の対象外とし、顔の照合を行わない。CPU27aは、図7の画像FRにおけるマスク未着用の顔の領域fa1に対して、顔モデルデータと照合する顔認証処理を実行し、最終的にこの顔が被介護者Aであると特定することができる。
なお、図6及び図7において矩形の領域を実際に囲んだが、矩形の領域が検出され、その領域が指定できればよい。また、形状も顔については矩形でなく楕円形などの他の形状を採用することもできる。また、マスクについても矩形ではなく5角形以上の多角形や楕円形などの他の形状とすることもできる。
次に、図8を併せて参照しながら、端末装置50への通知情報の表示例について説明する。図8は、図2の情報処理システムにおける端末装置での通知例を説明するための図である。
図8に示すように、端末装置50は、その表示画面51において、通知情報52~54をその順番で通知することができる。通知情報52は、人感センサ24で人を検知し、その人が被介護者であると仮判定された場合に、被介護者のトイレへの入室を通知する通知情報の例である。この例のように、仮判定の結果として、被介護者の入室、つまりマスク非着用者の入室が検知された場合にも通知先に通知してもよい。
通知情報52の通知後に、顔認証処理の結果として通知される通知情報53は、使用者を顔認証処理により識別した結果として、入室した人がその使用者(この例では被介護者PAさん)であることを通知する通知情報の例である。なお、PAさんであることは顔モデルデータに氏名を関連付けておけば知ることができる。
また、PAさんが退室したことを検知した場合には、その旨を示す通知情報54を表示するように構成することができる。また、通知情報52の通知後、入室者が介護者であることが顔認証処理により検知された場合も、その介護者個人の氏名(例えばCさん)を通知することもできるが、何の通知を行わなくてもよい。代替処理として、その場合には、顔認証処理の結果を除外した通知を行うこと、つまり単に、入室者は介護者であった旨だけの通知を行うこともできる。
次に、図9を参照しながら、本システムにおいて要介護者の入室をトリガにして顔認証処理及び通知がなされる流れについて説明する。図9は、情報処理装置60における顔認証処理の一例を説明するためのフロー図である。なお、情報処理装置60での処理は主にCPU27aが主体となって実行される。
まず、情報処理装置60は、入室センサとして機能する人感センサ24の反応があったか否かを監視し(ステップS1)、反応があった段階(ステップS1でYESとなった段階)で、光学カメラである第2カメラ25を起動する(ステップS2)。ステップS1でNOの場合、つまり人感センサ24の反応がない場合は反応するまで待機する。
このように、要介護者がトイレに入室すると、ステップS1でYESとなって、第2カメラ25が起動する。起動した第2カメラは、入室した人物を撮像し、CPU27a又は第2カメラ25本体が撮像範囲内で顔を検出する処理を行い、顔が検出されたか否かを判定する(ステップS3)。ステップS3では、図6及び図7で例示したように、第2カメラ25が顔を検出すると検出した顔を矩形で囲む。ステップS3の判定は、顔が検出されるまで、必要に応じて第2カメラ25の撮影範囲を変えて撮像を行いながら実施される。ステップS3は顔が検出されるまで実行されるが、例えば所定時間経過後に処理を終了することもできる。
CPU27aは、ステップS3で検出された顔の領域に対して、マスクを着用しているか否かを判定することで、マスク検出を行う(ステップS4)。ステップS4でYESとなった場合、つまりマスク着用を検出した場合、CPU27aは、介護者であると判断し、顔認証処理を終了し、その対象の顔画像についてはそれ以上の認証処理を行わない。一方で、ステップS4でNOとなった場合、つまりマスク未着用の場合、CPU27aは、その顔の領域(顔の領域の画像データ)と顔モデルデータとの照合を行う(ステップS5)。照合時には、顔の領域の画像データについても顔モデルデータの生成時と同様に顔モデルデータを生成して、両者を比較することもできる。
CPU27aは、ステップS5での照合の結果、顔の領域の画像データが登録済みの顔モデルデータ(単に顔データとも称する)に一致又は対応するものであるかを判定する(ステップS6)。ステップS6でYESの場合、CPU27aは、使用者としての被介護者であるか介護者であるかの判定を行う(ステップS7)。CPU27aは、ステップS7において介護者であると判定した場合、処理を終了する。一方で、CPU27aは、ステップS7において使用者であると判定した場合は、通知機能や排泄物分析機能と連携して、入室者の通知や排泄物の分析を実行して排泄情報の通知の処理を行い(ステップS8)、処理を終了する。ステップS8での連携には、サーバ40との連携も含むことができる。
また、ステップS6でNOであった場合、つまり顔の領域の画像データが未登録又は登録済みであっても照合できなかった場合は、CPU27aは入室者をunknownとし(ステップS9)、通知機能や排泄物分析機能と連携し(ステップS8)、処理を終了する。なお、ステップS9の処理後は、このような連携を行わずに処理を終了することもできる。このように、情報処理装置60では、特定された入室者が使用者の場合、使用者のトイレ使用状態を示す排泄物の分析や通知など(使用者の状態分析や介護者への通知)の処理と連携することができる。
以上では、本システムについて1つのみ便器10(1つのみのトイレの部屋)が存在することを前提として説明した。しかし、本システムでは、複数のトイレについて、検知イベントの検知のための顔認証結果などを得ることが好ましい。これにより、或る被介助者が2つ以上のトイレを使用する可能性がある場合にも、本システムを適用できるようになる。
また、サーバ40は、病院等の施設の場合にはその施設内に設置することができ、個人利用である場合には個人宅に設置することや集合住宅に設置することもできる。いずれの場合にも、サーバ40は、上述したようにクラウドサーバとすることもできる。
また、端末装置50のプログラムは、通知情報の通知機能を含む介護ソフトウェアとして、端末装置50に実行可能に組み込まれていることができる。また、端末装置50にも、通知情報の他に、情報処理装置60等のトイレ側で得られた情報を直接(又は直接且つ自動的に)受信して記憶しておくこともでき、同様にサーバ40で記録される各種情報も受信して記憶しておくこともできる。
無論、サーバ40を用いず、サーバ40の機能として説明した機能を情報処理装置60側に備えることで、情報処理装置60単体で端末装置50への通知を行うように構成することもできる。つまり、情報処理装置60が検出した情報を直接、介護者の持つ端末装置50に通知を行うような構成を採用することもできる。この場合、例えばBluetooth(登録商標)やZigBee(登録商標)などを使用して直接通知することや、例えばWi-FiやLTEなどを使用した通信ネットワークを利用して通知することができる。
以上のように、本システムでは、介護施設や住宅において、通信ネットワークのいわゆるエッジに該当する情報処理装置60で取得した情報に基づき、顔認証処理を行い、要介護者の見守りを行うことができる。例えば、情報処理装置60を入室の検出を行いたいトイレに設置する。これにより、情報処理装置60は、人感センサ24により入室を検知してマスク判定処理及び顔認証処理を実行して、被介護者であった場合に端末装置50に入室及び顔認証結果として特定された被介護者を示す情報を通知することができる。
ここで、本システムでは、顔認証に使用する顔モデルデータはクラウド上等のサーバにあり、情報処理装置60は予め通信機能により顔モデルデータを取得し保持している。情報処理装置60は、入退室センサとなる人感センサ24で人を検出して、トイレへの入室、退室を検知する。そして、情報処理装置60では、人感センサ24が人を検出した後、顔認証用の第2カメラ25がトイレに入室した人物を撮影し、装置内に保持した顔モデルデータとの比較を行い最も近似した人物を抽出することで、入室した人物を識別する顔認証処理を実施する。撮影した写真データの保存はプライバシーを考慮して行わない。また、情報処理装置60は、距離センサ26a、第1カメラ26b、人感センサ24、顔認証用の第2カメラ25により、入室したトイレの場所や使用者名、入退室時間、便座への着座・退座などの情報を取得するよう構成することもできる。その場合、情報処理装置60は、取得した情報を、WiFiモジュール27eを介してサーバ40に送信し、サーバ40を介して介護士のもつ端末装置50へ通知されることができる。このとき、排泄物用の第1カメラ26bや顔認証用の第2カメラ25で撮影された画像データは、サーバ40に送信しないことができる。
本システムでは、上述のような構成により、具体的に(1)、(2)として説明した2つの課題は、次のようにして解決することができる。
まず、上記(1)の課題は次のように解決することができる。本実施形態では、情報処理装置60には、予め使用者と介護者の顔モデルデータが組み込まれる。そして、情報処理装置60では、顔モデルデータと顔認証用カメラに撮影された顔を照合し、入室した人物が介護者と特定できた場合は以降、その人物が顔認証カメラの撮像範囲内にいる場合は顔認証の対象外とする。これにより使用者のみを顔認証処理の対象とすることができるので、顔認証の処理能力を落とすことなく人物特定の精度向上が可能となる。
しかし介護者の顔モデルデータを組み込んでいたとしても、介護者の中にマスク着用者がいる場合、上記(2)の課題として説明したように、顔認証の認証精度は悪化する。そのため上記(2)の課題は、次のように解決する。本実施形態では、介護者がマスクをすることがあるのに対し、使用者が施設内ではマスクをしないことを利用しし、顔認証処理にマスク検出処理を追加することで、顔認証の誤認識を減らす。具体的には、情報処理装置60は、トイレに人物が入室したことを検出すると、人物の顔検出処理を実施し、検出した顔に対してマスク検出処理を行う。マスク検出処理を実施することでマスク着用した介護者を顔認証処理の対象から除外することが可能となり、マスクを着用していない顔に対してのみ顔認証を行うことができる。
マスクを着用しているか否かの判定は、喩え機械学習を使用するとしても、顔の照合に比べて高速であるため、省スペース且つ省電力のCPUが組み込まれたエッジデバイスであっても、リアルタイム性を向上させることが可能である。特に、トイレにおける顔認証による使用者の人物特定は、使用者に対するトイレ介助や事故防止ための駆け付けなど、介護者への通知機能の連携の必要があるため、識別精度だけでなくリアルタイム性も求められるが、本システムではリアルタイム処理が可能となる。実際、マスクを着用した顔の認証処理はマスク以外の顔の少ない特徴情報から照合をかけるため誤認識を発生しやすい。これに対し、本システムでは、マスク検出処理にてマスク着用を検出すると、顔認証処理の対象外とすることができるため、介護者を伴って使用者が入室したとしても顔認証処理の性能低下と使用者への誤認識を防ぐことができる。
本実施形態では、上述のような介護者の顔モデルデータの組み込みとマスク検出処理とにより、使用者と介護者が顔認証カメラの撮像範囲内にいたとしても、使用者にのみ顔認証が行われるため、顔認証の処理能力を落とすことなく人物特定の精度向上が可能となる。つまり、CPU27aが省スペース且つ省電力のCPUである非力な情報処理装置60であっても、処理性能や認証精度を低下することなく使用者の顔認証が可能となる。これにより、本実施形態では、介護者の負担軽減と、使用者への手厚いサポートが可能となる。また、本実施形態では、介護者を顔認証の対象外とできるため、介護者によるトイレ清掃などの場合を除外することもできる。また、介護者の負担の大きい排泄管理についても、顔認証処理を利用したトイレ入退室管理と排泄分析機能とを連携することで介助作業の負担を軽減することができる。
以上に説明したように、本システムは、高精度で性能低下を抑えたリアルタイムな使用者の識別を可能とし、介護者の負担軽減と、使用者への手厚いサポートが可能となる。即ち、本システムは、実施形態1で説明した効果を奏し、特に以下のような効果を奏する。
第一の効果は、事前に介護者を登録することで、介護者を使用者と誤検知することを減らすことができ、且つマスク検出処理を入れることでマスクを介護者が着用している場合はそれ以上の精度向上の効果を得られる点である。
第二の効果は、マスク検出処理は顔認証処理よりも軽い処理となるため、複数の介護者が1人の使用者の介助する場合においても、性能を大きく損なわず顔認証による使用者の特定が実現できる点である。
第三の効果は、マスク検出処理によりマスク着用の介護者を顔認証の対象外とするので、介護者がトイレ清掃などをする際にトイレ利用の対象から除外できる点である。
<実施形態3>
実施形態2では、部屋の一例としてトイレを挙げて説明したが、浴室など他種の部屋を採用することもできる。本実施形態では、図10を参照しながら浴室に使用する例を挙げるが、実施形態1,2で説明した様々な例が適用できる。図10は、実施形態3に係る情報処理装置の一構成例を示す概略図である。
図10に示すように、本実施形態に係る情報処理装置では、実施形態2における情報処理装置60において、排泄情報にかかる部位は不要である。本実施形態に係る情報処理装置は、制御ボックス61と、制御ボックス61にケーブルK2を介して接続された人検知/識別ボックス68と、を備えることになる。なお、図10では、サーバ40及び端末装置50は省略している。
人検知/識別ボックス68は、浴室の内部に設けておくか、あるいは浴室外における扉71からの人の入室を検知できる位置に配置しておくことができる。図10では、扉71から向かって浴室の浴槽70の奥側に人検知/識別ボックス68を設けた例を挙げている。制御ボックス61も浴室の内部に設けておくこともできるが、浴室外に設けておくこともできる。
本実施形態でも、介護施設や住宅において、要介護者の見守りを通信ネットワークのいわゆるエッジに該当する情報処理装置において行うことができる。本実施形態では、情報処理装置を浴室において入室検出及び顔認証を行いたい場所に設置すると、人感センサ24により入室を検知すること、及び第2カメラ25で取得された画像データに基づく顔認証処理を実行することができる。
また、浴室を例に挙げて説明したが、トイレ、浴室以外の、例えば施設のエントランス、寝室、食堂などの部屋に人検知/識別ボックス68を設置して、被介護者を見守ることもできる。また、介護施設以外にもマスク着用者が多く、且つネットワークなどに情報を流すことに懸念のある、病院施設、食品取り扱い会社、幼稚園、学校などでの利用も可能である。例えば、食堂に顔認証用カメラを設置することにより、食堂への来訪者を顔認証処理で特定することで、使用者に合わせた食事の用意が行うことができる。あるいは、施設のエントランスに顔認証用カメラを設置することにより、認証対象者がひとりで外出することを、他の人に通知することやその認証対象者のもつ端末で警報を発することなどにより防止することもできる。いずれの設置例においても、施設使用者の特定と介護等の他の作業の記録とを結びつけた運用を行うことができる。
<他の実施形態>
[a]
各実施形態において、情報処理システム及びそのシステムに含まれる各装置の機能について説明したが、各装置は、図示した構成例に限ったものではなく、各装置としてこれらの機能が実現できればよく、また追加の機能が備えられていてもよい。
[b]
実施形態1~3で説明した各装置は、次のようなハードウェア構成を有していてもよい。図11は、装置のハードウェア構成の一例を示す図である。なお、上記他の実施形態[a]についても同様である。
図11に示す装置100は、プロセッサ101、メモリ102、及び通信インタフェース(I/F)103を有することができる。プロセッサ101は、例えば、マイクロプロセッサ、MPU(Micro Processor Unit)、又はCPUなどであってもよい。プロセッサ101は、複数のプロセッサを含んでもよい。メモリ102は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。実施形態1~3で説明した各装置における機能は、プロセッサ101がメモリ102に記憶されたプログラムを読み込んで実行することにより実現される。この際、他の装置との情報の送受は通信インタフェース103又は図示しない入出力インタフェースを介して行うことができる。
プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
部屋への人の入室を検知するセンサと、
前記センサで人の入室が検知された場合、前記部屋へ入室した人を撮像して画像データを得る撮像装置と、
前記撮像装置で得られた前記画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が前記部屋の使用者としての認証対象者でないか前記認証対象者であるかを仮に判定する判定部と、
前記判定部での仮判定の結果、前記認証対象者である場合に、前記画像データにおける前記認証対象者についての顔画像データに基づき、顔認証処理を実行する顔認証部と、
前記顔認証処理の結果を通知先に出力する出力部と、
を備え、
前記顔認証部は、前記顔画像データと前記認証対象者毎及び前記認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで、前記顔認証処理を実行する、
情報処理装置。
(付記2)
前記出力部は、前記顔認証処理の結果として前記付添者を認証した場合、前記付添者についての前記顔認証処理の結果を除外して出力を行う、
付記1に記載の情報処理装置。
(付記3)
前記特徴データは、端末装置で取得された顔画像データから生成されて、前記情報処理装置に記憶されたデータである、
付記1又は2に記載の情報処理装置。
(付記4)
前記部屋はトイレであり、前記撮像装置は前記トイレの室内に設置され、
前記情報処理装置は、前記トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された他の撮像装置で撮像された撮像データに基づき、排泄の内容を示す排泄情報を分析する分析部を備え、
前記分析部は、前記顔認証処理の結果として、前記認証対象者を認証できた場合に、前記排泄情報の分析を実行し、
前記出力部は、前記分析部での分析結果を通知先に出力する、
付記1~3のいずれか1項に記載の情報処理装置。
(付記5)
センサで部屋への人の入室を検知し、
前記センサで人の入室が検知された場合、撮像装置で前記部屋へ入室した人を撮像して画像データを得、
前記撮像装置で得られた前記画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が前記部屋の使用者としての認証対象者でないか前記認証対象者であるかを仮に判定し、
仮判定の結果、前記認証対象者である場合に、前記画像データにおける前記認証対象者についての顔画像データに基づき、前記顔画像データと前記認証対象者毎及び前記認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで顔認証処理を実行し、
前記顔認証処理の結果を通知先に出力する、
情報処理方法。
(付記6)
前記通知先への出力は、前記顔認証処理の結果として前記付添者を認証した場合、前記付添者についての前記顔認証処理の結果を除外して実行する、
付記5に記載の情報処理方法。
(付記7)
前記特徴データは、端末装置で取得された顔画像データから生成されて記憶されたデータである、
付記5又は6に記載の情報処理方法。
(付記8)
前記部屋はトイレであり、前記撮像装置は前記トイレの室内に設置され、
前記顔認証処理の結果として、前記認証対象者を認証できた場合に、前記トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された他の撮像装置で撮像された撮像データに基づき、排泄の内容を示す排泄情報を分析する分析処理を実行し、
前記分析処理での分析結果を通知先に出力する、
付記5~7のいずれか1項に記載の情報処理方法。
(付記9)
コンピュータに、
センサで部屋への人の入室を検知した結果を入力し、
前記センサで人の入室が検知された場合、撮像装置で前記部屋へ入室した人を撮像させて画像データを得、
前記撮像装置で得られた前記画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が前記部屋の使用者としての認証対象者でないか前記認証対象者であるかを仮に判定し、
仮判定の結果、前記認証対象者である場合に、前記画像データにおける前記認証対象者についての顔画像データに基づき、前記顔画像データと前記認証対象者毎及び前記認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで顔認証処理を実行し、
前記顔認証処理の結果を通知先に出力する、
情報処理を実行させるためのプログラム。
(付記10)
前記通知先への出力は、前記顔認証処理の結果として前記付添者を認証した場合、前記付添者についての前記顔認証処理の結果を除外して実行する、
付記9に記載のプログラム。
(付記11)
前記特徴データは、端末装置で取得された顔画像データから生成されて、前記コンピュータに記憶されたデータである、
付記9又は10に記載のプログラム。
(付記12)
前記部屋はトイレであり、前記撮像装置は前記トイレの室内に設置され、
前記情報処理は、
前記顔認証処理の結果として、前記認証対象者を認証できた場合に、前記トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された他の撮像装置で撮像された撮像データに基づき、排泄の内容を示す排泄情報を分析する分析処理を実行し、
前記分析処理での分析結果を通知先に出力する、
付記9~11のいずれか1項に記載のプログラム。
1、60 情報処理装置
1a センサ
1b 撮像装置
1c 判定部
1d 顔認証部
1e 出力部
10 便器
10a 側面
10b 平面部
10c 縁部
11 便座
11a 便座本体
11b 便座カバー
24 人感センサ
25 撮像装置(第2カメラ)
26 情報収集部
26a 距離センサ
26b 第1カメラ
27a CPU
27b コネクタ
27c、27d USB I/F
27e WiFiモジュール
40 サーバ
41 制御部
42 記憶部
50 端末装置
51 表示画面
52、53、54 通知情報
61 収納筐体(制御ボックス)
62 橋架部(わたり)
63 内側筐体(センサボックス)
67 制御部
68 別筐体(人検知/識別ボックス)
69 外側筐体
70 浴槽
71 扉
100 装置
101 プロセッサ
102 メモリ
103 通信インタフェース

Claims (10)

  1. 部屋への人の入室を検知するセンサと、
    前記センサで人の入室が検知された場合、前記部屋へ入室した人を撮像して画像データを得る撮像装置と、
    前記撮像装置で得られた前記画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が前記部屋の使用者としての認証対象者でないか前記認証対象者であるかを仮に判定する判定部と、
    前記判定部での仮判定の結果、前記認証対象者である場合に、前記画像データにおける前記認証対象者についての顔画像データに基づき、顔認証処理を実行する顔認証部と、
    前記顔認証処理の結果を通知先に出力する出力部と、
    を備え、
    前記顔認証部は、前記顔画像データと前記認証対象者毎及び前記認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで、前記顔認証処理を実行する、
    情報処理装置。
  2. 前記出力部は、前記顔認証処理の結果として前記付添者を認証した場合、前記付添者についての前記顔認証処理の結果を除外して出力を行う、
    請求項1に記載の情報処理装置。
  3. 前記特徴データは、端末装置で取得された顔画像データから生成されて、前記情報処理装置に記憶されたデータである、
    請求項1又は2に記載の情報処理装置。
  4. 前記部屋はトイレであり、前記撮像装置は前記トイレの室内に設置され、
    前記情報処理装置は、前記トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された他の撮像装置で撮像された撮像データに基づき、排泄の内容を示す排泄情報を分析する分析部を備え、
    前記分析部は、前記顔認証処理の結果として、前記認証対象者を認証できた場合に、前記排泄情報の分析を実行し、
    前記出力部は、前記分析部での分析結果を通知先に出力する、
    請求項1~3のいずれか1項に記載の情報処理装置。
  5. センサで部屋への人の入室を検知し、
    前記センサで人の入室が検知された場合、撮像装置で前記部屋へ入室した人を撮像して画像データを得、
    前記撮像装置で得られた前記画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が前記部屋の使用者としての認証対象者でないか前記認証対象者であるかを仮に判定し、
    仮判定の結果、前記認証対象者である場合に、前記画像データにおける前記認証対象者についての顔画像データに基づき、前記顔画像データと前記認証対象者毎及び前記認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで顔認証処理を実行し、
    前記顔認証処理の結果を通知先に出力する、
    情報処理方法。
  6. 前記通知先への出力は、前記顔認証処理の結果として前記付添者を認証した場合、前記付添者についての前記顔認証処理の結果を除外して実行する、
    請求項5に記載の情報処理方法。
  7. 前記部屋はトイレであり、前記撮像装置は前記トイレの室内に設置され、
    前記顔認証処理の結果として、前記認証対象者を認証できた場合に、前記トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された他の撮像装置で撮像された撮像データに基づき、排泄の内容を示す排泄情報を分析する分析処理を実行し、
    前記分析処理での分析結果を通知先に出力する、
    請求項5又は6に記載の情報処理方法。
  8. コンピュータに、
    センサで部屋への人の入室を検知した結果を入力し、
    前記センサで人の入室が検知された場合、撮像装置で前記部屋へ入室した人を撮像させて画像データを得、
    前記撮像装置で得られた前記画像データに基づき、入室した人がマスクを着用しているか否かを判定することで、入室した人が前記部屋の使用者としての認証対象者でないか前記認証対象者であるかを仮に判定し、
    仮判定の結果、前記認証対象者である場合に、前記画像データにおける前記認証対象者についての顔画像データに基づき、前記顔画像データと前記認証対象者毎及び前記認証対象者に付き添って入室する可能性のある付添者毎に予め記憶された顔の特徴を示す特徴データとを比較することで顔認証処理を実行し、
    前記顔認証処理の結果を通知先に出力する、
    情報処理を実行させるためのプログラム。
  9. 前記通知先への出力は、前記顔認証処理の結果として前記付添者を認証した場合、前記付添者についての前記顔認証処理の結果を除外して実行する、
    請求項8に記載のプログラム。
  10. 前記部屋はトイレであり、前記撮像装置は前記トイレの室内に設置され、
    前記情報処理は、
    前記顔認証処理の結果として、前記認証対象者を認証できた場合に、前記トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された他の撮像装置で撮像された撮像データに基づき、排泄の内容を示す排泄情報を分析する分析処理を実行し、
    前記分析処理での分析結果を通知先に出力する、
    請求項8又は9に記載のプログラム。
JP2021179159A 2021-11-02 2021-11-02 情報処理装置、情報処理方法、及びプログラム Pending JP2023068253A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021179159A JP2023068253A (ja) 2021-11-02 2021-11-02 情報処理装置、情報処理方法、及びプログラム
PCT/JP2022/038498 WO2023079928A1 (ja) 2021-11-02 2022-10-17 情報処理装置、情報処理方法、及び非一時的なコンピュータ可読媒体
JP2024067878A JP2024096171A (ja) 2021-11-02 2024-04-19 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021179159A JP2023068253A (ja) 2021-11-02 2021-11-02 情報処理装置、情報処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024067878A Division JP2024096171A (ja) 2021-11-02 2024-04-19 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023068253A true JP2023068253A (ja) 2023-05-17

Family

ID=86241328

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021179159A Pending JP2023068253A (ja) 2021-11-02 2021-11-02 情報処理装置、情報処理方法、及びプログラム
JP2024067878A Pending JP2024096171A (ja) 2021-11-02 2024-04-19 情報処理装置、情報処理方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024067878A Pending JP2024096171A (ja) 2021-11-02 2024-04-19 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (2) JP2023068253A (ja)
WO (1) WO2023079928A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7416315B1 (ja) 2023-05-31 2024-01-17 三菱電機ビルソリューションズ株式会社 入退室管理システム、情報処理装置、入退室管理方法、及びコンピュータ読み取り可能な記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212624A (ja) * 2015-05-08 2016-12-15 富士ゼロックス株式会社 認証装置および画像形成装置
JP2020133116A (ja) * 2019-02-13 2020-08-31 Necエンベデッドプロダクツ株式会社 錠制御装置、錠制御方法およびプログラム
WO2021024584A1 (ja) * 2019-08-08 2021-02-11 Necプラットフォームズ株式会社 情報処理システム、情報処理装置、情報処理方法、及び非一時的なコンピュータ可読媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212624A (ja) * 2015-05-08 2016-12-15 富士ゼロックス株式会社 認証装置および画像形成装置
JP2020133116A (ja) * 2019-02-13 2020-08-31 Necエンベデッドプロダクツ株式会社 錠制御装置、錠制御方法およびプログラム
WO2021024584A1 (ja) * 2019-08-08 2021-02-11 Necプラットフォームズ株式会社 情報処理システム、情報処理装置、情報処理方法、及び非一時的なコンピュータ可読媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7416315B1 (ja) 2023-05-31 2024-01-17 三菱電機ビルソリューションズ株式会社 入退室管理システム、情報処理装置、入退室管理方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP2024096171A (ja) 2024-07-12
WO2023079928A1 (ja) 2023-05-11

Similar Documents

Publication Publication Date Title
JP7296559B2 (ja) 情報処理方法、情報処理プログラム及び情報処理システム
JP7193183B2 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP2024096171A (ja) 情報処理装置、情報処理方法、及びプログラム
US11895560B2 (en) Distributed type traffic line tracing apparatus, and method using the same
JP7183788B2 (ja) 行動判定装置及び行動判定方法
JP2023156282A (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP7264065B2 (ja) 被監視者監視支援システムおよび被監視者監視支援方法
WO2023074276A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び非一時的なコンピュータ可読媒体
JP7531185B2 (ja) インターホンシステム、クラウドシステム、制御方法、及びプログラム
WO2021246256A1 (ja) 排泄物分析装置、分析システム、サーバ装置、分析方法、及び非一時的なコンピュータ可読媒体
JP7424651B2 (ja) 排泄物分析装置、排泄物分析方法、及びプログラム
JP2020190871A (ja) 判定装置、判定装置の制御プログラム、および判定方法
WO2023032460A1 (ja) 情報処理装置、情報処理方法、及び非一時的なコンピュータ可読媒体
JP7363779B2 (ja) 制御プログラム、報告書出力方法、および報告書出力装置
JP7415434B2 (ja) 情報共有装置、情報共有システム、および情報共有プログラム
JP2019139340A (ja) 徘徊検出システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240430

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240621