JP2022130177A - 電子機器、電子機器の制御方法、及びプログラム - Google Patents

電子機器、電子機器の制御方法、及びプログラム Download PDF

Info

Publication number
JP2022130177A
JP2022130177A JP2021029204A JP2021029204A JP2022130177A JP 2022130177 A JP2022130177 A JP 2022130177A JP 2021029204 A JP2021029204 A JP 2021029204A JP 2021029204 A JP2021029204 A JP 2021029204A JP 2022130177 A JP2022130177 A JP 2022130177A
Authority
JP
Japan
Prior art keywords
electronic device
information
sensor
wave
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021029204A
Other languages
English (en)
Inventor
健宏 馬渕
Takehiro Mabuchi
智子 浅野
Tomoko Asano
裕 香島
Yu Kashima
永勲 高
Younghun Ko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2021029204A priority Critical patent/JP2022130177A/ja
Publication of JP2022130177A publication Critical patent/JP2022130177A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】被監視対象の監視に有益な電子機器、電子機器の制御方法、及びプログラムを提供する。【解決手段】電子機器は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体をセンサが検出することにより得られる点群の情報と、物体を撮像部が撮像することにより得られる画像の情報とを用いて、物体における所定の部位を機械学習する。【選択図】図１

Description

本開示は、電子機器、電子機器の制御方法、及びプログラムに関する。
例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献１は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する監視システムを開示している。また、特許文献２は、無線信号を利用して、生体の位置及び姿勢の推定を行うことができるセンサなどを開示している。また、特許文献３は、無線電波の受信レベルの変動に基づいて、ターゲットが就寝姿勢から上体を起こした姿勢に姿勢変化させたことを検出する処理装置を開示している。
特開２０１７－９１５５２号公報 特開２０１８－８０２１号公報 特開２０１９－２２０１４０号公報
ところで、出願人は、デジタルビデオカメラのような撮像部によって撮像された画像を用いて被監視対象を監視する電子機器などについての研究を重ね、既に複数件の特許出願を行った（例えば、特願２０２０－１４５０１２など）。そこで、例えばレーダのように送信波の反射波に基づいて物体を検出した結果に基づいて、例えば被監視対象の頭部の位置又は脚部の位置などのような身体の部位などを推定することができれば、被監視対象の監視に有益である。
本開示の目的は、被監視対象の監視に有益な電子機器、電子機器の制御方法、及びプログラムを提供することにある。
一実施形態に係る電子機器は、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体をセンサが検出することにより得られる点群の情報と、
前記物体を撮像部が撮像することにより得られる画像の情報とを用いて、
前記物体における所定の部位を機械学習する。
また、一実施形態に係る電子機器は、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群の情報を用いて、前記物体における所定の部位を機械学習して、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する被監視対象をセンサが検出することにより得られる点群の情報を用いて、
前記被監視対象における所定の部位を推定する。
一実施形態に係る電子機器の制御方法は、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体をセンサによって検出することにより点群の情報を取得するステップと、
前記物体を撮像部によって撮像することにより画像の情報を取得するステップと、
前記物体における所定の部位を機械学習するステップと、
を含む。
また、一実施形態に係る電子機器の制御方法は、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群の情報を用いて、前記物体における所定の部位を機械学習するステップと、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する被監視対象をセンサが検出することにより得られる点群の情報を用いて、前記被監視対象における所定の部位を推定するステップと、
を含む。
一実施形態に係るプログラムは、
電子機器に、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体をセンサによって検出することにより点群の情報を取得するステップと、
前記物体を撮像部によって撮像することにより画像の情報を取得するステップと、
前記物体における所定の部位を機械学習するステップと、
を実行させる。
また、一実施形態に係るプログラムは、
電子機器に、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群の情報を用いて、前記物体における所定の部位を機械学習するステップと、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する被監視対象をセンサが検出することにより得られる点群の情報を用いて、前記被監視対象における所定の部位を推定するステップと、
を実行させる。
一実施形態によれば、被監視対象の監視に有益な電子機器、電子機器の制御方法、及びプログラムを提供することができる。
一実施形態に係る電子機器の機能的な構成を示すブロック図である。 一実施形態に係るセンサの機能的な構成を示すブロック図である。 一実施形態に係るセンサによって送信される送信信号の例を示す図である。 一実施形態に係る電子機器の動作を説明するフローチャートである。 一実施形態に係る電子機器が抽出する所定の部位の座標について説明する図である。 図４に示す動作の一部をより詳細に説明するフローチャートである。 一実施形態に係る電子機器による処理の例を説明する図である。 一実施形態に係る電子機器による処理の例を説明する図である。 一実施形態に係る電子機器による処理の例を説明する図である。 一実施形態に係る電子機器による処理の例を説明する図である。 一実施形態に係る電子機器による処理の例を説明する図である。 一実施形態に係る電子機器によって処理された点群の情報の例を説明する図である。 一実施形態に係る電子機器によって処理された点群の情報の例を説明する図である。 一実施形態に係る電子機器に機械学習のための情報を供給する検出機器の構成の例を示す図である。 一実施形態に係る電子機器に機械学習のための情報を供給する検出機器の構成の例を示す図である。 一実施形態に係る電子機器による機械学習の例を説明する図である。 一実施形態に係る電子機器による所定の部位の指定及び画像認識の例を説明する図である。 一実施形態に係る電子機器による所定の部位の推定の例を説明する図である。
本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び／又は電子機器を使用する者（典型的には人間）としてよい。ユーザは、一実施形態に係るシステム及び／又は電子機器を用いることで、被監視対象の監視を行う者を含んでもよい。また、「被監視対象」とは、一実施形態に係るシステム及び／又は電子機器によって監視される対象となる者（例えば人間又は動物）としてよい。さらに、ユーザは、被監視対象を含んでもよい。
一実施形態に係る電子機器が利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び／又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び／又は管理は、極めて重要である。一実施形態に係る電子機器が利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び／又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係る電子機器が利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。
一実施形態に係る電子機器は、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような被監視対象が着座している椅子からずり落ちる動作を監視することができる。ここで、被監視対象が着座している椅子からずり落ちる動作とは、例えば、被監視対象が椅子の座面に着座している場合に当該座面の上で身体を部分的に滑らせるようにして当該椅子から落下する動作などとしてよい。
特に、一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような被監視者が椅子などに着座している場合に、椅子からずり落ちる動作が終了する前、例えば床面などに落下する前に、所定の警告を発することができる。したがって、一実施形態に係る電子機器によれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が椅子からずり落ちる前に、被監視者が椅子からずり落ちようとしていることを認識し得る。
また、一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような被監視対象が立っている状態から転倒する動作などを監視することもできる。特に、一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような被監視者が立っている場合に、転倒する動作が終了する前、例えば床面などに倒れ込む前に、所定の警告を発することができる。したがって、一実施形態に係る電子機器によれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が転倒する前に、被監視者が転倒しようとしていることを認識し得る。
また、一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような被監視対象が種々の危険な状態に陥ることを監視することもできる。特に、一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような被監視者が実際に危険な状態に陥る前に、所定の警告を発することができる。一実施形態に係る電子機器によれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視対象に及び得る様々な危険を、より早い段階で認識することができる。
以下説明する一実施形態に係る電子機器は、例えばミリ波レーダのような技術に基づくセンサによって検出される３次元空間における点群の情報から、言わば画像のような２次元的に処理可能な点群の情報を生成する。一実施形態に係る電子機器は、例えば画像認識のような技術を採用することにより、２次元的に処理可能な点群の情報に基づいて、例えば被監視対象の身体の部位を認識することができる。このようにして認識された被監視対象の身体の部位の動きを例えば随時監視することにより、一実施形態に係る電子機器は、被監視対象が種々の危険な状態に陥るか否か判定することができる。以下、一実施形態に係る電子機器について、図面を参照して詳細に説明する。
図１は、一実施形態に係る電子機器１の構成を概略的に示す機能ブロック図である。図１に示すように、一実施形態に係る電子機器１は、コントローラ１０を備える。一実施形態において、電子機器１は、例えば、記憶部２０、通信部３０、表示部４０、及び報知部５０などの少なくともいずれかを、適宜備えてもよい。上述したコントローラ１０、記憶部２０、通信部３０、表示部４０、及び報知部５０などは、電子機器１における任意の箇所に配置又は内蔵してよい。また、上述したコントローラ１０、記憶部２０、通信部３０、表示部４０、及び報知部５０などの少なくともいずれかは、電子機器１の外部に配置してもよい。一実施形態に係る電子機器１は、図１に示した機能部の少なくても一部を省略してもよいし、図１に示した機能部以外の他の機能部を適宜備えてもよい。
一実施形態に係る電子機器１は、各種の機器としてよい。例えば、一実施形態に係る電子機器は、専用に設計された端末の他、汎用のスマートフォン、タブレット、ファブレット、ノートパソコン（ノートＰＣ）、コンピュータ、又はサーバなどのように、任意の機器としてよい。また、一実施形態に係る電子機器は、例えば携帯電話又はスマートフォンのように、他の電子機器と通信を行う機能を有してもよい。ここで、上述の「他の電子機器」とは、例えば携帯電話又はスマートフォンのような電子機器としてもよいし、例えば基地局、サーバ、専用端末、又はコンピュータのように、任意の機器としてもよい。「他の電子機器」とは、例えば後述のセンサ１００及び／又は撮像部３００などとしてもよい。また、本開示における「他の電子機器」も、電力によって駆動される機器又は装置などとしてよい。一実施形態に係る電子機器が、他の電子機器と通信を行う際には、有線及び／又は無線による通信を行うものとしてよい。
図１に示すように、一実施形態に係る電子機器１は、センサ１００に、有線及び／又は無線によって接続されてよい。このような接続により、一実施形態に係る電子機器１は、センサ１００によって検出された結果の情報を取得することができる。また、一実施形態に係る電子機器１は、撮像部３００に、有線及び／又は無線によって接続されてよい。このような接続により、一実施形態に係る電子機器１は、撮像部３００によって撮像された画像の情報を取得することができる。センサ１００及び撮像部３００については、さらに後述する。
コントローラ１０は、電子機器１を構成する各機能部をはじめとして、電子機器１の全体を制御及び／又は管理する。コントローラ１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。コントローラ１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
一実施形態において、コントローラ１０は、例えばＣＰＵ又はＤＳＰ及び当該ＣＰＵ又はＤＳＰで実行されるプログラムとして構成されてよい。コントローラ１０において実行されるプログラム、及び、コントローラ１０において実行された処理の結果などは、例えば記憶部２０に記憶されてよい。コントローラ１０は、コントローラ１０の動作に必要なメモリを適宜含んでもよい。
一実施形態に係る電子機器１において、コントローラ１０は、例えばセンサ１００による検出の結果として出力される情報について、種々の処理を行うことができる。このため、電子機器１において、コントローラ１０は、センサ１００と有線及び／又は無線によって接続されてよい。また、一実施形態に係る電子機器１において、コントローラ１０は、例えば撮像部３００による撮像の結果として出力される情報（画像）について、種々の処理を行うことができる。このため、電子機器１において、コントローラ１０は、撮像部３００と有線及び／又は無線によって接続されてよい。一実施形態に係る電子機器１のコントローラ１０の動作については、さらに後述する。
記憶部２０は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部２０は、例えばコントローラ１０において実行されるプログラム、及び、コントローラ１０において実行された処理の結果などを記憶してよい。記憶部２０は、センサ１００による検出結果、及び／又は、撮像部３００によって撮像された画像などを記憶又は蓄積してもよい。また、記憶部２０は、コントローラ１０のワークメモリとして機能してよい。記憶部２０は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部２０は、一実施形態に係る電子機器１に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部２０は、例えば、ハードディスクドライブ（Hard Disk Drive，ＨＤＤ）及び／又はソリッドステートドライブ（Solid State Drive，ＳＳＤ）などを含んで構成されてもよい。また、記憶部２０は、後述のコントローラ１０として用いられるＣＰＵの内部メモリであってもよいし、コントローラ１０に別体として接続されるものとしてもよい。
記憶部２０は、例えば機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるＡＩ（Artificial Intelligence）の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、ＡＩ（Artificial Intelligence）の一部には、機械学習が含まれるとしてもよい。
本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてもよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープラーニングを利用するものとしてよい。ディープラーニングは、ニューラルネットワークの一種であり、ネットワークの階層が深いニューラルネットワークがディープラーニングと呼ばれている。
本開示の技術において、被監視対象の身体の動作ａと、この動作ａから発生する被監視対象の動作結果Ａとの間には、一般的に一定の関係が存在するものとしてよい。なお、ここでの動作結果には、被監視対象の動作、被監視対象の動作開始時点、被監視対象の動作から発生する事故及び事件その他の出来事などを含むとしてよい。例えば、被監視対象の身体の動作ａが行われ、この動作ａから被監視対象の動作結果Ａが発生したとする。また、被監視対象の身体の動作ｂが行われ、この動作ｂから被監視対象の動作結果Ｂが発生したとする。本開示の技術は、上記動作ａと動作結果Ａ、動作ｂと動作結果Ｂその他の動作と動作結果の関係を、機械学習データとして（例えば記憶部２０に）蓄積する。そして、本開示の技術は、動作ｘが抽出された場合に、上記機械学習データを用いて、動作ｘに関係する動作結果Ｘを推定するとしてよい。
特に、一実施形態において、機械学習データは、被監視対象が所定の動作をする際の特徴点の動きを機械学習したデータとしてよい。また、機械学習データは、被監視対象として特定の人物（例えば特定の要介護者など）が所定の動作をする際の特徴点の動きを機械学習したデータとしてもよい。
通信部３０は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部３０によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）、及びＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、及びＮＦＣ（Near Field Communication）等を含む。通信部３０は、例えばＩＴＵ－Ｔ(International Telecommunication Union Telecommunication Standardization Sector)において通信方式が標準化されたモデムを含んでよい。通信部３０は、上記の通信規格の１つ又は複数をサポートすることができる。
通信部３０は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。通信部３０は、例えばアンテナを介して、例えば他の電子機器の通信部と無線通信してもよい。また、通信部３０は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部３０は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアなどの説明は省略する。
通信部３０が受信する各種の情報は、例えば記憶部２０及び／又はコントローラ１０に供給されてよい。通信部３０が受信する各種の情報は、例えばコントローラ１０に内蔵されたメモリに記憶してもよい。また、通信部３０は、例えばコントローラ１０による処理結果、及び／又は、記憶部２０に記憶された情報などを外部に送信してもよい。
表示部４０は、例えば、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、有機ＥＬディスプレイ（Organic Electro-Luminescence panel）、又は無機ＥＬディスプレイ（Inorganic Electro-Luminescence panel）等の任意の表示デバイスとしてよい。表示部４０は、文字、図形、又は記号等の各種の情報を表示してよい。また、表示部４０は、例えばユーザに電子機器１の操作を促すために、種々のＧＵＩを構成するオブジェクト、及びアイコン画像などを表示してもよい。表示部４０において表示を行うために必要な各種データは、例えばコントローラ１０又は記憶部２０などから供給されてよい。また、表示部４０は、例えばＬＣＤなどを含む場合、適宜、バックライトなどを含んで構成されてもよい。一実施形態において、表示部４０は、例えばセンサ１００による検出の結果に基づく情報を表示してもよい。また、一実施形態において、表示部４０は、例えば撮像部３００による撮像の結果に基づく情報を表示してもよい。
報知部５０は、コントローラ１０から出力される所定の信号に基づいて、電子機器１のユーザなどに注意を促すための所定の警告を報知してよい。報知部５０は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、報知部５０は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、報知部５０は、コントローラ１０から出力される所定の信号に基づいて、所定の警告を報知してよい。一実施形態において、報知部５０は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として報知してもよい。
一実施形態において、報知部５０は、例えば被監視対象が着座していた椅子からずり落ちる動作を開始する前に、被監視対象が椅子からずり落ちるリスクがある旨の警告を報知してよい。また、一実施形態において、報知部５０は、被監視対象が着座していた椅子からずり落ちる動作を終了する前に、被監視対象が椅子からずり落ちるリスクがある旨の警告を報知してもよい。例えば、一実施形態において、視覚情報を出力する報知部５０は、被監視対象が椅子からずり落ちるリスクがある旨が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する報知部５０は、被監視対象が椅子からずり落ちるリスクがある旨が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてもよい。
図１に示す電子機器１は、報知部５０を内蔵している。しかしながら、一実施形態において、報知部５０は、電子機器１の外部に設けられてもよい。この場合、報知部５０と電子機器１とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
図１に示すような、一実施形態に係る電子機器１を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。
図１に示すセンサ１００は、例えば被監視対象のような人体などを、３次元空間における点群の情報として検出するように構成される。以下、一実施形態に係るセンサ１００について、より詳細に説明する。
図２は、一実施形態に係るセンサ１００の構成を概略的に示す機能ブロック図である。図２に示すセンサ１００は、一例として、ミリ波レーダ（RADAR（Radio Detecting and Ranging））の技術に基づくもの（ミリ波レーダセンサ）とする。しかしながら、一実施形態に係るセンサ１００は、ミリ波レーダセンサに限定されない。一実施形態に係るセンサ１００は、例えば、準ミリ波レーダセンサとしてよい。また、一実施形態に係るセンサ１００は、ミリ波レーダセンサ又は準ミリ波レーダセンサに限定されず、電波を送受信する各種のレーダセンサとしてよい。また、一実施形態に係るセンサ１００は、例えば、マイクロ波センサ、超音波センサ、又はLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）のような技術に基づくセンサとしてもよい。
ミリ波方式のレーダによって距離などを測定する際、周波数変調連続波レーダ（以下、ＦＭＣＷレーダ（Frequency Modulated Continuous Wave radar）と記す）が用いられることがある。ＦＭＣＷレーダは、送信する電波の周波数を掃引して送信信号が生成される。したがって、例えば７９ＧＨｚの周波数帯の電波を用いるミリ波方式のＦＭＣＷレーダにおいて、使用する電波の周波数は、例えば７７ＧＨｚ～８１ＧＨｚのように、４ＧＨｚの周波数帯域幅を持つものとなる。７９ＧＨｚの周波数帯のレーダは、例えば２４ＧＨｚ、６０ＧＨｚ、７６ＧＨｚの周波数帯などの他のミリ波／準ミリ波レーダよりも、使用可能な周波数帯域幅が広いという特徴がある。以下、例として、このようなＦＭＣＷレーダを採用する場合について説明する。本開示で利用されるＦＭＣＷレーダの方式は、通常より短い周期でチャープ信号を送信するＦＣＭ方式（Fast-Chirp Modulation）を含むとしてもよい。センサ１００が生成する信号はＦＭＣＷ方式の信号に限定されない。センサ１００が生成する信号はＦＭＣＷ方式以外の各種の方式の信号としてもよい。送信される信号として記憶される送信信号列は、これら各種の方式によって異なるものとしてよい。例えば、上述のＦＭＣＷ方式のレーダ信号の場合、時間サンプルごとに周波数が増加する信号及び減少する信号を使用してよい。上述の各種の方式は、公知の技術を適宜適用することができるため、より詳細な説明は、適宜省略する。
図２に示すように、一実施形態に係るセンサ１００は、レーダ制御部１１０、送信部１２０、及び受信部１３０を含んで構成されてよい。上述したレーダ制御部１１０、送信部１２０、及び受信部１３０などは、センサ１００における任意の箇所に配置又は内蔵してよい。また、上述したレーダ制御部１１０、送信部１２０、及び受信部１３０などの少なくともいずれかは、センサ１００の外部に配置してもよい。一実施形態に係るセンサ１００は、図２に示した機能部の少なくても一部を省略してもよいし、図２に示した機能部以外の他の機能部を適宜備えてもよい。
レーダ制御部１１０は、センサ１００を構成する各機能部をはじめとして、センサ１００の全体を制御及び／又は管理する。レーダ制御部１１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。レーダ制御部１１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
一実施形態において、レーダ制御部１１０は、例えばＣＰＵ又はＤＳＰ及び当該ＣＰＵ又はＤＳＰで実行されるプログラムとして構成されてよい。レーダ制御部１１０において実行されるプログラム、及び、レーダ制御部１１０において実行された処理の結果などは、例えばレーダ制御部１１０に内蔵される任意の記憶部に記憶されてよい。レーダ制御部１１０は、レーダ制御部１１０の動作に必要なメモリを適宜含んでもよい。
一実施形態に係るセンサ１００において、レーダ制御部１１０は、距離ＦＦＴ（Fast Fourier Transform）処理、速度ＦＦＴ処理、到来角推定処理、及びクラスタリング処理などの各種の処理を、適宜行ってよい。これらのようなレーダ制御部１１０が行う各処理は、一般的なレーダ技術として既知であるため、より詳細な説明は省略する。
図２に示すように、送信部１２０は、信号生成部１２１、シンセサイザ１２２、位相制御部１２３、増幅器１２４、及び送信アンテナ１２５を備えてよい。一実施形態に係るセンサ１００は、送信アンテナ１２５を複数含んでもよい。この場合、センサ１００は、複数の送信アンテナ１２５のそれぞれに対応する位相制御部１２３及び増幅器１２４も複数含んでも良い。
受信部１３０は、図２に示すように、受信アンテナ１３１、ＬＮＡ１３２、ミキサ１３３、ＩＦ部１３４、及びＡＤ変換部１３５を備えてよい。一実施形態に係るセンサ１００は、複数の送信アンテナ１２５のそれぞれに対応して、受信部１３０を複数含んでもよい。
一実施形態に係るセンサ１００において、レーダ制御部１１０は、送信部１２０及び受信部１３０の少なくとも一方を制御することができる。この場合、レーダ制御部１１０は、任意の記憶部に記憶された各種情報に基づいて、送信部１２０及び受信部１３０の少なくとも一方を制御してよい。例えば、レーダ制御部１１０に内蔵された任意の記憶部は、送信アンテナ１２５から送信する送信波及び受信アンテナ１３１から受信する反射波によって物体を検出する範囲を設定するための各種パラメータを記憶してよい。また、一実施形態に係るセンサ１００において、レーダ制御部１１０は、信号生成部１２１に信号の生成を指示したり、信号生成部１２１が信号を生成するように制御したりしてもよい。
信号生成部１２１は、レーダ制御部１１０の制御により、送信アンテナ１２５から送信波として送信される信号（送信信号）を生成する。信号生成部１２１は、送信信号を生成する際に、例えばレーダ制御部１１０による制御に基づいて、送信信号の周波数を割り当ててよい。具体的には、信号生成部１２１は、例えばレーダ制御部１１０によって設定されたパラメータにしたがって、送信信号の周波数を割り当ててよい。例えば、信号生成部１２１は、レーダ制御部１１０又は任意の記憶部から周波数情報を受け取ることにより、例えば７７～８１ＧＨｚのような周波数帯域の所定の周波数の信号を生成する。信号生成部１２１は、例えば電圧制御発振器（ＶＣＯ）のような機能部を含んで構成してよい。
信号生成部１２１は、当該機能を有するハードウェアとして構成してもよいし、例えばマイコンなどで構成してもよいし、例えばＣＰＵ又はＤＳＰのようなプロセッサ及び当該プロセッサで実行されるプログラムなどとして構成してもよい。以下説明する各機能部も、当該機能を有するハードウェアとして構成してもよいし、可能な場合には、例えばマイコンなどで構成してもよいし、例えばＣＰＵ又はＤＳＰのようなプロセッサ及び当該プロセッサで実行されるプログラムなどとして構成してもよい。
一実施形態に係るセンサ１００において、信号生成部１２１は、例えばチャープ信号のような送信信号（送信チャープ信号）を生成してよい。特に、信号生成部１２１は、周波数が周期的に線形に変化する信号（線形チャープ信号）を生成してもよい。例えば、信号生成部１２１は、周波数が時間の経過に伴って７７ＧＨｚから８１ＧＨｚまで周期的に線形に増大するチャープ信号としてもよい。また、例えば、信号生成部１２１は、周波数が時間の経過に伴って７７ＧＨｚから８１ＧＨｚまで線形の増大（アップチャープ）及び減少（ダウンチャープ）を周期的に繰り返す信号を生成してもよい。信号生成部１２１が生成する信号は、例えばレーダ制御部１１０において予め設定されていてもよい。また、信号生成部１２１が生成する信号は、例えば任意の記憶部などに予め記憶されていてもよい。レーダのような技術分野で用いられるチャープ信号は既知であるため、より詳細な説明は、適宜、簡略化又は省略する。信号生成部１２１によって生成された信号は、シンセサイザ１２２に供給される。
図３は、信号生成部１２１が生成するチャープ信号の例を説明する図である。
図３において、横軸は経過する時間を表し、縦軸は周波数を表す。図３に示す例において、信号生成部１２１は、周波数が周期的に線形に変化する線形チャープ信号を生成する。図３においては、各チャープ信号を、ｃ１，ｃ２，…，ｃ８のように示してある。図３に示すように、それぞれのチャープ信号において、時間の経過に伴って周波数が線形に増大する。
図３に示す例において、ｃ１，ｃ２，…，ｃ８のように８つのチャープ信号を含めて、１つのサブフレームとしている。すなわち、図３に示すサブフレーム１及びサブフレーム２などは、それぞれｃ１，ｃ２，…，ｃ８のように８つのチャープ信号を含んで構成されている。また、図３に示す例において、サブフレーム１～サブフレーム１６のように１６のサブフレームを含めて、１つのフレームとしている。すなわち、図３に示すフレーム１及びフレーム２などは、それぞれ１６のサブフレームを含んで構成されている。また、図３に示すように、フレーム同士の間には、所定の長さのフレームインターバルを含めてもよい。図３に示す１つのフレームは、例えば３０ミリ秒から５０ミリ秒程度の長さとしてよい。
図３において、フレーム２以降も同様の構成としてよい。また、図３において、フレーム３以降も同様の構成としてよい。一実施形態に係るセンサ１００において、信号生成部１２１は、任意の数のフレームとして送信信号を生成してよい。また、図３においては、一部のチャープ信号は省略して示している。このように、信号生成部１２１が生成する送信信号の時間と周波数との関係は、例えば任意の記憶部などに記憶しておいてよい。
このように、一実施形態に係るセンサ１００は、複数のチャープ信号を含むサブフレームから構成される送信信号を送信してよい。また、一実施形態に係るセンサ１００は、サブフレームを所定数含むフレームから構成される送信信号を送信してよい。
以下、センサ１００は、図３に示すようなフレーム構造の送信信号を送信するものとして説明する。しかしながら、図３に示すようなフレーム構造は一例であり、例えば１つのサブフレームに含まれるチャープ信号は８つに限定されない。一実施形態において、信号生成部１２１は、任意の数（例えば任意の複数）のチャープ信号を含むサブフレームを生成してよい。また、図３に示すようなサブフレーム構造も一例であり、例えば１つのフレームに含まれるサブフレームは１６に限定されない。一実施形態において、信号生成部１２１は、任意の数（例えば任意の複数）のサブフレームを含むフレームを生成してよい。信号生成部１２１は、異なる周波数の信号を生成してよい。信号生成部１２１は、周波数ｆがそれぞれ異なる帯域幅の複数の離散的な信号を生成してもよい。
図２に戻り、シンセサイザ１２２は、信号生成部１２１が生成した信号の周波数を、所定の周波数帯の周波数まで上昇させる。シンセサイザ１２２は、送信アンテナ１２５から送信する送信波の周波数として選択された周波数まで、信号生成部１２１が生成した信号の周波数を上昇させてよい。送信アンテナ１２５から送信する送信波の周波数として選択される周波数は、例えばレーダ制御部１１０によって設定されてもよい。また、送信アンテナ１２５から送信する送信波の周波数として選択される周波数は、例えば任意の記憶部に記憶されていてもよい。シンセサイザ１２２によって周波数が上昇された信号は、位相制御部１２３及びミキサ１３３に供給される。位相制御部１２３が複数の場合、シンセサイザ１２２によって周波数が上昇された信号は、複数の位相制御部１２３のそれぞれに供給されてよい。また、受信部１３０が複数の場合、シンセサイザ１２２によって周波数が上昇された信号は、複数の受信部１３０におけるそれぞれのミキサ１３３に供給されてよい。
位相制御部１２３は、シンセサイザ１２２から供給された送信信号の位相を制御する。具体的には、位相制御部１２３は、例えばレーダ制御部１１０による制御に基づいて、シンセサイザ１２２から供給された信号の位相を適宜早めたり遅らせたりすることにより、送信信号の位相を調整してよい。この場合、位相制御部１２３は、複数の送信アンテナ１２５から送信されるそれぞれの送信波の経路差に基づいて、それぞれの送信信号の位相を調整してもよい。位相制御部１２３がそれぞれの送信信号の位相を適宜調整することにより、複数の送信アンテナ１２５から送信される送信波は、所定の方向において強め合ってビームを形成する（ビームフォーミング）。この場合、ビームフォーミングの方向と、複数の送信アンテナ１２５がそれぞれ送信する送信信号の制御すべき位相量との相関関係は、例えば任意の記憶部に記憶しておいてよい。位相制御部１２３によって位相制御された送信信号は、増幅器１２４に供給される。
増幅器１２４は、位相制御部１２３から供給された送信信号のパワー（電力）を、例えばレーダ制御部１１０による制御に基づいて増幅させる。センサ１００が複数の送信アンテナ１２５を備える場合、複数の増幅器１２４は、複数の位相制御部１２３のうちそれぞれ対応するものから供給された送信信号のパワー（電力）を、例えばレーダ制御部１１０による制御に基づいてそれぞれ増幅させてよい。送信信号のパワーを増幅させる技術自体は既に知られているため、より詳細な説明は省略する。増幅器１２４は、送信アンテナ１２５に接続される。
送信アンテナ１２５は、増幅器１２４によって増幅された送信信号を、送信波として出力（送信）する。センサ１００が複数の送信アンテナ１２５を備える場合、複数の送信アンテナ１２５は、複数の増幅器１２４のうちそれぞれ対応するものによって増幅された送信信号を、それぞれ送信波として出力（送信）してよい。送信アンテナ１２５は、既知のレーダ技術に用いられる送信アンテナと同様に構成することができるため、より詳細な説明は省略する。
このようにして、一実施形態に係るセンサ１００は、送信アンテナ１２５を備え、送信アンテナ１２５から送信波として送信信号（例えば送信チャープ信号）を送信することができる。ここで、センサ１００を構成する各機能部のうちの少なくとも１つは、１つの筐体に収められてもよい。また、この場合、当該１つの筐体は、容易に開けることができない構造としてもよい。例えば送信アンテナ１２５、受信アンテナ１３１、増幅器１２４が１つの筐体に収められ、かつ、この筐体が容易に開けられない構造となっているとよい。さらに、
図２に示すセンサ１００は、送信アンテナ１２５を１つ備える例を示している。しかしながら、一実施形態において、センサ１００は、任意の数の送信アンテナ１２５を備えてもよい。一方、一実施形態において、センサ１００は、送信アンテナ１２５から送信される送信波が所定方向にビームを形成するようにする場合、複数の送信アンテナ１２５を備えてよい。一実施形態において、センサ１００は、任意の複数の送信アンテナ１２５を備えてもよい。この場合、センサ１００は、複数の送信アンテナ１２５に対応させて、位相制御部１２３及び増幅器１２４もそれぞれ複数備えてよい。そして、複数の位相制御部１２３は、シンセサイザ１２２から供給されて複数の送信アンテナ１２５から送信される複数の送信波の位相を、それぞれ制御してよい。また、複数の増幅器１２４は、複数の送信アンテナ１２５から送信される複数の送信信号のパワーを、それぞれ増幅してよい。また、この場合、センサ１００は、複数の送信アンテナを含んで構成してよい。このように、センサ１００は、複数の送信アンテナ１２５を備える場合、当該複数の送信アンテナ１２５から送信波を送信するのに必要な機能部も、それぞれ複数含んで構成してよい。
受信アンテナ１３１は、反射波を受信する。反射波は、送信波が所定の物体２００に反射したものとしてよい。受信アンテナ１３１は、複数のアンテナを含んで構成してもよい。受信アンテナ１３１は、既知のレーダ技術に用いられる受信アンテナと同様に構成することができるため、より詳細な説明は省略する。受信アンテナ１３１は、ＬＮＡ１３２に接続される。受信アンテナ１３１によって受信された反射波に基づく受信信号は、ＬＮＡ１３２に供給される。
一実施形態に係るセンサ１００は、複数の受信アンテナ１３１から、例えばチャープ信号のような送信信号（送信チャープ信号）として送信された送信波が所定の物体２００によって反射された反射波を受信することができる。このように、送信波として送信チャープ信号を送信する場合、受信した反射波に基づく受信信号は、受信チャープ信号と記す。すなわち、センサ１００は、受信アンテナ１３１から反射波として受信信号（例えば受信チャープ信号）を受信する。
ＬＮＡ１３２は、受信アンテナ１３１によって受信された反射波に基づく受信信号を低ノイズで増幅する。ＬＮＡ１３２は、低雑音増幅器（Low Noise Amplifier）としてよく、受信アンテナ１３１から供給された受信信号を低雑音で増幅する。ＬＮＡ１３２によって増幅された受信信号は、ミキサ１３３に供給される。
ミキサ１３３は、ＬＮＡ１３２から供給されるＲＦ周波数の受信信号を、シンセサイザ１２２から供給される送信信号に混合する（掛け合わせる）ことにより、ビート信号を生成する。ミキサ１３３によって混合されたビート信号は、ＩＦ部１３４に供給される。
ＩＦ部１３４は、ミキサ１３３から供給されるビート信号に周波数変換を行うことにより、ビート信号の周波数を中間周波数（ＩＦ（Intermediate Frequency）周波数）まで低下させる。ＩＦ部１３４によって周波数を低下させたビート信号は、ＡＤ変換部１３５に供給される。
ＡＤ変換部１３５は、ＩＦ部１３４から供給されたアナログのビート信号をデジタル化する。ＡＤ変換部１３５は、任意のアナログ－デジタル変換回路（Analog to Digital Converter（ＡＤＣ））で構成してよい。ＡＤ変換部１３５によってデジタル化されたビート信号は、レーダ制御部１１０に供給される。受信部１３０が複数の場合、複数のＡＤ変換部１３５によってデジタル化されたそれぞれのビート信号は、レーダ制御部１１０に供給されてよい。
レーダ制御部１１０は、ＡＤ変換部１３５によってデジタル化されたビート信号に対してＦＦＴ処理（以下、適宜「距離ＦＦＴ処理」と記す）を行ってよい。例えば、レーダ制御部１１０は、ＡＤ変換部１３５から供給された複素信号にＦＦＴ処理を行ってよい。ＡＤ変換部１３５によってデジタル化されたビート信号は、信号強度（電力）の時間変化として表すことができる。レーダ制御部１１０は、このようなビート信号にＦＦＴ処理を行うことにより、各周波数に対応する信号強度（電力）として表すことができる。レーダ制御部１１０において距離ＦＦＴ処理を行うことにより、ＡＤ変換部１３５によってデジタル化されたビート信号に基づいて、距離に対応する複素信号を得ることができる。
レーダ制御部１１０は、距離ＦＦＴ処理によって得られた結果においてピークが所定の閾値以上である場合、そのピークに対応する距離に、所定の物体２００があると判断してもよい。例えば、一定誤警報確率（ＣＦＡＲ（Constant False Alarm Rate））による検出処理のように、外乱信号の平均電力又は振幅から閾値以上のピーク値が検出された場合、送信波を反射する物体（反射物体）が存在するものと判断する方法が知られている。
このように、一実施形態に係るセンサ１００は、送信波として送信される送信信号、及び、反射波として受信される受信信号に基づいて、送信波を反射する物体２００をターゲットとして検出することができる。
レーダ制御部１１０は、１つのチャープ信号（例えば図３に示すｃ１）に基づいて、所定の物体との間の距離を推定することができる。すなわち、センサ１００は、距離ＦＦＴ処理を行うことにより、センサ１００と所定の物体２００との間の距離を測定（推定）することができる。ビート信号にＦＦＴ処理を行うことにより、所定の物体との間の距離を測定（推定）する技術自体は公知のため、より詳細な説明は、適宜、簡略化又は省略する。
また、レーダ制御部１１０は、距離ＦＦＴ処理が行われたビート信号に対してさらにＦＦＴ処理を（以下、適宜「速度ＦＦＴ処理」と記す）行ってよい。例えば、レーダ制御部１１０は、距離ＦＦＴ処理された複素信号にＦＦＴ処理を行ってよい。レーダ制御部１１０は、チャープ信号のサブフレーム（例えば図３に示すサブフレーム１）に基づいて、所定の物体との相対速度を推定することができる。レーダ制御部１１０において複数のチャープ信号について速度ＦＦＴ処理を行うことにより、距離ＦＦＴ処理によって得られる距離に対応する複素信号に基づいて、相対速度に対応する複素信号が得られる。
上述のようにビート信号に距離ＦＦＴ処理を行うと、複数のベクトルを生成することができる。これら複数のベクトルに対して速度ＦＦＴ処理を行った結果におけるピークの位相を求めることにより、所定の物体との相対速度を推定することができる。すなわち、電子機器１は、速度ＦＦＴ処理を行うことにより、センサ１００と所定の物体２００との相対速度を測定（推定）することができる。距離ＦＦＴ処理を行った結果に対して速度ＦＦＴ処理を行うことにより、所定の物体との相対速度を測定（推定）する技術自体は公知のため、より詳細な説明は、適宜、簡略化又は省略する。
一般的なＦＭＣＷレーダの技術においては、受信信号からビート周波数を抽出したものに高速フーリエ変換処理を行うなどした結果に基づいて、ターゲットが存在するか否かを判定することができる。ここで、受信信号からビート周波数を抽出して高速フーリエ変換処理を行うなどした結果には、クラッタ（不要反射成分）などによる雑音（ノイズ）の成分も含まれる。したがって、受信信号を処理した結果から雑音成分を取り除き、ターゲットの信号のみを抽出するための処理を実行してもよい。
また、レーダ制御部１１０は、ターゲットが存在するか否かの判定に基づいて、所定の物体２００から反射波が到来する方向（到来角）を推定してもよい。レーダ制御部１１０は、ターゲットが存在すると判定された点について、到来角の推定を行ってよい。センサ１００は、複数の受信アンテナ１３１から反射波を受信することで、反射波が到来する方向を推定することができる。例えば、複数の受信アンテナ１３１は、所定の間隔で配置されているものとする。この場合、送信アンテナ１２５から送信された送信波が所定の物体２００に反射されて反射波となり、所定の間隔で配置された複数の受信アンテナ１３１はそれぞれ反射波Ｒを受信する。そして、レーダ制御部１１０は、複数の受信アンテナ１３１がそれぞれ受信した反射波の位相、及びそれぞれの反射波の経路差に基づいて、反射波が受信アンテナ１３１に到来する方向を推定することができる。すなわち、センサ１００は、速度ＦＦＴ処理が行われた結果に基づいて、ターゲットによって反射された反射波が到来する方向を示す到来角θを測定（推定）することができる。
速度ＦＦＴ処理が行われた結果に基づいて、反射波Ｒが到来する方向を推定する技術は各種提案されている。例えば、既知の到来方向推定のアルゴリズムとしては、ＭＵＳＩＣ（MUltiple SIgnal Classification）、及びＥＳＰＲＩＴ（Estimation of Signal Parameters via Rotational Invariance Technique）などが知られている。したがって、公知の技術についてのより詳細な説明は、適宜、簡略化又は省略する。
レーダ制御部１１０は、距離ＦＦＴ処理、速度ＦＦＴ処理、及び到来角推定の少なくともいずれかに基づいて、送信波が送信された範囲に存在する物体を検出する。レーダ制御部１１０は、供給された距離の情報、速度の情報、及び角度情報に基づいて例えばクラスタリング処理を行うことにより、物体検出を行ってもよい。データをクラスタリングする際に用いるアルゴリズムとして、例えばＤＢＳＣＡＮ（Density-based spatial clustering of applications with noise）などが知られている。クラスタリング処理においては、例えば検出される物体を構成するポイントの平均電力を算出してもよい。
上述のようにして、センサ１００は、３次元空間において、送信波を反射する物体を、点群の情報として検出することができる。すなわち、一実施形態において、センサ１００から出力される検出結果に基づいて、３次元空間のある座標において、送信波を反射する物体が存在するか否かを判定（検出）することができる。また、一実施形態において、センサ１００は、３次元空間における各点の信号強度及び速度を検出することができる。以上説明したように、一実施形態に係るセンサ１００は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体を、３次元空間における点群の情報として検出してよい。
また、図１に示すように、一実施形態に係る電子機器１は、撮像部３００を含んで構成されてよい。電子機器１と撮像部３００とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
撮像部３００は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部３００は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部３００は、例えば被監視対象たる物体を撮像してよい。ここで、被監視対象は、例えば人間としてよい。撮像部３００は、撮像した画像を信号に変換して、電子機器１に送信してよい。例えば、撮像部３００は、撮像した画像に基づく信号を、電子機器１の抽出部１１、記憶部２０、及び／又は、コントローラ１０などに送信してよい。撮像部３００は、被監視対象を撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。
一実施形態において、撮像部３００は、例えば被監視対象を所定時間ごと（例えば秒間１５フレーム）の静止画として撮像してもよい。また、一実施形態において、撮像部３００は、例えば被監視対象を連続した動画として撮像してもよい。
次に、一実施形態に係る電子機器１の動作について説明する。
一実施形態に係る電子機器１の動作は、典型的には、「学習フェーズ」と「推定フェーズ」とに分けることができる。学習フェーズにおいては、例えば被監視対象のような人間が所定の動作を行う場合に、当該動作における身体の各部の位置（座標）と、当該動作のタイミングとの関係を機械学習する動作を行ってよい。また、推定フェーズにおいては、学習フェーズにおいて機械学習した結果に基づいて、被監視対象が所定の動作を行う場合における身体の各部の位置（座標）から、当該動作の開始を推定する動作を行ってよい。さらに、推定フェーズにおいては、例えば上述の動作が開始するなどして、所定以上のリスクが存在すると判定された場合、所定の警報などが出力されるようにしてよい。
また、一実施形態に係る電子機器１の動作は、「学習フェーズ」と「推定フェーズ」とに分けずに、所定のアルゴリズムに従ってリスクの有無を判定してもよい。例えば、一実施形態に係る電子機器１において、被監視対象に及び得るリスクの要因を予めアルゴリズムとして規定しておいてもよい。この場合、一実施形態に係る電子機器１は、所定のアルゴリズムに従ってリスクが所定以上になると判定された場合、所定の警報などを出力してもよい。
図４は、一実施形態に係る電子機器１が行う動作の一例を示すフローチャートである。図４に示す動作は、例えば、一実施形態に係る電子機器１が被監視対象を監視する動作を行う際に開始してよい。以下、電子機器１が監視する被監視対象は人間である場合を想定して説明する。しかしながら、電子機器１が監視する被監視対象は人間に限定されず、人間以外の動物などとしてもよい。また、被監視対象は人間又は動物にも限定されず、例えば作業用ロボットのような機械としてもよい。図４に示す動作は、電子機器１のコントローラ１０によって実行される処理に基づくものとしてよい。すなわち、以下の説明において、「電子機器１」が行う動作及び／又は処理は、例えば電子機器１のコントローラ１０が実行する動作及び／又は処理としてよい。
図４に示す動作が開始すると、電子機器１は、センサ１００によって出力される点群の情報を取得する（ステップＳ１）。ここで、センサ１００によって出力される点群の情報とは、センサ１００によって検出される情報としてよい。すなわち、センサ１００によって検出される情報とは、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体が３次元空間における点群の情報として検出される情報としてよい。
ステップＳ１において点群の情報が取得されたら、電子機器１は、取得された点群の情報の前処理を実行する（ステップＳ２）。ステップＳ２において行われる点群の情報の前処理とは、３次元空間における点群の情報から、２次元的に処理可能な点群の情報を生成することとしてよい。すなわち、ステップＳ２において点群の情報の前処理が行われると、点群の情報は２次元的に処理可能な情報になり、例えば画像認識を行うなど画像データと同じように処理することができる。ステップＳ２において行う点群の情報の前処理については、さらに後述する。
ステップＳ２において点群の情報の前処理が実行されたら、電子機器１は、２次元的に処理可能な点群の情報に基づいて、例えば被監視対象の身体の部位を認識する（ステップＳ３）。ステップＳ３において、電子機器１は、例えば画像認識のような技術を採用することにより、２次元的に処理可能な点群の情報に基づいて、被監視対象の身体の部位を認識してよい。また、ステップＳ３において、電子機器１は、例えば画像認識した所定部位の座標を抽出してもよい。上述のように、ステップＳ２における処理が行われることにより、３次元空間における点群の情報は、２次元的に処理可能な点群の情報になる。このため、ステップＳ３において、電子機器１は、あたかも画像を扱うようにして、点群の情報を処理することができる。ステップＳ３において、電子機器１は、２次元的に処理可能な点群の各点を、画像における画素（ピクセル）に対応させてもよい。ステップＳ３において、電子機器１は、２次元的に処理可能な点群の情報に基づいて、例えば被監視対象の頭部、首、肩、腕、手、胴体、又は脚などの各部位を、画像認識により判定してよい。
ステップＳ３において身体の部位が認識されたら、電子機器１は、当該部位の座標を正規化する（ステップＳ４）。ステップＳ４において部位の座標を正規化することにより、電子機器１は、２次元的に処理可能な点群の情報を、例えば画角などによる差によらずに処理することができる。ステップＳ４において部位の座標が正規化されることにより、被監視対象の行動を予測するためのデータを生成することができる（ステップＳ５）。
ここで、上述のステップＳ４において行う部位の座標の正規化について説明する。ステップＳ３において抽出される所定部位の座標は、例えば被監視対象の身体のサイズなどに起因してばらつくことが想定される。また、ステップＳ３において抽出される所定部位の座標は、例えばセンサ１００と被監視対象との距離、及び、センサ１００から被監視対象に向く方向などにも起因してばらつくことが想定される。したがって、一実施形態において、ステップＳ３において抽出された座標のＸ方向成分及びＹ方向成分をそれぞれ正規化することにより、抽出された座標を汎用的に機械学習に用いることができる。
この場合、例えば１秒間の１５フレームにおいて抽出されたＸ，Ｙ座標のそれぞれの最大値及び最小値に基づいて、抽出されるＸ，Ｙ座標を正規化してもよい。ここで、ステップＳ３において抽出されたＸ座標の最大値をＸｍａｘとし、ステップＳ３において抽出されたＸ座標の最小値をＸｍｉｎとする。また、正規化後のＸ座標の最大値をＸ’ｍａｘとする。この場合、以下の式（１）を用いて、正規化前のＸ座標（Ｘ）を、正規化後のＸ座標（Ｘ’）に変換することができる。
Ｘ’＝（（Ｘ－Ｘｍｉｎ）／（Ｘｍａｘ－Ｘｍｉｎ））・Ｘ’ｍａｘ （１）
同様に、ステップＳ３において抽出されたＹ座標の最大値をＹｍａｘとし、ステップＳ３において抽出されたＹ座標の最小値をＹｍｉｎとする。また、正規化後のＹ座標の最大値をＹ’ｍａｘとする。この場合、以下の式（２）を用いて、正規化前のＹ座標（Ｙ）を、正規化後のＹ座標（Ｙ’）に変換することができる。
Ｙ’＝（（Ｙ－Ｙｍｉｎ）／（Ｙｍａｘ－Ｙｍｉｎ））・Ｙ’ｍａｘ （２）
上記の式（１）及び式（２）に従って、抽出された座標のＸ方向成分及びＹ方向成分を正規化することにより、被監視対象の個体差、及びセンサ１００がと被監視対象を撮像した環境などが機械学習に与える影響を低減することが期待できる。
このように、一実施形態において、コントローラ１０は、２次元的に抽出された被監視対象の身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してもよい。
ステップＳ４における座標の正規化により、図５に示す各座標（Ｘ，Ｙ）は、それぞれ座標（Ｘ’，Ｙ’）に正規化される。
次に、ステップＳ５におけるデータ生成について、さらに説明する。上述のように、ステップＳ５におけるデータ生成とは、被監視対象の行動を予測するためのデータを生成することとしてよい。センサ１００が秒間所定数のフレームの各画像を撮像する場合、コントローラ１０は、秒間所定数のフレームにおいて被監視対象の身体における所定部位として抽出してよい。また、コントローラ１０が秒間所定数のフレームの画像を取得する場合も、コントローラ１０は、秒間所定数のフレームにおいて被監視対象の身体における所定部位として抽出してよい。一例として、コントローラ１０は、被監視対象の身体における所定部位を、秒間１５フレームにおいて抽出してよい。
図５は、例えば１秒間の１５フレームにおいて、被監視対象の身体において抽出された所定部位の座標をまとめて示す図である。図５に示すように、ステップＳ５において、コントローラ１０は、被監視対象の身体において抽出された所定部位の座標を、各フレームごとに並べて配置してもよい。図５に示すように、コントローラ１０は、各フレームごとに、被監視対象の身体において２次元的に（Ｘ，Ｙ座標として）所定部位の座標を抽出してよい。図５に示す表において、各行は、各フレームにおいて、被監視対象の身体の所定部位が、Ｘ，Ｙ座標として抽出された様子を模式的に示してある。また、図５に示す表において、各フレームを示す行は、時間の経過に従って上から下に示してある。図５に示す１５フレームの座標は、例えば画像（又は動画）における１秒間の座標をトラッキングしたものとしてよい。また、図５に示す１５フレームの後も、順次、被監視対象の身体において所定部位の座標が抽出されるものとしてよい。
このように、一実施形態において、コントローラ１０は、センサ１００によって撮像された秒間所定数のフレームの各画像ごとに、被監視対象の身体における所定数の関節点の座標を２次元的に抽出してもよい。
ステップＳ５においてデータが生成されたら、電子機器１は、被監視対象の行動を予測する（ステップＳ６）。ステップＳ６において被監視対象の行動を予測する手法は、例えば機械学習によるもの、又は機械学習によらずに単にアルゴリズムによるものなど、種々想定することができる。本開示において、被監視対象の行動を予測する手法は、主たる特徴ではないため、より詳細な説明は省略する。
ステップＳ５において被監視対象の行動が予測されたら、電子機器１は、被監視対象の行動について所定以上のリスクが存在するか否か判定する（ステップＳ７）。ステップＳ７の処理を行うに際し、電子機器１は、被監視対象の種々の行動について、リスクの基準を設定しておいてよい。そして、電子機器１は、被監視対象が行っている行動が当該リスクの基準を超えるか否か（つまり所定以上のリスクがあるか否か）を判定してよい。
ステップＳ７において所定以上のリスクが存在しない場合、電子機器１は、リスクの報知は必要ないものと判断して、図４に示す動作を終了してよい。一方、ステップＳ７において所定以上のリスクが存在する場合、電子機器１は、報知部５０から所定の警報を報知する（ステップＳ８）。
このようにして、一実施形態に係る電子機器１は、被監視対象が種々の危険な状態に陥ることを監視することができる。特に、一実施形態に係る電子機器１は、被監視者が実際に危険な状態に陥る前に、所定の警告を発することができる。一実施形態に係る電子機器１によれば、被監視対象に及び得る様々な危険を、より早い段階で認識することができる。
次に、図４のステップＳ２において実行する点群の情報の前処理について、さらに説明する。
図６は、図４のステップＳ２において電子機器１が行う点群の情報の前処理を、より詳細に示すフローチャートである。図６に示す動作は、電子機器１のコントローラ１０によって実行される処理に基づくものとしてよい。すなわち、以下の説明において、「電子機器１」が行う動作及び／又は処理は、例えば電子機器１のコントローラ１０が実行する動作及び／又は処理としてよい。
図６に示す動作が開始すると、電子機器１は、点群の情報を低次元化する（ステップＳ１１）。より具体的には、ステップＳ１１において、電子機器１は、センサ１００によって出力される３次元空間における点群の情報から、２次元的に処理可能な点群の情報を生成する。
図７は、センサ１００によって出力される３次元空間における点群の情報について説明する図である。図７は、ある場所に立っている被監視対象Ｔｍを、原点Ｏに設置されたセンサ１００によって３次元的に検出する状況の一例を示す図である。
図７に示すように、センサ１００が設置された位置を基準（原点Ｏ）として、被監視対象Ｔｍに近づく方向をＸ軸正方向とし、被監視対象Ｔｍから遠ざかる方向をＸ軸負方向とする。また、図７に示すように、センサ１００が設置された位置を基準（原点Ｏ）として、センサ１００の右側をＹ軸正方向とし、センサ１００の左側をＹ軸負方向とする。また、図７に示すように、センサ１００が設置された位置を基準（原点Ｏ）として、センサ１００の上側をＺ軸正方向とし、センサ１００の下側をＺ軸負方向とする。すなわち、図７において、ｌｘは奥行方向の距離を示し、ｌｙは水平方向の距離を示し、ｌｚは垂直（高さ）方向の距離を示す。図７に示すような状況において、センサ１００の出力は、ある瞬間において、３次元空間における位置（Ｘ，Ｙ，Ｚ）のデータ要素（信号強度及び速度）の４チャンネルのデータとしてよい。図７に示すステップＳ１１において、電子機器１は、このような３次元空間において検出した情報を、２次元の情報に変換する。
図８は、センサ１００によって出力される３次元空間における点群の情報から、２次元的に処理可能な点群の情報を生成する例を説明する図である。図８は、ある場所に立っている被監視対象Ｔｍを、原点Ｏに設置されたセンサ１００によって３次元的（空間的）に検出したものを、電子機器１において２次元的（平面的）に変換した一例を示す図である。
図８に示すように、原点Ｏの位置を基準として、原点Ｏの右側をＸ軸正方向とし、原点Ｏの下側をＹ軸正方向とする。すなわち、図８において、ｐｘは水平方向の座標を示し、ｐｙは垂直方向の座標を示す。図８に示すような状況において、センサ１００の出力は、ある瞬間において、上述した４チャンネルのデータから、２次元平面における位置（Ｘ，Ｙ）のデータ要素（信号強度及び速度）の３チャンネルのデータに変換されている。このように、図７に示すステップＳ１１において、電子機器１は、３次元空間において検出した情報を、２次元平面の情報に変換する。
上述のように３次元空間において検出した情報を、２次元平面の情報に変換する際には、２次元平面の座標を、例えば以下の式（３）及び式（４）に基づいて算出してよい。
Figure 2022130177000002
Figure 2022130177000003
上述の式（３）及び式（４）において、ｌｘｉ，ｌｙｉ，ｌｚｉは、センサ１００による検出の結果に基づく出力、すなわち３次元空間における点群の情報を示す。特に、ｌｘｉは、センサ１００によって検出されるｉ番目の情報のｘ方向の距離を示す。また、ｌｙｉは、センサ１００によって検出されるｉ番目の情報のｙ方向の距離を示す。また、ｌｚｉは、センサ１００によって検出されるｉ番目の情報のｚ方向の距離を示す。
また、上述の式（３）及び式（４）において、ｐｘｉ，ｐｙｉは、電子機器１によって２次元平面の情報に変換された点群の座標を示す。特に、ｐｘｉは、センサ１００によって検出されるｉ番目の情報のｘ座標を示す。また、ｐｙｉは、センサ１００によって検出されるｉ番目の情報のｙ座標を示す。
さらに、上述の式（３）において、Ｍは、２次元平面の画像を想定した場合における水平方向の画素数を示し、αｘは、２次元平面の画像を想定した場合における水平方向の画角を示す。また、上述の式（４）において、Ｎは、２次元平面の画像を想定した場合における垂直方向の画素数を示し、αｙは、２次元平面の画像を想定した場合における垂直方向の画角を示す。
上述の式（３）及び式（４）において、ｐｘｉ，ｐｙｉは座標の値として機能するように、小数点第一位を四捨五入して整数化してもよい。また、上述の式（３）及び式（４）において、ｐｘｉ，ｐｙｉは２次元平面に変換した後の画像のサイズに収まるように、例えば０≦ｐｘｉ≦Ｍ又は０≦ｐｙｉ≦Ｎを満たさないデータは破棄してもよい。
このように、一実施形態に係る電子機器１は、センサ１００の出力から、２次元的に処理可能な点群の情報を生成する。特に、一実施形態に係る電子機器１は、センサ１００によって検出される点群の情報を、２次元的な画像における所定の画素数及び所定の画角の少なくとも一方に基づいて、２次元的に処理可能な点群の情報に変換してもよい。一実施形態に係る電子機器１は、センサ１００の出力から、２次元的に処理可能な点群の情報を生成する際に、上述の式（３）及び式（４）以外の変換式に基づいてもよい。
一実施形態に係る電子機器１によれば、ステップＳ１１における点群の情報の低次元化を行うため、計算量を相当に削減することができる。したがって、一実施形態に係る電子機器１によれば、例えばコントローラ１０の処理負荷を軽減することができる。
ステップＳ１１において点群の情報の低次元化が行われたら、電子機器１は、フレームの情報を重畳する（ステップＳ１２）。ステップＳ１２において、電子機器１は、例えば図３に示したようなフレームを複数回ぶん重ねる処理を実行してもよい。
図９は、ステップＳ１２において行うフレームの情報の重畳を説明する図である。図９に示すように、電子機器１は、例えば５０フレームにおいて発生する点群のデータを重畳してよい。ここで、電子機器１は、例えば５０フレームにおいて発生する点群のデータの値を単純に加算してもよい。一方、電子機器１は、例えば５０フレームにおいて発生する点群のデータの値を、５０フレームにおいて発生する回数に応じて平均化してもよい。例えば、電子機器１は、ある点における情報が５０フレーム中の５フレームにおいて検出された場合、当該５フレームにおいて検出された値を平均化してもよい。
このように、一実施形態に係る電子機器１は、センサ１００の出力を複数のフレームごとにまとめて、２次元的に処理可能な点群の情報を生成してもよい。また、一実施形態に係る電子機器１は、センサ１００によって検出される点群の情報を、複数のフレームごとにおける検出回数に応じて平均化して、２次元的に処理可能な点群の情報を生成してもよい。
一実施形態に係る電子機器１によれば、ステップＳ１２においてフレームの情報を重畳するため、例えば点群の情報が２次元的に密になり易くなる。したがって、一実施形態に係る電子機器１によれば、例えば図４のステップＳ３において行われる身体の部位の認識率が向上し得る。
ステップ１２においてフレームの情報が重畳されたら、電子機器１は、点群の情報における点を拡大する（ステップＳ１３）。ステップＳ１３において、電子機器１は、ステップ１２において重畳されたフレームの各点を拡大してよい。また、ステップＳ１３において各点を拡大する場合、電子機器１は、各点を所定方向に任意の大きさで拡大してよい。
図１０は、ステップＳ１３において行う、点群の情報における点の拡大を説明する図である。図１０の左側に示すように、例えばステップＳ１１及びステップＳ１２を経て、２次元的に処理可能な点群の情報において、塗りつぶされたドットで示す１点が検出されたとする。この場合、電子機器１は、図１０の右側に示すように、例えば左右方向に１ドット（１画素）ずつ、また上下方向に２ドット（２画素）ずつ、点を拡大する処理を実行してよい。ここで、電子機器１は、例えば左右方向に２ドット（２画素）ずつ、また上下方向に１ドット（１画素）ずつ、点を拡大する処理を実行してもよい。このように、電子機器１は、左右方向及び／又は上下方向に任意のドット（画素）ずつ、点を拡大する処理を実行してもよい。
このように、一実施形態に係る電子機器１は、２次元的に処理可能な点群の情報において、点群を構成する各点の所定方向のサイズを拡大してもよい。
一実施形態に係る電子機器１によれば、点群の情報における点を拡大するため、例えば点群の情報が２次元的に密になり易くなる。したがって、一実施形態に係る電子機器１によれば、例えば図４のステップＳ３において行われる身体の部位の認識率が向上し得る。
上述した実施形態において、電子機器１は、ステップＳ１１において低次元化された点群の情報について、各点を拡大するものとして説明した。しかしながら、一実施形態において、このような処理の順番に限定されるものではない。例えば、一実施形態において、電子機器１は、ステップＳ１１において低次元化される前の点群の情報について各点を拡大した上で、ステップＳ１１における点群の情報の低次元化を行ってもよい。このように、一実施形態に係る電子機器１は、センサ１００によって検出される点群の情報において、点群を構成する各点の所定方向のサイズを拡大して、２次元的に処理可能な点群の情報を生成してもよい。
ステップＳ１３において点群の情報における各点を拡大したら、電子機器１は、点群の情報における各点に重み付けを行う（ステップＳ１４）。ステップＳ１４において、電子機器１は、例えば所定のフレーム数における検出頻度に応じて、所定の頻度以上の情報を採用したり、所定の頻度以下の情報を除外したりしてよい。
図１１は、ステップＳ１４において行う、点群の情報における各点の重み付けを説明する図である。図１１において、左側に示すＤｒは点群として検出された距離の情報を示し、Ｄｉは点群として検出された強度の情報を示すものとする。このように、図１１の左側には、検出された距離及び強度の２チャンネルの情報を示すものとする。また、図１１において、上段に示すＨＭは、例えばヒートマップのように、検出された点群の検出頻度を各画素ごとに示す情報（以下、「検出頻度情報」とも記す）としてよい。図１１において、右側に示すＤｒ’は、左側に示した距離の情報Ｄｒに検出頻度情報ＨＭを積算したものを示す。また、図１１において、右側に示すＤｉ’は、左側に示した強度の情報Ｄｉに検出頻度情報ＨＭを積算したものを示す。このように、図１１の右側には、検出された距離及び強度の２チャンネルの情報に、検出頻度情報ＨＭを積算したものを示すものとする。
図１１の右側に示すように、検出された距離及び強度の情報に検出頻度情報ＨＭを積算したものに基づいて、電子機器１は、所定の頻度以上の情報を採用したり、所定の頻度以下の情報を除外したりしてよい。例えば、電子機器１は、５０フレームにおいて検出された頻度が１０フレーム以上である距離及び強度の情報のみを採用するようにしてよい。また、例えば、電子機器１は、５０フレームにおいて検出された頻度が５フレーム以下である距離及び強度の情報を除外してもよい。
このように、一実施形態に係る電子機器１は、２次元的に処理可能な点群の情報において、点群を構成する各点を複数のフレームごとにおける検出頻度に応じて重み付けしてもよい。特に、一実施形態に係る電子機器１は、２次元的に処理可能な点群の情報において、点群を構成する各点のうち複数のフレームごとにおける検出頻度が所定以下のものを除外してもよい。
例えばミリ波レーダのようなセンサ１００によって物体を検出すると、その検出結果にはノイズが含まれる。図１２は、図６のステップＳ２１からステップＳ２３までの処理を経た点群の情報の一例を示す図である。図１２は、センサ１００の出力に基づく点群の情報に、撮像部３００によって撮像された画像を重ねたものを示している。図１２に示すように、センサ１００の出力に基づく点群の情報の多くは、撮像部３００によって撮像された画像における被監視対象Ｔｍに重なっている。一方、センサ１００の出力に基づく点群の情報のうち、撮像部３００によって撮像された画像における被監視対象Ｔｍに重なっていないものもある。このように、センサ１００を例えばミリ波レーダのようなものとする場合、センサ１００によって物体を検出すると、その検出結果にはノイズが含まれる。
図１３は、図６のステップＳ２４の処理を経た点群の情報の一例を示す図である。図１３に示すように、センサ１００の出力に基づく点群の情報は、ステップＳ２４の処理を経ることにより、撮像部３００によって撮像された画像における被監視対象Ｔｍにほぼ重なるようになる。すなわち、ステップＳ２４の処理を経ることにより、センサ１００の出力に基づく点群の情報にいて、ノイズの影響は相当程度低減される。
以上説明したように、一実施形態に係る電子機器１によれば、例えばミリ波レーダのように送信波の反射波に基づいて物体を検出した結果を、撮像部によって撮像された画像のように処理する（前処理を施す）ことができるようになる。したがって、一実施形態に係る電子機器１によれば、被監視対象の監視に有益になり得る。
図６に示したステップＳ２１からステップ２４までの処理によって、図４に示したステップＳ２の処理、すなわち点群データの前処理を行うことができる。図４のステップＳ２に示した点群データの前処理によって、２次元的に処理可能な点群の情報が生成される。したがって、この後、電子機器１は、図４に示したステップＳ３以降の処理として、２次元的に処理可能な点群の情報において画像認識などの処理を行ってもよい。すなわち、電子機器１は、２次元的に処理可能な点群の情報において、被監視対象Ｔｍを２次元的なオブジェクトとして認識してもよい。このため、電子機器１は、ステップＳ２における点群データの前処理によって、２次元的なオブジェクトとして認識可能な点群の情報を生成してよい。すなわち、一実施形態に係る電子機器１は、センサ１００の出力から、２次元的なオブジェクトとして認識可能な点群の情報を生成してもよい。
上述したように、図４に示したステップＳ３の処理において、２次元的に処理可能な点群の情報から、被監視対象Ｔｍの身体の部位が画像認識される。したがって、電子機器１は、ステップＳ２における点群データの前処理によって、被監視対象Ｔｍの身体の部位を認識可能な点群の情報を生成してよい。このように、一実施形態に係る電子機器１は、センサ１００の出力から、物体として検出される被監視対象の身体の部位を認識可能な点群の情報を生成してもよい。
また、図１３に示すように、電子機器１は、２次元的に処理可能な点群の情報を、撮像部３００によって撮像された物体の２次元的な画像の情報に重ね合わせたものを出力してもよい。図１３に示すような、撮像部３００によって撮像された物体の２次元的な画像の情報に重ね合わせた点群の情報は、被監視対象Ｔｍの行動を監視する際には必須ではない。しかしながら、例えば、画像認識又は人間によって被監視対象Ｔｍの身体の部位を認識する際には、図１３に示すような、撮像部３００によって撮像された物体の２次元的な画像の情報に重ね合わせた点群の情報があると便利である。したがって、一実施形態に係る電子機器１は、２次元的に処理可能な点群の情報を、撮像部３００によって撮像された物体の２次元的な画像の情報に重ね合わせてもよい。
次に、一実施形態に係る電子機器１において、図４のステップＳ３に示した被監視対象Ｔｍの身体の部位の認識（又は推定）を、機械学習によって行う態様について、さらに説明する。一実施形態に係る電子機器１は、被監視対象Ｔｍの身体の部位の認識を機械学習によって行うことにより、センサ１００の出力から、例えば図５に示すように、被監視対象Ｔｍの身体の部位を推定することができる。
まず、一実施形態に係る電子機器１において、機械学習によって被監視対象Ｔｍの身体の部位の認識（推定）を行うための検出機器について説明する。図１４及び図１５は、一実施形態に係る電子機器１に機械学習のための情報を供給する検出機器の構成の例を示す図である。図１４は、一実施形態に係る検出機器を前方から正面視した例を示す正面図である。また、図１５は、一実施形態に係る検出機器を側方（左方）から側面視した例を示す側面図である。
図１４及び図１５に示すように、一実施形態に係る検出機器３は、センサ１００及び撮像部３００を備えている。また、図１４及び図１５に示すように、一実施形態に係る検出機器３は、スタンド部５及び接地部７の少なくとも一方などを、適宜備えてもよい。
図１４及び図１５に示すセンサ１００は、図１及び／又は図２において説明したセンサ１００としてよい。図１４及び図１５に示すように、センサ１００は、送信波が物体によって反射された反射波を受信する電波入力部１０１を備えるものとしてよい。図１５に示すように、電波入力部１０１は、センサ１００の光軸Ｒａを向くものとしてよい。ここで、センサ１００の光軸とは、例えば、センサ１００の送信アンテナ１２５及び受信アンテナ１３１の少なくとも一方が設置された面に垂直な方向としてよい。また、センサ１００の光軸とは、送信アンテナ１２５及び受信アンテナ１３１の少なくとも一方が複数含まれる場合、当該複数のアンテナの少なくともいずれかが設置された面に垂直な方向としてもよい。このような構成により、センサ１００は、光軸Ｒａを中心として、送信波を送信及び／又は反射波を受信することができる。すなわち、センサ１００は、光軸Ｒａを中心とした範囲で物体を点群として検出することができる。
また、図１４及び図１５に示す撮像部３００は、図１において説明した撮像部３００としてよい。図１４及び図１５に示すように、撮像部３００は、物体によって反射された光を受信する光入力部３０１を備えるものとしてよい。図１５に示すように、光入力部３０１は、撮像部３００の光軸Ｌａを向くものとしてよい。また、光入力部３０１は、撮像部３００においてレンズが配置される位置としてもよい。ここで、撮像部３００の光軸とは、例えば、撮像部３００において撮像に用いられる受光素子（又は撮像素子）が設置された面に垂直な方向としてよい。このような構成により、撮像部３００は、光軸Ｌａを中心とした画像を撮像することができる。
図１４及び図１５に示すように、スタンド部５は、検出機器３において、センサ１００及び撮像部３００を接地点から所定の高さに維持する。スタンド部５は、例えばセンサ１００が被監視対象などの物体を検出し易い高さにセンサ１００を維持してよい。また、スタンド部５は、例えば撮像部３００が被監視対象などの物体を撮像し易い高さにセンサ１００を維持してよい。スタンド部５は、検出機器３において、センサ１００及び撮像部３００を例えば高さ方向などに調節可能な機構を備えてもよい。
図１４及び図１５に示すように、接地部７は、検出機器３において、センサ１００及び撮像部３００を接地面に対して固定する。接地部７は、センサ１００及び撮像部３００を備える検出機器３を安定させるために、例えば台座のような形状にするなど、種々の構成を想定することができる。
図１４及び図１５に示すように、一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、互いの近傍に隣接させて配置されてよい。図１４及び図１５に示す例において、センサ１００と撮像部３００とは、互いに上下方向に隣接して配置されている。一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、例えば、互いに左右方向に又は斜め方向に隣接して配置されてもよい。
また、図１５に示すように、一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、それぞれの光軸Ｒａと光軸Ｌａとが平行になるように配置されてよい。すなわち、一実施形態に係る電子機器１において、撮像部３００の光軸Ｌａがセンサ１００の光軸Ｒａに平行になるように設置された状態で、センサ１００による点群の情報と撮像部３００による画像の情報とが用いられるようにしてもよい。
また、図１５に示すように、一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、それぞれの光軸Ｒａと光軸Ｌａとの間が距離Ｇに保たれるように配置されてもよい。このように配置することにより、センサ１００による点群の情報と、撮像部３００による画像の情報とは、互いに距離Ｇだけずれた情報となる。例えば、図１５に示す配置構成において、撮像部３００による画像の情報は、センサ１００による点群の情報よりも距離Ｇだけ上側にずれた情報になる。また、図１５に示す配置構成において、センサ１００による点群の情報は、撮像部３００による画像の情報よりも距離Ｇだけ下側にずれた情報になる。
したがって、図１５に示す配置構成において、例えば、センサ１００による点群の情報を距離Ｇだけ上側にずらすように補正することにより、センサ１００による点群の情報の位置を撮像部３００による画像の情報の位置に対応させることができる。また、図１５に示す配置構成において、例えば、撮像部３００による画像の情報を距離Ｇだけ下側にずらすように補正することにより、撮像部３００による画像の情報の位置をセンサ１００による点群の情報の位置に対応させることができる。このように、電子機器１は、センサ１００による点群の情報及び撮像部３００による画像の情報の少なくとも一方を補正することより、センサ１００による点群の情報及び撮像部３００による画像の情報が互いに位置的に対応するようにしてもよい。
すなわち、一実施形態に係る電子機器１において、センサ１００が物体（被監視対象）を検出することにより得られる点群の情報及び撮像部３００が当該物体を撮像することにより得られる画像の情報の少なくとも一方を補正してもよい。一実施形態に係る電子機器１は、センサ１００による点群の情報と撮像部３００による画像の情報とを補正により整合させた情報を用いてもよい。
また、センサ１００による点群の検出範囲（角度）と、撮像部３００による画像の撮像範囲（角度又は画角）とは、同じにならないことも想定される。このような場合、電子機器１は、センサ１００による点群の情報及び撮像部３００による画像の情報が互いに位置的に対応するように、両者のうち広い方の範囲（角度）を狭い方の範囲（角度）に合わせてもよい。すなわち、電子機器１は、撮像部３００の撮像可能範囲と、センサ１００の検出可能範囲との重複する範囲のみの情報を用いて、重複しない範囲の情報は削除又は無視してもよい。
以上のように、一実施形態に係る電子機器１において、撮像部３００が物体（被監視対象）を撮像することにより得られる画像の情報として、センサ１００が当該物体（被監視対象）を検出することにより得られる点群の情報に位置的に対応した情報を用いてもよい。
以下、一実施形態に係る電子機器１において、図４のステップＳ３に示した被監視対象Ｔｍの身体の部位の認識（又は推定）を、検出機器３を用いて機械学習によって行う際の動作について、さらに説明する。
一実施形態に係る電子機器１が、センサ１００から出力される点群の情報を用いて、例えば被監視対象のような物体における所定の部位（例えば身体の部位）を機械学習する。ここで、一実施形態に係る電子機器１は、物体（被監視対象）を撮像部３００が撮像することにより得られる画像の情報を用いて、物体における所定の部位を機械学習してよい。以下、このような一実施形態に係る電子機器１による機械学習の局面を、単に「学習フェーズ」と記すことがある。一実施形態に係る電子機器１は、上述のようにして機械学習を経た後においては、センサ１００から出力される点群の情報を用いて、例えば被監視対象のような物体における所定の部位（例えば身体の部位）を推定することができる。以下、このような一実施形態に係る電子機器１による部位の推定の局面を、単に「推定フェーズ」と記すことがある。このようにして被監視対象のような物体における所定の部位（例えば身体の部位）が推定（認識）されたら、一実施形態に係る電子機器１は、当該推定（認識）された部位の情報に基づいて、図４に示すステップＳ４以降の処理を行うことができる。
（学習フェーズ）
まず、学習フェーズについて説明する。一実施形態に係る電子機器１は、センサ１００の出力を用いて、物体（被監視対象）における所定の部位（例えば身体の部位）を機械学習する。
図１６は、一実施形態に係る電子機器１による機械学習の例を説明する図である。一実施形態に係る電子機器１は、例えば図１６の左側に示すようなセンサ１００の出力に基づく点群データを用いて、センサ１００によって検出された物体（例えば被監視対象）における所定の部位（例えば身体の部位）について、機械学習を行う。この時、電子機器１は、例えば図１６の上側に示すような撮像部３００が撮像する画像に基づく被監視対象の部位の座標を用いることにより、機械学習を行ってよい。図１６は、一実施形態に係る電子機器１が、センサ１００の出力に基づく点群データと、撮像部３００が撮像する画像に基づく部位の座標とに基づいて、機械学習を行う態様を、概念的に示している。
図１６に示すような機械学習を行うに際し、一実施形態に係る電子機器１は、撮像部３００が撮像する画像に基づく各部位の座標を示す情報として、それぞれ正解を示唆するデータ（以下、「正解データ」と記すことがある）を用いてもよい。すなわち、図１６の上側に示すような撮像部３００が撮像する画像に基づく被監視対象の部位の座標は、当該被監視対象の身体の各部位の座標を示す正解データとしてよい。このような正解データは、予め人員によって指定されていてもよいし、電子機器１などのような情報処理装置によって画像認識されてもよい。
図１７は、一実施形態に係る電子機器１による所定の部位の指定及び画像認識の例を説明する図である。図１７の左側に示すように、例えば撮像部３００が撮像する被監視対象の画像について、人員による指定又は画像認識を行うことにより、図１７の右側に示すように、被監視対象の各部位の座標を得ることができる。
例えば、電子機器１は、撮像部３００が撮像する被監視対象の画像において、各部位に対応する位置が、所定の人員などの人手によって指定されるようにしてもよい。例えば、一実施形態に係る電子機器１は、撮像部３００が撮像する被監視対象の画像において「首」の部位を指定するように、電子機器１のユーザなどの人員に求めてもよい。この場合、電子機器１のユーザなどの人員は、電子機器１による求めに応じて、撮像部３００によって撮像された被監視対象の画像において首の部位を指定する操作をしてよい。例えば、電子機器１のユーザなどの人員は、図１７の左側に示すように表示部などに表示された被監視対象の画像において、首の部位をポインタで指定するようにしてもよい。また、例えば、電子機器１のユーザなどの人員は、図１７の左側に示すように表示部などに表示された被監視対象の画像において、首の部位を指又はスタイラスなどによってタッチして指定するようにしてもよい。
このようにして首の部位が指摘されると、電子機器１は、図１７の右側に示すように、撮像部３００によって撮像された被監視対象の画像において当該部位に対応する位置の座標を特定してよい。以下同様に、電子機器１は、撮像部３００が撮像する被監視対象の画像において「右肩」の部位、続いて「左肩」の部位などを指定するように、電子機器１のユーザなどの人員に求めてもよい。
このように、一実施形態に係る電子機器１において、撮像部３００が物体（被監視対象）を撮像することにより得られる画像の情報として、当該物体における所定の部位が予め（例えば人員の手によって）指定された画像の情報を用いてもよい。
また、例えば、電子機器１は、撮像部３００が撮像する被監視対象の画像において、各部位に対応する位置が、例えば（所定の人員などの人手によらず）画像認識されるようにしてもよい。例えば、一実施形態に係る電子機器１は、撮像部３００が撮像する被監視対象の画像において「首」の部位を画像認識することにより、当該部位の座標を特定してもよい。この場合、電子機器１は、例えば上述のようにして所定の人員などの人出によって予め指定された各部位の正解データを用いて、機械学習した情報を用いてもよい。また、この場合、電子機器１は、撮像部３００が撮像する多数の被監視対象の画像において、各部位に対応する位置を機械学習することにより、各部位の画像認識の精度を向上させることができる。
このようにして首の部位が画像認識されると、電子機器１は、図１７の右側に示すように、撮像部３００によって撮像された被監視対象の画像において当該部位に対応する位置の座標を特定してよい。以下同様に、電子機器１は、撮像部３００が撮像する被監視対象の画像において「右肩」の部位、続いて「左肩」の部位などを画像認識してもよい。
このように、一実施形態に係る電子機器１において、撮像部３００が物体（被監視対象）を撮像することにより得られる画像の情報として、当該物体における所定の部位が画像認識された情報を用いてもよい。
図１７の右側は、例えば被監視対象のような物体において特定された所定の部位として、当該所定の部位の位置、すなわち当該所定の部位の位置の座標が示されることを表している。
以上説明したように、一実施形態に係る電子機器１は、センサ１００の出力及び撮像部３００の出力を用いて、物体（被監視対象）における所定の部位（身体の部位）を機械学習してよい。ここで、センサ１００の出力とは、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体（被監視対象）をセンサ１００が検出することにより得られる点群の情報としてよい。また、撮像部３００の出力とは、物体（被監視対象）を撮像部３００が撮像することにより得られる画像の情報としてよい。また、一実施形態に係る電子機器１は、物体（被監視対象）における所定の部位の位置を機械学習してもよい。さらに、一実施形態に係る電子機器１は、物体（被監視対象）における所定の部位の位置の座標を機械学習してもよい。
（推定フェーズ）
次に、推定フェーズについて説明する。一実施形態に係る電子機器１は、上述のように機械学習を行うと、センサ１００から出力される点群の情報を用いて、例えば被監視対象のような物体における所定の部位（例えば身体の部位）を推定することができる。
図１８は、一実施形態に係る電子機器１による所定の部位の推定の例を説明する図である。一実施形態に係る電子機器１は、図１８の左側に示すセンサ１００の出力に基づく点群データを用いて、図１８の中央に示す機械学習を介して、図１８の右側に示すように例えば被監視対象のような物体における所定の部位（例えば身体の部位）を推定することができる。図１８の右側は、例えば被監視対象のような物体における所定の部位として、当該所定の部位の位置、すなわち当該所定の部位の位置の座標が示されることを表している。
このように、一実施形態に係る電子機器１は、例えばセンサ１００などによって物体を検出することにより得られる点群の情報を用いて、当該物体における所定の部位を機械学習してよい。このような機械学習を行うことにより、一実施形態に係る電子機器１は、センサ１００などによって被監視対象を検出することにより得られる点群の情報を用いて、当該被監視対象における所定の部位を推定することができる。
一実施形態に係る電子機器１によれば、例えばミリ波レーダセンサのようなセンサ３００から出力される点群データに基づいて、被監視対象のような所定の物体の各部位を認識することができる。したがって、一実施形態に係る電子機器１によれば、仮に被監視対象のような所定の物体が複雑な動作を行っていたとしても、当該物体の各部位を認識し得る。また、一実施形態に係る電子機器１によれば、所定の機械学習の後には、例えばミリ波レーダセンサのようなセンサ３００から出力される点群データに基づいて、被監視対象のような所定の物体の各部位を認識することができる。したがって、一実施形態に係る電子機器１によれば、例えば被監視対象の画像を用いなくても、各部位を認識することができる。このため、被監視対象のプライバシーに配慮したユースケースを想定することができる。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
上述した実施形態は、電子機器１としての実施のみに限定されるものではない。例えば、上述した実施形態は、電子機器１に含まれる電子機器１として実施してもよい。また、上述した実施形態は、例えば、電子機器１のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、電子機器１のような機器又は情報処理装置（例えばコンピュータ）が実行するプログラムとして実施してもよい。
１ 電子機器
３ 検出機器
５ スタンド部
７ 接地部
１０ コントローラ
２０ 記憶部
３０ 通信部
４０ 表示部
５０ 報知部
１００ センサ
１０１ 電波入力部
１１０ レーダ制御部
１２０ 送信部
１２１ 信号生成部
１２２ シンセサイザ
１２３ 位相制御部
１２４ 増幅器
１２５ 送信アンテナ
１３０ 受信部
１３１ 受信アンテナ
１３２ ＬＮＡ
１３３ ミキサ
１３４ ＩＦ部
１３５ ＡＤ変換部
３００ 撮像部
３０１ 光入力部

Claims (13)

  1. 送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体をセンサが検出することにより得られる点群の情報と、
    前記物体を撮像部が撮像することにより得られる画像の情報とを用いて、
    前記物体における所定の部位を機械学習する、電子機器。
  2. 前記物体における所定の部位の位置を機械学習する、請求項１に記載の電子機器。
  3. 前記物体における所定の部位の位置の座標を機械学習する、請求項２に記載の電子機器。
  4. 前記撮像部が前記物体を撮像することにより得られる画像の情報として、前記センサが前記物体を検出することにより得られる点群の情報に位置的に対応した情報を用いて、前記物体における所定の部位を機械学習する、請求項１から３のいずれかに記載の電子機器。
  5. 前記撮像部の光軸が前記センサの光軸に平行になるように設置された状態で、前記センサが前記物体を検出することにより得られる点群の情報と前記撮像部が前記物体を撮像することにより得られる画像の情報とを用いて、前記物体における所定の部位を機械学習する、請求項４に記載の電子機器。
  6. 前記センサが前記物体を検出することにより得られる点群の情報及び前記撮像部が前記物体を撮像することにより得られる画像の情報の少なくとも一方を補正することにより双方を整合させた情報を用いて、前記物体における所定の部位を機械学習する、請求項１から５のいずれかに記載の電子機器。
  7. 前記撮像部が前記物体を撮像することにより得られる画像の情報として、前記物体における所定の部位が予め指定された画像の情報を用いて、前記物体における所定の部位を機械学習する、請求項１から６のいずれかに記載の電子機器。
  8. 前記撮像部が前記物体を撮像することにより得られる画像の情報として、前記物体における所定の部位が画像認識された情報を用いて、前記物体における所定の部位を機械学習する、請求項１から６のいずれかに記載の電子機器。
  9. 送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群の情報を用いて、前記物体における所定の部位を機械学習して、
    送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する被監視対象をセンサが検出することにより得られる点群の情報を用いて、
    前記被監視対象における所定の部位を推定する、電子機器。
  10. 送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体をセンサによって検出することにより点群の情報を取得するステップと、
    前記物体を撮像部によって撮像することにより画像の情報を取得するステップと、
    前記物体における所定の部位を機械学習するステップと、
    を含む、電子機器の制御方法。
  11. 送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群の情報を用いて、前記物体における所定の部位を機械学習するステップと、
    送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する被監視対象をセンサが検出することにより得られる点群の情報を用いて、前記被監視対象における所定の部位を推定するステップと、
    を含む、電子機器の制御方法。
  12. 電子機器に、
    送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体をセンサによって検出することにより点群の情報を取得するステップと、
    前記物体を撮像部によって撮像することにより画像の情報を取得するステップと、
    前記物体における所定の部位を機械学習するステップと、
    を実行させる、プログラム。
  13. 電子機器に、
    送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群の情報を用いて、前記物体における所定の部位を機械学習するステップと、
    送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する被監視対象をセンサが検出することにより得られる点群の情報を用いて、前記被監視対象における所定の部位を推定するステップと、
    を実行させる、プログラム。
JP2021029204A 2021-02-25 2021-02-25 電子機器、電子機器の制御方法、及びプログラム Pending JP2022130177A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021029204A JP2022130177A (ja) 2021-02-25 2021-02-25 電子機器、電子機器の制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021029204A JP2022130177A (ja) 2021-02-25 2021-02-25 電子機器、電子機器の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022130177A true JP2022130177A (ja) 2022-09-06

Family

ID=83150785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021029204A Pending JP2022130177A (ja) 2021-02-25 2021-02-25 電子機器、電子機器の制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2022130177A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096081A1 (ja) * 2022-11-02 2024-05-10 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096081A1 (ja) * 2022-11-02 2024-05-10 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
Yu et al. Noninvasive human activity recognition using millimeter-wave radar
Tan et al. Exploiting WiFi channel state information for residential healthcare informatics
CN110115823A (zh) 跑步机和跑步机上的非接触式感测方法
FI130097B (en) Providing imaging units to monitor vital parameters
US20140320307A1 (en) Electronic apparatus and communication control method
Cui et al. Device-free single-user activity recognition using diversified deep ensemble learning
US20220373646A1 (en) Joint estimation of respiratory and heart rates using ultra-wideband radar
CN116106855B (zh) 摔倒检测方法及摔倒检测装置
Shi et al. mPose: Environment-and subject-agnostic 3D skeleton posture reconstruction leveraging a single mmWave device
Cardillo et al. Empowering blind people mobility: A millimeter-wave radar cane
Borhani et al. A non-stationary channel model for the development of non-wearable radio fall detection systems
Chen et al. Respiration and activity detection based on passive radio sensing in home environments
CN111712730A (zh) 通过多信道雷达监测生活设施
Gupta et al. Automatic contact-less monitoring of breathing rate and heart rate utilizing the fusion of mmWave radar and camera steering system
JP2022130177A (ja) 電子機器、電子機器の制御方法、及びプログラム
Muaaz et al. WiHAR: From Wi-Fi channel state information to unobtrusive human activity recognition
Chen et al. Radio sensing using 5G signals: Concepts, state of the art, and challenges
US11129539B2 (en) Pulse measuring device and control method thereof
JP2022130176A (ja) 電子機器、電子機器の制御方法、及びプログラム
EP3485818B1 (en) Ultrasound diagnosis apparatus and method of controlling the same
US11832933B2 (en) System and method for wireless detection and measurement of a subject rising from rest
Waqar et al. Direction-independent human activity recognition using a distributed MIMO radar system and deep learning
CN115770017A (zh) 睡眠状态确定方法、系统、装置及电子设备
TWI835842B (zh) 無線通訊方法和設備，以及電子設備
WO2024096081A1 (ja) 電子機器、電子機器の制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240611