JP2023131905A - Behavior estimation system, behavior estimation method, and program - Google Patents

Behavior estimation system, behavior estimation method, and program Download PDF

Info

Publication number
JP2023131905A
JP2023131905A JP2022036915A JP2022036915A JP2023131905A JP 2023131905 A JP2023131905 A JP 2023131905A JP 2022036915 A JP2022036915 A JP 2022036915A JP 2022036915 A JP2022036915 A JP 2022036915A JP 2023131905 A JP2023131905 A JP 2023131905A
Authority
JP
Japan
Prior art keywords
moving object
predetermined period
subject
behavior
information regarding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022036915A
Other languages
Japanese (ja)
Inventor
皓大 小村
Kodai Komura
三好 堀川
Mitsuyoshi Horikawa
一歩希 猪股
Ibuki Inomata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iwate Prefectural University
Original Assignee
Iwate Prefectural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iwate Prefectural University filed Critical Iwate Prefectural University
Priority to JP2022036915A priority Critical patent/JP2023131905A/en
Publication of JP2023131905A publication Critical patent/JP2023131905A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

To provide a behavior estimation system a behavior estimation method, and a program which can accurately estimate a behavior of a moving object even when image data of the moving object partially lost is obtained.SOLUTION: The behavior estimation system comprises first acquisition means 41 which acquires an image of a moving object captured by an imaging apparatus, second acquisition means 42 which acquires information about a state of the moving body measured by a measurement instrument, and estimation means 44 which estimates a behavior of the moving object within a prescribed period on the basis of an image of the moving object captured within the prescribed period and information about a state of the moving object within the prescribed period.SELECTED DRAWING: Figure 3

Description

特許法第30条第2項適用申請有り 行動推定システム、行動推定方法、プログラムの集会での発表 集会名:情報処理学会第84回全国大会 開催場所:愛媛大学 城北キャンパス ハイブリッド開催 開催日:令和4年3月3日~5日Application for application of Article 30, Paragraph 2 of the Patent Act Presentation of behavior estimation system, behavior estimation method, and program at a meeting Name of meeting: Information Processing Society of Japan 84th National Convention Venue: Ehime University Johoku Campus Hybrid event Date: Reiwa March 3rd to 5th, 4th year

本発明は、行動推定システム、行動推定方法、プログラムに関する。 The present invention relates to a behavior estimation system, a behavior estimation method, and a program.

近年、例えば医療、介護、セキュリティ、業務・行動管理、情報提供サービス等の分野では、対象となる動体(例えば、人物、動物、機械等)を撮像して得られた画像に基づいて、当該動体の行動を推定する技術の研究が進められている。 In recent years, for example, in the fields of medicine, nursing care, security, work/behavior management, information provision services, etc., there has been an increase in Research is progressing on technology to estimate the behavior of people.

例えば、特許文献1に記載された技術では、人物(動体)を連続的に撮影して得られた一連の入力画像から当該人物を表す人物領域を検知し、当該人物が所定時間以上静止している場合には、当該人物が転倒していると推定するようになっている。 For example, in the technology described in Patent Document 1, a person area representing a person (moving object) is detected from a series of input images obtained by continuously photographing the person, and the person remains still for a predetermined period of time or more. If the person has fallen, it is assumed that the person has fallen.

再表2018-030024号公報Re-table No. 2018-030024

しかしながら、このような技術では、検出対象となる動体の手前に他の物体(例えば、他の動体や設置物等)が存在することによって、当該動体の少なくとも一部が他の物体に隠れるように撮像された場合(動体の少なくとも一部が欠損した画像データが得られた場合)に、検出対象となる動体の領域を正確に検知することができず、結果として、動体の行動を正確に推定することが困難になる虞があった。 However, with such technology, if there is another object (for example, another moving object or installed object) in front of the moving object to be detected, at least a portion of the moving object may be hidden by the other object. When the moving object is imaged (image data with at least part of the moving object missing), the area of the moving object to be detected cannot be accurately detected, and as a result, the behavior of the moving object cannot be accurately estimated. There was a risk that it would be difficult to do so.

本発明は上記課題に鑑みてなされたものであり、動体の少なくとも一部が欠損した画像データが得られた場合であっても、動体の行動を正確に推定することの可能な行動推定システム、行動推定方法、プログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and provides an action estimation system that can accurately estimate the behavior of a moving object even when image data in which at least a portion of the moving object is missing is obtained. The purpose is to provide behavior estimation methods and programs.

上記課題を解決するために、第一に本発明は、撮像装置によって撮像された動体の画像を取得する第1取得手段と、計測装置によって計測された前記動体の状態に関する情報を取得する第2取得手段と、所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報と、に基づいて、前記所定期間内の前記動体の行動を推定する推定手段と、を備える行動推定システムを提供する(発明1)。 In order to solve the above problems, the present invention firstly provides a first acquisition unit that acquires an image of a moving object captured by an imaging device, and a second acquisition unit that acquires information regarding the state of the moving object measured by a measuring device. an estimation means for estimating the behavior of the moving object within the predetermined period based on an acquisition means, an image of the moving object captured within the predetermined period, and information regarding the state of the moving object within the predetermined period; (Invention 1).

かかる発明(発明1)によれば、所定期間内に撮像された動体の画像と、当該所定期間内の動体の状態に関する情報と、に基づいて、当該所定期間内の動体の行動が推定されるので、例えば、撮像された画像において動体の少なくとも一部が欠損している場合であっても、動体の画像に加えて動体の状態に関する情報を用いることによって、動体の行動を推定することが可能になる。これにより、動体の少なくとも一部が欠損した画像データが得られた場合であっても、動体の行動を正確に推定することができる。 According to this invention (invention 1), the behavior of the moving object within the predetermined period is estimated based on images of the moving object captured within the predetermined period and information regarding the state of the moving object within the predetermined period. Therefore, for example, even if at least part of a moving object is missing in a captured image, the behavior of the moving object can be estimated by using information about the state of the moving object in addition to the image of the moving object. become. Thereby, even if image data in which at least a portion of the moving object is missing is obtained, the behavior of the moving object can be accurately estimated.

上記発明(発明1)においては、前記推定手段は、前記所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報と、前記動体の画像及び/又は前記動体の状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、前記所定期間内の前記動体の行動を推定してもよい(発明2)。 In the above invention (invention 1), the estimating means includes an image of the moving object captured within the predetermined period, information regarding the state of the moving object within the predetermined period, and an image of the moving object and/or the moving object. The behavior of the moving object within the predetermined period may be estimated based on a learned model based on machine learning using information regarding the state of as learning data (invention 2).

かかる発明(発明2)によれば、動体の画像及び/又は動体の状態に関する情報を用いて学習済モデルによって推定された動体の行動に基づいて、動体の行動を容易に推定することができる。 According to this invention (invention 2), the behavior of the moving object can be easily estimated based on the behavior of the moving object estimated by the learned model using the image of the moving object and/or the information regarding the state of the moving object.

上記発明(発明2)においては、前記推定手段は、前記所定期間内に撮像された前記動体の画像を、前記動体の画像を学習データとして用いた機械学習に基づく学習済モデルである第1学習済モデルに入力することによって得られた前記動体の所定の行動の推定確率と、前記所定期間内の前記動体の状態に関する情報を、前記動体の状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルである第2学習済モデルに入力することによって得られた前記動体の前記所定の行動の推定確率と、を用いて前記所定の行動の推定確率を新たに算出することによって、前記所定期間内の前記動体の行動を推定してもよい(発明3)。 In the above invention (invention 2), the estimating means uses the images of the moving object captured within the predetermined period to obtain a first learning model that is a trained model based on machine learning using the images of the moving object as learning data. The estimated probability of the predetermined behavior of the moving object obtained by inputting it into a predetermined model and the information about the state of the moving object within the predetermined period are based on machine learning using the information about the state of the moving object as learning data. By newly calculating the estimated probability of the predetermined action of the moving object using the estimated probability of the predetermined action of the moving object obtained by inputting it into a second trained model that is a trained model, The behavior of the moving object within a period may be estimated (invention 3).

かかる発明(発明3)によれば、所定期間内に撮像された動体の画像を第1学習済モデルに入力することによって得られた動体の所定の行動の推定確率と、所定期間内の動体の状態に関する情報を第2学習済モデルに入力することによって得られた動体の所定の行動の推定確率と、を用いて、所定期間内の動体の行動を推定することができる。 According to this invention (Invention 3), the estimated probability of a predetermined behavior of a moving object obtained by inputting images of a moving object captured within a predetermined period to the first trained model, and the estimated probability of a predetermined behavior of a moving object within a predetermined period are The behavior of the moving body within a predetermined period can be estimated using the estimated probability of the predetermined behavior of the moving body obtained by inputting the information regarding the state into the second learned model.

上記発明(発明2)においては、前記推定手段は、前記所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報とを、前記動体の画像及び前記動体の状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルである第3学習済モデルに入力することによって、前記所定期間内の前記動体の行動を推定してもよい(発明4)。 In the above invention (invention 2), the estimating means includes an image of the moving object captured within the predetermined period and information regarding the state of the moving object within the predetermined period. The behavior of the moving object within the predetermined period may be estimated by inputting information regarding the state to a third learned model that is a learned model based on machine learning using learning data (invention 4).

かかる発明(発明4)によれば、所定期間内に撮像された動体の画像と、所定期間内の動体の状態に関する情報と、を第3学習済モデルに入力することによって、所定期間内の動体の行動を推定することができる。 According to this invention (Invention 4), by inputting an image of a moving object captured within a predetermined period and information regarding the state of the moving object within the predetermined period to the third trained model, behavior can be estimated.

上記発明(発明1~4)においては、取得した画像に基づいて、前記動体の少なくとも1つの部位を検出する検出手段を備え、前記推定手段は、前記所定期間内の前記動体の少なくとも1つの部位の移動態様に関する情報と、前記所定期間内の前記動体の状態に関する情報と、に基づいて、前記所定期間内の前記動体の行動を推定してもよい(発明5)。 The above inventions (Inventions 1 to 4) include a detection means for detecting at least one part of the moving body based on the acquired image, and the estimating means detects at least one part of the moving body within the predetermined period. The behavior of the moving object within the predetermined period may be estimated based on information regarding the movement mode of the moving object and information regarding the state of the moving object within the predetermined period (invention 5).

かかる発明(発明5)によれば、所定期間内の動体の少なくとも1つの部位の移動態様に関する情報と、所定期間内の動体の状態に関する情報と、を用いることによって、所定期間内の動体の行動をより正確に推定することができる。 According to this invention (Invention 5), the behavior of the moving object within the predetermined period is determined by using information regarding the movement mode of at least one part of the moving object within the predetermined period and information regarding the state of the moving object within the predetermined period. can be estimated more accurately.

上記発明(発明5)においては、前記検出手段は、前記動体の少なくとも1つの関節を、前記動体の少なくとも1つの部位として検出してもよい(発明6)。 In the above invention (invention 5), the detection means may detect at least one joint of the moving object as at least one part of the moving object (invention 6).

かかる発明(発明6)によれば、動体の少なくとも1つの関節の移動態様に関する情報を用いて、動体の行動を推定することができる。 According to this invention (invention 6), the behavior of a moving object can be estimated using information regarding the movement mode of at least one joint of the moving object.

上記発明(発明1~6)においては、前記動体の状態に関する情報は、前記動体の位置、前記動体の加速度、前記動体の角速度及び前記動体の温度のうち少なくとも1つを含んでもよい(発明7)。 In the above inventions (Inventions 1 to 6), the information regarding the state of the moving object may include at least one of the position of the moving object, the acceleration of the moving object, the angular velocity of the moving object, and the temperature of the moving object (Invention 7). ).

かかる発明(発明7)によれば、動体の位置、動体の加速度、動体の角速度及び動体の温度のうち少なくとも1つを用いて、動体の行動を推定することができる。 According to this invention (invention 7), the behavior of the moving object can be estimated using at least one of the position of the moving object, the acceleration of the moving object, the angular velocity of the moving object, and the temperature of the moving object.

第二に本発明は、コンピュータが、撮像装置によって撮像された動体の画像を取得するステップと、計測装置によって計測された前記動体の状態に関する情報を取得するステップと、所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報と、に基づいて、前記所定期間内の前記動体の行動を推定するステップと、の各ステップを実行する、行動推定方法を提供する(発明8)。 Second, the present invention provides the steps for a computer to acquire an image of a moving object imaged by an imaging device, a step of acquiring information regarding the state of the moving object measured by a measuring device, and estimating the behavior of the moving object within the predetermined period based on an image of the moving object and information regarding the state of the moving object within the predetermined period. (Invention 8).

第三に本発明は、コンピュータに、撮像装置によって撮像された動体の画像を取得する機能と、計測装置によって計測された前記動体の状態に関する情報を取得する機能と、所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報と、に基づいて、前記所定期間内の前記動体の行動を推定する機能と、を実現させるためのプログラムを提供する(発明9)。 Thirdly, the present invention provides a computer with a function of acquiring an image of a moving object imaged by an imaging device, a function of acquiring information regarding the state of the moving object measured by a measuring device, and a function of acquiring an image of a moving object imaged within a predetermined period. A program for realizing a function of estimating the behavior of the moving object within the predetermined period based on an image of the moving object and information regarding the state of the moving object within the predetermined period is provided. ).

本発明の行動推定システム、行動推定方法、プログラムによれば、動体の少なくとも一部が欠損した画像データが得られた場合であっても、動体の行動を正確に推定することができる。 According to the behavior estimation system, behavior estimation method, and program of the present invention, even if image data in which at least a portion of the moving body is missing is obtained, the behavior of the moving body can be accurately estimated.

本発明の一実施形態に係る行動推定システムの基本構成を概略的に示す図である。1 is a diagram schematically showing the basic configuration of an action estimation system according to an embodiment of the present invention. 推定装置の構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of an estimation device. 行動推定システムで主要な役割を果たす機能を説明するための機能ブロック図である。FIG. 2 is a functional block diagram for explaining functions that play a major role in the behavior estimation system. 第1取得データの構成例を示す図である。It is a figure showing the example of composition of the 1st acquisition data. 第2取得データの構成例を示す図である。It is a figure which shows the example of a structure of 2nd acquired data. 計測装置からの距離と受信信号強度との関係の一例を示す図である。FIG. 3 is a diagram showing an example of the relationship between the distance from the measuring device and the received signal strength. 動体の少なくとも1つの部位の検出結果の一例を示す図である。It is a figure which shows an example of the detection result of at least one site|part of a moving body. 推定手段の処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process of an estimation means. 第1学習データの構成例を示す図である。FIG. 3 is a diagram showing an example of the configuration of first learning data. 第2学習データの構成例を示す図である。It is a figure which shows the example of a structure of 2nd learning data. 推定係数と推定精度との関係の一例を示す図である。FIG. 3 is a diagram showing an example of the relationship between estimation coefficients and estimation accuracy. 推定データの構成例を示す図である。It is a figure showing an example of composition of estimation data. 本発明の一実施形態に係る行動推定システムの主要な処理の一例を示すフローチャートである。It is a flowchart which shows an example of main processing of the action estimation system concerning one embodiment of the present invention. 行動データの構成例を示す図である。It is a figure showing an example of composition of action data. (a)、(b)は、行動推定システムの各機能について、推定装置と推定サーバとの間の分担例を示す図である。(a), (b) is a figure which shows the example of division between an estimation device and an estimation server about each function of an action estimation system.

以下、本発明の一実施形態について添付図面を参照して詳細に説明する。ただし、この実施形態は例示であり、本発明はこれに限定されるものではない。 Hereinafter, one embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, this embodiment is an example, and the present invention is not limited thereto.

(1)行動推定システムの基本構成
図1は、本発明の一実施形態に係る行動推定システムの基本構成を概略的に示す図である。図1に示すように、本実施形態に係る行動推定システムでは、例えば屋内等の所定空間SPに動体(本実施形態では、対象者T)が存在する場合に、空間SP内の所定位置(図1の例では、空間SPの中央上部)に設けられた撮像装置10によって撮像された対象者Tの画像と、計測装置20によって計測された対象者Tの状態に関する情報と、が推定装置30によって取得されるようになっている。
(1) Basic configuration of behavior estimation system FIG. 1 is a diagram schematically showing the basic configuration of a behavior estimation system according to an embodiment of the present invention. As shown in FIG. 1, in the behavior estimation system according to the present embodiment, when a moving object (in this embodiment, the subject T) exists in a predetermined space SP such as indoors, a predetermined position in the space SP (in the figure In example 1, an image of the subject T captured by the imaging device 10 provided in the upper center of the space SP and information regarding the state of the subject T measured by the measuring device 20 are collected by the estimation device 30. It is now being acquired.

また、推定装置30は、所定期間内に撮像された画像と、当該所定期間内の対象者Tの状態に関する情報と、に基づいて、当該所定期間内の対象者Tの行動を推定するようになっている。ここで、撮像装置10及び計測装置20の各々と、推定装置30とは、例えばインターネットやLAN(Local Area Network)等の通信網NW(ネットワーク)に接続されている。 Further, the estimation device 30 estimates the behavior of the target person T within the predetermined period based on images captured within the predetermined period and information regarding the state of the target person T within the predetermined period. It has become. Here, each of the imaging device 10 and the measuring device 20, and the estimation device 30 are connected to a communication network NW (network) such as the Internet or a LAN (Local Area Network).

撮像装置10は、例えば、動画像及び/又は静止画像を撮像する撮像装置(例えば、デジタルカメラやデジタルビデオカメラ等)であってもよく、空間SP内の所定位置において空間SPを撮像するように設けられている。また、撮像装置10は、例えば、所定のフレームレート(例えば、30fps(flames per second)等)で撮像処理を行って、撮像した画像を、通信網NWを介して推定装置30に送信するように構成されている。なお、撮像装置10は、推定装置30から所定の撮像指示信号を受信した場合に撮像処理を行ってもよい。 The imaging device 10 may be, for example, an imaging device (for example, a digital camera, a digital video camera, etc.) that captures moving images and/or still images, and is configured to capture an image of the space SP at a predetermined position within the space SP. It is provided. Further, the imaging device 10 performs imaging processing at a predetermined frame rate (for example, 30 fps (flames per second), etc.) and transmits the captured image to the estimation device 30 via the communication network NW. It is configured. Note that the imaging device 10 may perform imaging processing when receiving a predetermined imaging instruction signal from the estimation device 30.

ここで、撮像装置10は、全方位画像(例えば、周囲360°(図1の例では、水平方向の周囲360°)の画像)を撮像する撮像装置(例えば、全方位カメラ等)であってもよい。この場合、撮像範囲が広がることによって、対象者Tの行動を広範囲に亘って把握することができる。 Here, the imaging device 10 is an imaging device (for example, an omnidirectional camera, etc.) that captures an omnidirectional image (for example, an image with a circumference of 360° (in the example of FIG. 1, a circumference of 360° in the horizontal direction)). Good too. In this case, by expanding the imaging range, it is possible to grasp the behavior of the subject T over a wide range.

また、撮像装置10は、赤外線画像を撮像する撮像装置(例えば、赤外線カメラ等)であってもよい。これにより、例えば、視界の悪い環境(例えば、夜間、暗い場所、悪天候の場所等)に対象者Tが存在している場合であっても、撮像画像内の対象者Tを検出することができる。 Further, the imaging device 10 may be an imaging device (for example, an infrared camera) that takes an infrared image. This makes it possible to detect the target person T in the captured image, for example, even if the target person T is present in an environment with poor visibility (for example, at night, in a dark place, in bad weather, etc.) .

さらに、撮像装置10は、ステレオ画像を撮像する撮像装置(例えば、ステレオカメラ等)であってもよい。ここで、ステレオ画像とは、例えば、所定の視差を有する2つの画像のセットであってもよい。 Furthermore, the imaging device 10 may be an imaging device (for example, a stereo camera, etc.) that captures stereo images. Here, the stereo image may be, for example, a set of two images having a predetermined parallax.

なお、本実施形態では、1つの撮像装置10を用いて空間SPを撮像する場合を一例として説明しているが、複数の撮像装置(例えば、水平方向及び/又は垂直方向に間隔をおいて設けられた2つの撮像装置等)を用いて空間SPを撮像してもよい。 Note that in this embodiment, the case where the space SP is imaged using one imaging device 10 is described as an example; The space SP may be imaged using two imaging devices (such as two imaging devices).

計測装置20は、対象者Tの状態を連続的又は断続的(例えば、所定間隔(例えば300ミリ秒や1秒等)毎)に計測する装置である。ここで、対象者Tの状態に関する情報とは、例えば、対象者Tの位置に関する情報であってもよいし、対象者Tの身体状態を表す値であってもよいし、対象者Tの位置や身体状態を表す値を所定の計算式に代入することによって得られた値であってもよいし、対象者Tの位置や身体状態の度合いを表す情報であってもよい。また、対象者Tの位置に関する情報は、例えば、GPS(Global Positioning System)等の位置測定技術を用いて測定された位置情報(例えば、緯度、経度及び高度のうち少なくとも1つ)を含んでもよいし、一方の装置が送信した信号を他方の装置が受信したときの受信信号強度(RSSI)に関する情報を含んでもよい。ここで、受信信号強度に関する情報は、例えば、受信信号強度の値であってもよいし、受信信号強度の値を所定の計算式に代入することによって得られた値であってもよいし、受信信号強度の度合いを表す情報であってもよい。 The measuring device 20 is a device that measures the condition of the subject T continuously or intermittently (eg, at predetermined intervals (eg, 300 milliseconds, 1 second, etc.)). Here, the information regarding the condition of the subject T may be, for example, information regarding the position of the subject T, a value representing the physical condition of the subject T, or the position of the subject T. The information may be a value obtained by substituting a value representing the person T's position or physical condition into a predetermined calculation formula, or may be information representing the position or degree of the physical condition of the subject T. Further, the information regarding the location of the subject T may include, for example, location information (for example, at least one of latitude, longitude, and altitude) measured using a location measurement technology such as GPS (Global Positioning System). However, it may also include information regarding received signal strength (RSSI) when a signal transmitted by one device is received by another device. Here, the information regarding the received signal strength may be, for example, a value of the received signal strength, a value obtained by substituting the value of the received signal strength into a predetermined calculation formula, It may also be information representing the degree of received signal strength.

計測装置20は、例えば、対象者Tの位置を計測する装置(例えば、GPSセンサ等)であってもよいし、対象者Tの身体状態(例えば、3軸方向の加速度(対象者Tの所定部位の加速度であってもよい)、3軸方向の角速度(対象者Tの所定部位の角速度であってもよい)、心拍数(脈拍)、血圧、体温、発汗量、歩数、歩行速度、姿勢、運動強度(例えば、心拍数÷最大心拍数)又は消費カロリー等)を計測する装置(例えば、心拍計、血圧計、体温計、発汗計、3軸加速度センサ、3軸ジャイロセンサ、モーションセンサ等)であってもよい。 The measuring device 20 may be, for example, a device that measures the position of the subject T (such as a GPS sensor), or may be a device that measures the position of the subject T (for example, a ), angular velocity in 3-axis directions (may be angular velocity of a predetermined part of subject T), heart rate (pulse), blood pressure, body temperature, amount of perspiration, number of steps, walking speed, posture , devices that measure exercise intensity (e.g. heart rate ÷ maximum heart rate) or calories burned (e.g. heart rate monitor, blood pressure monitor, thermometer, sweat meter, 3-axis acceleration sensor, 3-axis gyro sensor, motion sensor, etc.) It may be.

また、計測装置20は、図1に示すように、対象者Tが所持可能又は対象者Tの身体に装着可能な第1計測装置21と、空間SP内の異なる位置にそれぞれ配置された複数(図1の例では、3つ)の第2計測装置22であって、第1計測装置21が空間SP内に存在する場合に第1計測装置21と無線通信を行う複数の第2計測装置22と、から構成されてもよい。 In addition, as shown in FIG. 1, the measuring device 20 includes a first measuring device 21 that can be carried by the subject T or can be worn on the body of the subject T, and a plurality of measuring devices ( In the example of FIG. 1, there are three second measuring devices 22, and a plurality of second measuring devices 22 that wirelessly communicate with the first measuring device 21 when the first measuring device 21 exists in the space SP. It may be composed of.

この場合、第1計測装置21は、空間SP内に存在する場合に、所定の無線通信方式(例えば、無線LAN(例えば、Wi-Fi(登録商標)))を用いて複数の第2計測装置22と無線通信を行うことができるように構成されてもよい。また、第1計測装置21は、複数の第2計測装置22との間で無線通信を行うために、自身の識別情報(例えば、MAC(Media Access Control)アドレス等)を含む無線信号(例えば、プローブ要求等)を所定間隔(例えば、数百ミリ秒間隔等)で送信するように構成されてもよい。さらに、第1計測装置21は、例えば、対象者Tに装着可能なデバイス(例えば、ウェアラブルデバイス)であってもよいし、対象者Tが所持可能な携帯型デバイスであってもよい。さらにまた、第1計測装置21は、例えば、携帯端末、スマートフォン、PDA(Personal Digital Assistant)、パーソナルコンピュータ、双方向の通信機能を備えたテレビジョン受像機(いわゆる多機能型のスマートテレビも含む。)等のように、個々のユーザによって操作される通信装置であってもよい。 In this case, when the first measuring device 21 exists in the space SP, the first measuring device 21 connects the plurality of second measuring devices using a predetermined wireless communication method (for example, wireless LAN (for example, Wi-Fi (registered trademark))). 22 may be configured to be able to perform wireless communication. In order to perform wireless communication with the plurality of second measuring devices 22, the first measuring device 21 also sends a wireless signal (for example, probe requests, etc.) at predetermined intervals (eg, every few hundred milliseconds, etc.). Furthermore, the first measuring device 21 may be, for example, a device that can be worn by the subject T (for example, a wearable device), or a portable device that the subject T can carry. Furthermore, the first measuring device 21 includes, for example, a mobile terminal, a smartphone, a PDA (Personal Digital Assistant), a personal computer, and a television receiver equipped with a two-way communication function (a so-called multi-function smart television). ) may be a communication device operated by an individual user.

複数の第2計測装置22は、空間SP内で所定の無線通信方式(例えば、無線LAN(例えば、Wi-Fi(登録商標)))を用いて第1計測装置21と無線通信を行うことが可能な位置に設けられてもよい。また、複数の第2計測装置22は、例えば、空間SP内に存在する2つ以上の第1計測装置21間の無線通信を中継する装置であってもよいし、第1計測装置21と空間SP内に存在する他の装置(図示省略)との間の無線通信を中継する装置であってもよいし、第1計測装置21と、通信網NWを介して接続された他の装置(例えば、推定装置30等)との間の通信を中継する装置であってもよい。また、複数の第2計測装置22は、パケットキャプチャであってもよい。 The plurality of second measuring devices 22 can wirelessly communicate with the first measuring device 21 within the space SP using a predetermined wireless communication method (for example, wireless LAN (for example, Wi-Fi (registered trademark))). It may be provided at any possible position. Further, the plurality of second measurement devices 22 may be, for example, devices that relay wireless communication between two or more first measurement devices 21 existing in the space SP, or may be devices that relay wireless communication between the first measurement devices 21 and the space SP. It may be a device that relays wireless communication with other devices (not shown) existing in the SP, or it may be a device that relays wireless communication between the first measuring device 21 and other devices (for example, not shown) connected via the communication network NW. , estimating device 30, etc.). Furthermore, the plurality of second measurement devices 22 may be packet capture devices.

また、第1計測装置21と、複数の第2計測装置22と、のうち何れか一方には、他方が送信した信号を受信したときの受信信号強度(RSSI)を検出するRSSI回路が設けられていてもよい。さらに、この信号には、信号を送信した計測装置(第1計測装置21又は第2計測装置22)の識別情報(例えば、MACアドレス等)が含まれていてもよく、この信号の受信信号強度がRSSI回路によって検出されると、検出された受信信号強度と、この信号を送信した装置の識別情報と、が互いに対応付けられた状態で、この信号を受信した計測装置(第1計測装置21又は第2計測装置22)に設けられた記憶装置(図示省略)に記憶されてもよい。 Further, one of the first measuring device 21 and the plurality of second measuring devices 22 is provided with an RSSI circuit that detects the received signal strength (RSSI) when the other one receives the signal transmitted. You can leave it there. Furthermore, this signal may include identification information (for example, MAC address, etc.) of the measuring device (first measuring device 21 or second measuring device 22) that transmitted the signal, and the received signal strength of this signal is detected by the RSSI circuit, the detected received signal strength and the identification information of the device that transmitted this signal are associated with each other, and the measuring device that received this signal (first measuring device 21 Alternatively, it may be stored in a storage device (not shown) provided in the second measuring device 22).

なお、ここでは、第1計測装置21と複数の第2計測装置22との間でWi-Fi(登録商標)を用いて無線通信を行う場合を一例として説明しているが、通信方式は、この場合に限られない。例えば、Bluetooth(登録商標)、ZigBee(登録商標)、UWB、光無線通信(例えば、赤外線)等の無線通信方式が用いられてもよいし、USB等の有線通信方式が用いられてもよい。 Note that although the case where wireless communication is performed between the first measuring device 21 and the plurality of second measuring devices 22 using Wi-Fi (registered trademark) is described here as an example, the communication method is as follows. It is not limited to this case. For example, a wireless communication method such as Bluetooth (registered trademark), ZigBee (registered trademark), UWB, optical wireless communication (for example, infrared) may be used, or a wired communication method such as USB may be used.

計測装置20(第1計測装置21及び/又は複数の第2計測装置22)は、対象者Tの状態を検出する毎に、検出した状態に関する情報を、通信網NWを介して推定装置30に送信するように構成されている。 Every time the measuring device 20 (the first measuring device 21 and/or the plurality of second measuring devices 22) detects the condition of the subject T, it sends information regarding the detected condition to the estimation device 30 via the communication network NW. configured to send.

なお、本実施形態では、1つの第1計測装置21が対象者Tに設けられている場合を一例として説明しているが、複数の第1計測装置21が対象者Tに設けられてもよい。また、本実施形態では、3つの第2計測装置22が空間SP内に設けられている場合を一例として説明しているが、空間SP内に設けられる第2計測装置22の数は、2つ以下であってもよいし、4つ以上であってもよい。 In addition, in this embodiment, although the case where one 1st measuring device 21 is provided in the subject T is demonstrated as an example, the several 1st measuring device 21 may be provided in the subject T. . Furthermore, in the present embodiment, the case where three second measuring devices 22 are provided in the space SP is described as an example, but the number of second measuring devices 22 provided in the space SP is two. It may be less than or equal to four or more.

さらに、撮像装置10及び計測装置20は、推定装置30との間で有線又は無線接続方式を用いて直接通信を行うように構成されてもよいし、所定の中継装置(図示省略)との間で有線又は無線接続方式を用いて情報の送受信を行うことによって、当該中継装置を介して推定装置30と通信を行うように構成されてもよい。 Furthermore, the imaging device 10 and the measuring device 20 may be configured to directly communicate with the estimation device 30 using a wired or wireless connection method, or with a predetermined relay device (not shown). The estimating device 30 may be configured to communicate with the estimating device 30 via the relay device by transmitting and receiving information using a wired or wireless connection method.

推定装置30は、通信網NWを介して撮像装置10及び計測装置20の各々と通信を行い、撮像装置10が撮像した画像と、計測装置20が計測した対象者Tの状態に関する情報とを、通信網NWを介して経時的に取得するように構成されている。推定装置30は、例えば、携帯端末、スマートフォン、PDA、パーソナルコンピュータ、双方向の通信機能を備えたテレビジョン受像機(いわゆる多機能型のスマートテレビも含む。)等のように、個々のユーザによって操作される端末装置であってもよい。 The estimation device 30 communicates with each of the imaging device 10 and the measuring device 20 via the communication network NW, and transmits the image captured by the imaging device 10 and information regarding the state of the subject T measured by the measuring device 20. The information is configured to be acquired over time via the communication network NW. The estimation device 30 is configured by an individual user, such as a mobile terminal, a smartphone, a PDA, a personal computer, a television receiver with a two-way communication function (including a so-called multi-function smart TV), etc. It may also be a terminal device that is operated.

(2)推定装置の構成
図2を参照して推定装置30の構成について説明する。図2は、推定装置30の内部構成を示すブロック図である。図2に示すように、推定装置30は、CPU(Central Processing Unit)31と、ROM(Read Only Memory)32と、RAM(Random Access Memory)33と、記憶装置34と、表示処理部35と、表示部36と、入力部37と、通信インタフェース部38と、を備えており、各部間の制御信号又はデータ信号を伝送するためのバス30aが設けられている。
(2) Configuration of estimation device The configuration of the estimation device 30 will be described with reference to FIG. 2. FIG. 2 is a block diagram showing the internal configuration of the estimation device 30. As shown in FIG. 2, the estimation device 30 includes a CPU (Central Processing Unit) 31, a ROM (Read Only Memory) 32, a RAM (Random Access Memory) 33, a storage device 34, a display processing section 35, It includes a display section 36, an input section 37, and a communication interface section 38, and is provided with a bus 30a for transmitting control signals or data signals between each section.

CPU31は、電源が推定装置30に投入されると、ROM32又は記憶装置34に記憶された各種のプログラムをRAM33にロードして実行する。本実施形態では、CPU31は、ROM32又は記憶装置34に記憶されたプログラムを読み出して実行することにより、後述する第1取得手段41、第2取得手段42、検出手段43及び推定手段44(図3に示す)の機能を実現する。 When power is turned on to the estimation device 30, the CPU 31 loads various programs stored in the ROM 32 or the storage device 34 into the RAM 33 and executes them. In the present embodiment, the CPU 31 reads and executes a program stored in the ROM 32 or the storage device 34, thereby controlling the first acquisition means 41, the second acquisition means 42, the detection means 43, and the estimation means 44 (see FIG. ).

記憶装置34は、例えば、フラッシュメモリ、SSD(Solid State Drive)、磁気記憶装置(例えばHDD(Hard Disk Drive)、フロッピーディスク(登録商標)、磁気テープ等)、光ディスク等の不揮発性の記憶装置であってもよいし、RAM等の揮発性の記憶装置であってもよく、CPU31が実行するプログラムやCPU31が参照するデータを格納する。また、記憶装置34には、後述する第1取得データ(図4に示す)、第2取得データ(図5に示す)、第1学習データ(図8に示す)、第2学習データ(図9に示す)及び推定データ(図12に示す)が記憶されている。 The storage device 34 is, for example, a non-volatile storage device such as a flash memory, an SSD (Solid State Drive), a magnetic storage device (for example, an HDD (Hard Disk Drive), a floppy disk (registered trademark), a magnetic tape, etc.), or an optical disk. It may be a volatile storage device such as a RAM, and stores programs executed by the CPU 31 and data referenced by the CPU 31. The storage device 34 also stores first acquired data (shown in FIG. 4), second acquired data (shown in FIG. 5), first learning data (shown in FIG. 8), and second learning data (shown in FIG. 9), which will be described later. ) and estimated data (shown in FIG. 12) are stored.

表示処理部35は、CPU31から与えられる表示用データを表示部36に表示する。表示部36は、例えば、マトリクス状に画素単位で配置された薄膜トランジスタを含むLCD(Liquid Crystal Display)モニタであり、表示用データに基づいて薄膜トランジスタを駆動することで、表示されるデータを表示画面に表示する。 The display processing section 35 displays the display data given from the CPU 31 on the display section 36. The display unit 36 is, for example, an LCD (Liquid Crystal Display) monitor including thin film transistors arranged pixel by pixel in a matrix, and displays data on the display screen by driving the thin film transistors based on display data. indicate.

推定装置30が釦入力方式の装置である場合には、入力部37は、ユーザの操作入力を受け入れるための方向指示釦及び決定釦等の複数の指示入力釦を含む釦群と、テンキー等の複数の指示入力釦を含む釦群とを備え、各釦の押下(操作)入力を認識してCPU31へ出力するためのインタフェース回路を含む。 When the estimation device 30 is a button input type device, the input unit 37 includes a button group including a plurality of instruction input buttons such as a direction instruction button and a decision button for accepting user operation input, and a button group such as a numeric keypad. It includes a button group including a plurality of instruction input buttons, and includes an interface circuit for recognizing press (operation) input of each button and outputting it to the CPU 31.

推定装置30がタッチパネル入力方式の装置である場合には、入力部37は、主として表示画面に指先又はペンで触れることによるタッチパネル方式の入力を受け付ける。タッチパネル入力方式は、静電容量方式等の公知の方式であってもよい。 When the estimation device 30 is a touch panel input type device, the input unit 37 mainly receives touch panel type input by touching the display screen with a fingertip or a pen. The touch panel input method may be a known method such as a capacitive method.

また、推定装置30が音声入力可能な装置である場合には、入力部37は、音声入力用のマイクを含むように構成されてもよいし、外付けのマイクを介して入力された音声データをCPU31へ出力するためのインタフェース回路を備えてもよい。さらに、推定装置30が動画像及び/又は静止画像を入力可能な装置である場合には、入力部37は、画像入力用のデジタルカメラやデジタルビデオカメラを含むように構成されてもよいし、外付けのデジタルカメラやデジタルビデオカメラで撮像された画像データを受け付けてCPU31へ出力するためのインタフェース回路を備えてもよい。 Further, when the estimation device 30 is a device capable of voice input, the input unit 37 may be configured to include a microphone for voice input, or may be configured to include voice input via an external microphone. An interface circuit for outputting the information to the CPU 31 may be provided. Furthermore, when the estimation device 30 is a device that can input moving images and/or still images, the input section 37 may be configured to include a digital camera or a digital video camera for image input, It may also include an interface circuit for receiving image data captured by an external digital camera or digital video camera and outputting it to the CPU 31.

通信インタフェース部38は、通信網NWを介して他の装置(例えば、撮像装置10及び計測装置20等)と通信を行うためのインタフェース回路を含む。 The communication interface unit 38 includes an interface circuit for communicating with other devices (for example, the imaging device 10 and the measuring device 20, etc.) via the communication network NW.

(3)行動推定システムにおける各機能の概要
本実施形態の行動推定システムで実現される機能について、図3を参照して説明する。図3は、本実施形態の行動推定システムで主要な役割を果たす機能を説明するための機能ブロック図である。図3の機能ブロック図では、第1取得手段41、第2取得手段42及び推定手段44が本発明の行動推定システムの主要な構成に対応している。他の手段(検出手段43)は必ずしも必須の構成ではないが、本発明をさらに好ましくするための構成要素である。
(3) Overview of each function in the behavior estimation system The functions realized by the behavior estimation system of this embodiment will be described with reference to FIG. 3. FIG. 3 is a functional block diagram for explaining functions that play a major role in the behavior estimation system of this embodiment. In the functional block diagram of FIG. 3, the first acquisition means 41, the second acquisition means 42, and the estimation means 44 correspond to the main components of the behavior estimation system of the present invention. Other means (detection means 43) are not necessarily essential components, but are components for making the present invention more preferable.

第1取得手段41は、撮像装置10によって撮像された対象者T(動体)の画像を取得する機能を備える。 The first acquisition means 41 has a function of acquiring an image of the subject T (moving object) captured by the imaging device 10.

第1取得手段41の機能は、例えば以下のように実現される。先ず、撮像装置10は、例えば、対象者Tが空間SP内に存在する場合に、所定のフレームレート(例えば、30fps等)で撮像処理を行い、撮像処理を行う毎に、撮像した画像の画像データを、通信網NWを介して推定装置30に送信する。ここで、撮像装置10によって撮像された画像の画像データは、撮像日時及び撮像装置10の識別情報(例えば、撮像装置10のシリアル番号やMAC(Media Access Control)アドレス等)と対応付けた状態で推定装置30に送信されてもよい。 The functions of the first acquisition means 41 are realized, for example, as follows. First, for example, when the subject T exists in the space SP, the imaging device 10 performs imaging processing at a predetermined frame rate (for example, 30 fps, etc.), and each time the imaging processing is performed, an image of the captured image is The data is transmitted to the estimation device 30 via the communication network NW. Here, the image data of the image captured by the imaging device 10 is associated with the imaging date and time and identification information of the imaging device 10 (for example, the serial number and MAC (Media Access Control) address of the imaging device 10). It may also be transmitted to the estimation device 30.

一方、推定装置30のCPU31は、撮像装置10から送信された画像データを、通信インタフェース部38を介して受信(取得)する毎に、受信した画像データを、当該画像の撮像日時と対応付けた状態で例えば図4に示す第1取得データに記憶する。第1取得データは、画像の撮像日時毎に、当該画像の画像データが対応付けられた状態で記述されているデータである。このようにして、第1取得手段41は、撮像装置10によって撮像された対象者Tの画像を取得することができる。 On the other hand, each time the CPU 31 of the estimation device 30 receives (acquires) image data transmitted from the imaging device 10 via the communication interface unit 38, the CPU 31 associates the received image data with the imaging date and time of the image. For example, the first acquired data shown in FIG. 4 is stored in the state. The first acquired data is data in which image data of an image is associated with each other for each imaging date and time of the image. In this way, the first acquisition means 41 can acquire the image of the subject T captured by the imaging device 10.

なお、CPU31は、撮像装置10によって撮像された対象者T(動体)のステレオ画像を取得してもよい。この場合、対象者Tのステレオ画像に基づいて対象者Tの三次元モデルを生成することができるので、後述する検出手段43の機能において、この三次元モデルに基づいて、対象者Tの少なくとも1つの部位の三次元空間上の位置(座標)をもとめることが可能になる。これにより、例えば対象者Tの二次元モデルを用いる場合と比較して、対象者Tの少なくとも1つの部位の位置をより正確に捉えることが可能になるので、対象者Tの画像に基づく当該対象者Tの行動の推定精度を向上させることができる。 Note that the CPU 31 may acquire a stereo image of the subject T (moving object) captured by the imaging device 10. In this case, a three-dimensional model of the subject T can be generated based on the stereo image of the subject T, so that at least one It becomes possible to determine the position (coordinates) of two parts in three-dimensional space. This makes it possible to capture the position of at least one part of the subject T more accurately compared to the case where a two-dimensional model of the subject T is used. The accuracy of estimating the behavior of person T can be improved.

また、例えば、水平方向及び/又は垂直方向に間隔をおいて設けられた2つの撮像装置が空間SP内に設けられている場合には、CPU31は、各撮像装置が実質的に同じタイミングで撮像した2つの画像(例えば、撮像日時が同じ2つの画像であってもよいし、撮像日時の時間差が所定範囲(例えば、数ミリ秒~数十ミリ秒等)内の2つの画像等であってもよい)を、所定の視差を有する画像のセット(つまり、ステレオ画像)として取得してもよい。 Further, for example, when two imaging devices spaced apart in the horizontal and/or vertical directions are provided in the space SP, the CPU 31 causes each imaging device to take images at substantially the same timing. (For example, it may be two images with the same imaging date and time, or two images with a time difference within a predetermined range (for example, several milliseconds to tens of milliseconds, etc.) may be obtained as a set of images (that is, stereo images) having a predetermined parallax.

第2取得手段42は、計測装置20によって計測された対象者T(動体)の状態に関する情報を取得する機能を備える。 The second acquisition means 42 has a function of acquiring information regarding the state of the subject T (moving object) measured by the measuring device 20.

ここで、対象者T(動体)の状態に関する情報は、対象者Tの位置、対象者Tの加速度、対象者Tの角速度及び対象者Tの温度のうち少なくとも1つを含んでもよい。なお、対象者Tの位置に関する情報は、GPS等の位置測定技術を用いて測定された位置情報(例えば、緯度、経度及び高度のうち少なくとも1つ)を含んでもよいし、第1計測装置21及び複数の第2計測装置22のうち一方の計測装置が送信した信号を他方の計測装置が受信したときの受信信号強度(RSSI)に関する情報を含んでもよい。これにより、対象者Tの位置、対象者Tの加速度、対象者Tの角速度及び対象者Tの温度のうち少なくとも1つを用いて、対象者Tの行動を推定することができる。 Here, the information regarding the state of the subject T (moving body) may include at least one of the position of the subject T, the acceleration of the subject T, the angular velocity of the subject T, and the temperature of the subject T. Note that the information regarding the location of the subject T may include location information (for example, at least one of latitude, longitude, and altitude) measured using a location measurement technology such as GPS, It may also include information regarding the received signal strength (RSSI) when the other measuring device receives a signal transmitted by one measuring device among the plurality of second measuring devices 22. Thereby, the behavior of the subject T can be estimated using at least one of the position of the subject T, the acceleration of the subject T, the angular velocity of the subject T, and the temperature of the subject T.

第2取得手段42の機能は、例えば以下のように実現される。先ず、第1計測装置21は、例えば、対象者Tが空間SP内に存在する場合に、対象者Tの状態(例えば、対象者Tの位置と、対象者Tの3軸方向又は2軸方向の加速度と、対象者Tの3軸方向又は2軸方向の角速度と、対象者Tの温度と、のうち少なくとも1つ)を連続的又は断続的(例えば、所定間隔(例えば300ミリ秒や1秒等)毎)に計測する毎に、計測した状態に関する情報を、通信網NWを介して推定装置30に送信する。ここで、第1計測装置21によって計測された対象者Tの状態に関する情報は、計測日時及び第1計測装置21の識別情報(例えば、第1計測装置21のシリアル番号やMACアドレス等)と対応付けた状態で推定装置30に送信されてもよい。 The functions of the second acquisition means 42 are realized, for example, as follows. First, for example, when the subject T exists in the space SP, the first measurement device 21 measures the state of the subject T (for example, the position of the subject T and the three-axis direction or the two-axis direction of the subject T). at least one of the following: the acceleration of Every time the measurement is performed (every second, etc.), information regarding the measured state is transmitted to the estimation device 30 via the communication network NW. Here, the information regarding the condition of the subject T measured by the first measuring device 21 corresponds to the measurement date and time and the identification information of the first measuring device 21 (for example, the serial number and MAC address of the first measuring device 21). It may be transmitted to the estimating device 30 in a state where it is attached.

ここで、対象者Tの状態に関する情報が、対象者Tの位置に関する情報を含む場合であって、対象者Tの位置に関する情報が、第1計測装置21及び複数の第2計測装置22間の通信において送受信される信号の受信信号強度(RSSI)を含む場合について説明する。第1計測装置21は、例えば、対象者Tが空間SP内に存在する場合に、複数の第2計測装置22の各々と無線通信を行い、複数の第2計測装置22の各々から所定間隔(例えば、数百ミリ秒間隔等)で送信された無線信号(例えば、ビーコン信号等)を受信する毎に、RSSI回路によって検出(計測)された当該無線信号の受信信号強度(RSSI)の値を、第1計測装置21に設けられた記憶装置(図示省略)に記憶する。ここで、RSSIの値は、計測日時(例えば、第1計測装置21が当該RSSIの値に対応する無線信号を何れかの第2計測装置22から受信した日時)及び当該RSSIの値に対応する無線信号を送信した何れかの第2計測装置22の識別情報(例えば、第2計測装置22のシリアル番号やMACアドレス等)と対応付けられた状態で記憶されてもよい。そして、第1計測装置21は、所定期間(例えば、3秒毎等)が経過する毎に、当該所定期間内に第1計測装置21によって計測された対象者Tの状態に関する情報(つまり、当該所定期間内に第1計測装置21が複数の第2計測装置22から受信した全ての無線信号のRSSI)の値を、通信網NWを介して推定装置30に送信してもよい。ここで、所定期間内に第1計測装置21によって計測された対象者Tの状態に関する情報は、第1計測装置21の識別情報(例えば、第1計測装置21のシリアル番号やMACアドレス等)と対応付けた状態で推定装置30に送信されてもよい。 Here, the information regarding the condition of the subject T includes information regarding the position of the subject T, and the information regarding the position of the subject T is between the first measuring device 21 and the plurality of second measuring devices 22. A case will be described in which the received signal strength (RSSI) of a signal transmitted and received in communication is included. For example, when the subject T is present in the space SP, the first measuring device 21 performs wireless communication with each of the plurality of second measuring devices 22, and communicates with each of the plurality of second measuring devices 22 at a predetermined interval ( For example, each time a wireless signal (such as a beacon signal) transmitted at intervals of several hundred milliseconds is received, the value of the received signal strength (RSSI) of the wireless signal detected (measured) by the RSSI circuit is calculated. , is stored in a storage device (not shown) provided in the first measuring device 21. Here, the value of RSSI corresponds to the measurement date and time (for example, the date and time when the first measurement device 21 received a wireless signal corresponding to the RSSI value from any of the second measurement devices 22) and the value of the RSSI. It may be stored in a state in which it is associated with the identification information (for example, the serial number, MAC address, etc. of the second measuring device 22) of any second measuring device 22 that transmitted the wireless signal. Then, each time a predetermined period (for example, every 3 seconds, etc.) elapses, the first measuring device 21 generates information regarding the state of the subject T measured by the first measuring device 21 within the predetermined period (i.e., the relevant state). The first measurement device 21 may transmit the RSSI values of all the wireless signals received from the plurality of second measurement devices 22 within a predetermined period to the estimation device 30 via the communication network NW. Here, the information regarding the condition of the subject T measured by the first measuring device 21 within a predetermined period is the identification information of the first measuring device 21 (for example, the serial number, MAC address, etc. of the first measuring device 21). It may be transmitted to the estimation device 30 in a matched state.

なお、ここでは、第1計測装置21が、複数の第2計測装置22の各々から送信された無線信号を受信したときのRSSIの値を、対象者Tの状態に関する情報として推定装置30に送信する場合を一例として説明したが、複数の第2計測装置22の各々が、第1計測装置21から送信された無線信号を受信したときのRSSIの値を、対象者Tの状態に関する情報として推定装置30に送信してもよい。 Note that here, the first measurement device 21 transmits the RSSI value when receiving the wireless signal transmitted from each of the plurality of second measurement devices 22 to the estimation device 30 as information regarding the state of the subject T. Although the case has been described as an example, each of the plurality of second measuring devices 22 estimates the RSSI value when receiving the wireless signal transmitted from the first measuring device 21 as information regarding the state of the subject T. It may also be transmitted to the device 30.

一方、推定装置30のCPU31は、計測装置20から送信された対象者Tの状態に関する情報を、通信インタフェース部38を介して受信(取得)する毎に、受信した状態に関する情報を、当該情報の計測日時と対応付けた状態で例えば図5に示す第2取得データに記憶する。第2取得データは、計測日時毎に、対象者Tの状態に関する情報(図の例では、「計測情報」)が対応付けられた状態で記述されているデータである。このようにして、第2取得手段42は、計測装置20によって計測された対象者Tの状態(ここでは、対象者Tの位置と、対象者Tの3軸方向又は2軸方向の加速度と、対象者Tの3軸方向又は2軸方向の角速度と、対象者Tの温度と、のうち少なくとも1つ)を取得することができる。 On the other hand, each time the CPU 31 of the estimation device 30 receives (acquires) information regarding the state of the subject T transmitted from the measuring device 20 via the communication interface section 38, the CPU 31 of the estimation device 30 converts the received information regarding the state into the information. For example, the second acquired data shown in FIG. 5 is stored in association with the measurement date and time. The second acquired data is data in which information regarding the condition of the subject T (in the illustrated example, "measurement information") is described in association with each measurement date and time. In this way, the second acquisition means 42 acquires the state of the subject T measured by the measuring device 20 (here, the position of the subject T, the acceleration of the subject T in the three-axis direction or the two-axis direction, At least one of the angular velocity of the subject T in three or two axial directions and the temperature of the subject T can be acquired.

なお、推定装置30のCPU31は、第2取得手段42の機能に基づいて、対象者Tの位置と、対象者Tの3軸方向又は2軸方向の加速度の平均及び/又は分散と、対象者Tの3軸方向又は2軸方向の角速度の平均及び/又は分散と、対象者Tの温度と、のうち少なくとも1つを取得してもよい。 Note that, based on the function of the second acquisition means 42, the CPU 31 of the estimation device 30 calculates the position of the subject T, the average and/or variance of the acceleration of the subject T in three-axis directions or two-axis directions, and the subject person's position. At least one of the average and/or variance of the angular velocity in three or two axis directions of T and the temperature of the subject T may be acquired.

また、本実施形態では、第1計測装置21及び複数の第2計測装置22間の通信において送受信される信号の受信信号強度(RSSI)が対象者Tの位置に関する情報に含まれているが、この受信信号強度(RSSI)を用いて、第1計測装置21と複数の第2計測装置22の各々との距離、ひいては、空間SP内の第1計測装置21の位置(つまり、対象者Tの位置)をもとめることが可能である。具体的に説明すると、第1計測装置21と複数の第2計測装置22の各々との距離は、例えば、以下の式(1)及び(2)を用いることによって算出することができる。
=P+G+G-L …(1)

Figure 2023131905000002

式(1)中、PはRSSI(dBm)を示し、Pは第2計測装置22の送信電力(dBm)を示し、Gは第1計測装置21の受信アンテナの利得(dBi)を示し、Gは第2計測装置22の送信アンテナの利得(dBi)を示し、Lは自由空間損失(dBm)を示している。このLは式(2)でもとめられ、式(2)中、dは第1計測装置21と第2計測装置22との距離(m)を示し、fは無線信号の周波数(Hz)を示し、cは光速(=2.99792458×10)(m/s)を示している。式(1)及び式(2)によってもとめられる距離とRSSIの値との関係は、例えば図6に示す対数関数で表される。図6に示すように、第1計測装置21と第2計測装置22との距離が短いほど、RSSI(図の例では、受信信号強度)の値が大きいことがわかる。 Further, in the present embodiment, the received signal strength (RSSI) of the signal transmitted and received in communication between the first measuring device 21 and the plurality of second measuring devices 22 is included in the information regarding the position of the subject T. Using this received signal strength (RSSI), the distance between the first measuring device 21 and each of the plurality of second measuring devices 22, and the position of the first measuring device 21 in the space SP (that is, the position of the subject T) location). Specifically, the distance between the first measuring device 21 and each of the plurality of second measuring devices 22 can be calculated using, for example, the following equations (1) and (2).
P r =P t +G r +G t -L...(1)
Figure 2023131905000002

In equation (1), P r indicates RSSI (dBm), P t indicates the transmission power (dBm) of the second measuring device 22, and G r indicates the gain (dBi) of the receiving antenna of the first measuring device 21. , G t indicates the gain (dBi) of the transmitting antenna of the second measuring device 22, and L indicates the free space loss (dBm). This L is determined by equation (2), where d indicates the distance (m) between the first measuring device 21 and the second measuring device 22, and f indicates the frequency (Hz) of the wireless signal. , c indicates the speed of light (=2.99792458×10 8 ) (m/s). The relationship between the distance determined by equations (1) and (2) and the RSSI value is expressed, for example, by a logarithmic function shown in FIG. 6. As shown in FIG. 6, it can be seen that the shorter the distance between the first measuring device 21 and the second measuring device 22, the larger the value of RSSI (received signal strength in the illustrated example).

これにより、第1計測装置21と複数の第2計測装置22の各々との間の信号の受信信号強度(RSSI)を用いて、第1計測装置21と複数の第2計測装置22の各々との距離がもとめることが可能になる。また、第1計測装置21と複数の第2計測装置22の各々との距離を用いて、空間SP内の第1計測装置21の位置(つまり、対象者Tの位置)をもとめることが可能になる。 Thereby, using the received signal strength (RSSI) of the signal between the first measuring device 21 and each of the plurality of second measuring devices 22, the first measuring device 21 and each of the plurality of second measuring devices 22 can be connected to each other. It becomes possible to find the distance of Furthermore, it is possible to determine the position of the first measuring device 21 in the space SP (that is, the position of the subject T) using the distance between the first measuring device 21 and each of the plurality of second measuring devices 22. Become.

検出手段43は、取得した画像に基づいて、対象者T(動体)の少なくとも1つの部位を検出する機能を備える。 The detection means 43 has a function of detecting at least one part of the subject T (moving object) based on the acquired image.

また、検出手段43は、対象者T(動体)の少なくとも1つの関節を、対象者Tの少なくとも1つの部位として検出してもよい。これにより、対象者Tの少なくとも1つの関節の移動態様に関する情報を用いて、対象者Tの行動を推定することができる。 Further, the detection means 43 may detect at least one joint of the subject T (moving body) as at least one part of the subject T. Thereby, the behavior of the subject T can be estimated using information regarding the movement mode of at least one joint of the subject T.

検出手段43の機能は、例えば以下のように実現される。推定装置30のCPU31は、例えば、第1取得手段41の機能に基づいて、撮像装置10から送信された画像データを第1取得データに記憶する毎に、対象者Tの少なくとも1つの部位の各々の位置に対応するノードを画像内に設定するとともに、各ノードの画像内の座標を算出してもよい。ここで、各ノードの設定及び座標の算出は、例えば、深層学習による特徴点(キーポイント)検出技術(例えば、OpenPose等)を用いて行われてもよい。また、各ノードの座標は、二次元座標であってもよいし、例えば、画像データ(ステレオ画像)によって対象者Tの三次元モデルが生成される場合には、三次元座標であってもよい。 The function of the detection means 43 is realized, for example, as follows. For example, based on the function of the first acquisition means 41, the CPU 31 of the estimation device 30 stores each of at least one body part of the subject T every time the image data transmitted from the imaging device 10 is stored as the first acquisition data. A node corresponding to the position of may be set in the image, and the coordinates of each node in the image may be calculated. Here, the setting of each node and the calculation of the coordinates may be performed using, for example, feature point (key point) detection technology based on deep learning (eg, OpenPose, etc.). Further, the coordinates of each node may be two-dimensional coordinates, or may be three-dimensional coordinates, for example, when a three-dimensional model of the subject T is generated from image data (stereo image). .

なお、例えば、撮像装置10が全方位画像を撮像する場合には、CPU31は、撮像装置10が撮像した全方位画像をパノラマ画像に展開して、展開したパノラマ画像に対してノードの設定及びノードの座標の算出を行ってもよい。 Note that, for example, when the imaging device 10 captures an omnidirectional image, the CPU 31 develops the omnidirectional image captured by the imaging device 10 into a panoramic image, and configures node settings and nodes for the developed panoramic image. You may also calculate the coordinates of .

また、対象者Tのステレオ画像が取得された場合には、CPU31は、所定の視差を有する画像のセットの各画像に対して事前処理(例えば、ノイズ除去等)を実行し、さらには、周知のステレオマッチング処理を実行して、対象者Tの三次元モデルを生成してもよい。 Further, when a stereo image of the subject T is acquired, the CPU 31 performs pre-processing (for example, noise removal, etc.) on each image of the set of images having a predetermined parallax, and A three-dimensional model of the subject T may be generated by performing the stereo matching process.

CPU31は、例えば図7に示すように、撮像装置10が撮像した画像において、対象者Tの少なくとも1つの部位(図の例では、「首」、「右肩」、「左肩」、「右臀部」、「左臀部」等)の位置(図の例では、X方向の座標及びY方向の座標)を検出し、検出した部位の各々に対応するノード(図の例では、14個のノード)を設定する。ここで、各ノードの座標は、各ノードが設定された画像に対応付けられた状態で第1取得データに記憶されてもよい。また、CPU31は、例えば、対象者Tの少なくとも1つの部位が他の物体(例えば、他の動体や設置物等)に隠れるように撮像される等によって当該部位を検出することができない場合に、当該部位に対応するノードの座標をNULLデータとして第1取得データに記憶してもよい。 For example, as shown in FIG. 7, the CPU 31 selects at least one region of the subject T (in the illustrated example, "neck", "right shoulder", "left shoulder", "right buttock") in the image captured by the imaging device 10. ”, “left buttock”, etc.) (in the example shown, the coordinates in the X direction and the coordinate in the Y direction), and the nodes corresponding to each of the detected parts (14 nodes in the example shown) Set. Here, the coordinates of each node may be stored in the first acquired data in a state where each node is associated with the image in which it is set. In addition, the CPU 31 may, for example, when at least one part of the subject T cannot be detected because the part is imaged so as to be hidden by another object (for example, another moving object, an installed object, etc.). The coordinates of the node corresponding to the part may be stored as NULL data in the first acquired data.

なお、ここでは、撮像装置10が撮像した画像を用いて対象者Tの少なくとも1つの部位(「首」、「右肩」、「左肩」、「右臀部」、「左臀部」等)が検出される場合を一例として説明したが、例えば、撮像装置10が撮像した画像を用いて対象者Tの少なくとも1つの関節(例えば、「右肩関節」、「右肘関節」、「右股関節」、「右膝関節」、「左肩関節」、「左肘関節」、「左股関節」及び「左膝関節」等)が検出されてもよい。 Note that at least one region of the subject T (“neck,” “right shoulder,” “left shoulder,” “right buttock,” “left buttock,” etc.) is detected here using the image captured by the imaging device 10. However, for example, at least one joint of the subject T (for example, "right shoulder joint", "right elbow joint", "right hip joint", "right knee joint," "left shoulder joint," "left elbow joint," "left hip joint," "left knee joint," etc.) may be detected.

推定手段44は、所定期間内に撮像された対象者T(動体)の画像と、当該所定期間内の対象者T(動体)の状態に関する情報と、に基づいて、当該所定期間内の対象者T(動体)の行動を推定する機能を備える。 The estimation means 44 estimates the target person within the predetermined period based on images of the target person T (moving object) captured within the predetermined period and information regarding the state of the target person T (moving object) within the predetermined period. Equipped with a function to estimate the behavior of T (moving object).

ここで、推定手段44は、所定期間内に撮像された対象者T(動体)の画像と、当該所定期間内の対象者T(動体)の状態に関する情報と、対象者T(動体)の画像及び/又は対象者T(動体)の状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、当該所定期間内の対象者T(動体)の行動を推定してもよい。これにより、対象者Tの画像及び/又は対象者Tの状態に関する情報を用いて学習済モデルによって推定された対象者Tの行動に基づいて、対象者Tの行動を容易に推定することができる。 Here, the estimation means 44 includes an image of the subject T (moving body) captured within a predetermined period, information regarding the state of the subject T (moving body) within the predetermined period, and an image of the subject T (moving body). and/or a trained model based on machine learning using information regarding the state of the subject T (moving body) as learning data, and/or estimating the behavior of the subject T (moving body) within the predetermined period. good. Thereby, the behavior of the target person T can be easily estimated based on the behavior of the target person T estimated by the trained model using the image of the target person T and/or information regarding the state of the target person T. .

また、推定手段44は、所定期間内に撮像された対象者T(動体)の画像を、対象者T(動体)の画像を学習データとして用いた機械学習に基づく学習済モデルである第1学習済モデルに入力することによって得られた対象者T(動体)の所定の行動の推定確率と、当該所定期間内の対象者T(動体)の状態に関する情報を、対象者T(動体)の状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルである第2学習済モデルに入力することによって得られた対象者T(動体)の当該所定の行動の推定確率と、を用いて当該所定の行動の推定確率を新たに算出することによって、当該所定期間内の対象者T(動体)の行動を推定してもよい。これにより、所定期間内に撮像された対象者Tの画像を第1学習済モデルに入力することによって得られた対象者Tの所定の行動の推定確率と、所定期間内の対象者Tの状態に関する情報を第2学習済モデルに入力することによって得られた対象者Tの所定の行動の推定確率と、を用いて、所定期間内の対象者Tの行動を推定することができる。 Further, the estimation means 44 uses the images of the subject T (moving object) captured within a predetermined period to obtain a first learning model that is a trained model based on machine learning using the image of the subject T (moving object) as learning data. The estimated probability of a predetermined behavior of the target person T (moving object) obtained by inputting the information into the predetermined model and the state of the target person T (moving object) within the predetermined period are The estimated probability of the given action of the target person T (moving object) obtained by inputting the information about the given action into the second trained model, which is a trained model based on machine learning using as learning data, The behavior of the subject T (moving object) within the predetermined period may be estimated by newly calculating the estimated probability of the predetermined behavior. Thereby, the estimated probability of the predetermined behavior of the subject T obtained by inputting the image of the subject T taken within the predetermined period into the first trained model and the state of the subject T within the predetermined period are calculated. The behavior of the target person T within a predetermined period can be estimated using the estimated probability of the predetermined behavior of the target person T obtained by inputting information about the second learned model into the second learned model.

さらに、推定手段44は、所定期間内に撮像された対象者T(動体)の画像と、所定期間内の対象者T(動体)の状態に関する情報とを、対象者T(動体)の画像及び対象者T(動体)の状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルである第3学習済モデルに入力することによって、所定期間内の対象者T(動体)の行動を推定してもよい。これにより、所定期間内に撮像された対象者Tの画像と、所定期間内の対象者Tの状態に関する情報と、を第3学習済モデルに入力することによって、所定期間内の対象者Tの行動を推定することができる。 Furthermore, the estimation means 44 calculates the images of the subject T (moving body) captured within a predetermined period and the information regarding the state of the subject T (moving body) within the predetermined period. Estimating the behavior of the target person T (moving object) within a predetermined period by inputting information regarding the state of the target person T (moving object) to the third trained model, which is a trained model based on machine learning using learning data. You may. As a result, by inputting images of the subject T captured within a predetermined period and information regarding the state of the subject T within the predetermined period to the third trained model, the image of the subject T within the predetermined period is Behavior can be estimated.

また、推定手段44は、所定期間内の対象者T(動体)の少なくとも1つの部位の移動態様に関する情報と、当該所定期間内の対象者T(動体)の状態に関する情報と、に基づいて、当該所定期間内の対象者T(動体)の行動を推定してもよい。 Furthermore, the estimating means 44 calculates, based on information regarding the movement mode of at least one part of the subject T (moving body) within a predetermined period and information regarding the state of the subject T (moving body) within the predetermined period, The behavior of the subject T (moving object) within the predetermined period may be estimated.

推定手段44の機能は、例えば以下のように実現される。なお、ここでは、推定手段44が、所定期間内に撮像された対象者Tの画像と、当該所定期間内の対象者Tの状態に関する情報と、対象者Tの画像を学習データとして用いた機械学習に基づく第1学習済モデルと、対象者Tの状態に関する情報を学習データとして用いた機械学習に基づく第2学習済モデルと、に基づいて、当該所定期間内の対象者Tの行動を推定する場合について説明する。 The function of the estimating means 44 is realized, for example, as follows. Note that here, the estimation means 44 uses an image of the subject T taken within a predetermined period, information regarding the state of the subject T within the predetermined period, and a machine that uses the image of the subject T as learning data. Estimating the behavior of the target person T within the predetermined period based on a first learned model based on learning and a second trained model based on machine learning using information regarding the state of the target person T as learning data. Let's explain the case.

図8のフローチャートを参照して、本実施形態における推定手段44の処理の一例を説明する。先ず、推定装置30のCPU31は、所定期間内に撮像された対象者T(動体)の画像に基づいて、当該所定期間内の対象者Tの行動を推定する(ステップS100)。具体的に説明すると、推定装置30のCPU31は、第1取得データにアクセスして、所定の撮像日時を起点として所定期間(例えば、3秒等)が経過する毎に、当該所定期間内に撮像された全ての画像データを抽出する。ここで、抽出された全ての画像データには、検出手段43の機能に基づいて検出された対象者Tの少なくとも1つの部位に対応するノードの各々の座標が対応付けられている。次に、CPU31は、抽出した全ての画像データから、対象者Tの少なくとも1つの部位(本実施形態では、「首」、「右肩」、「左肩」、「右臀部」、「左臀部」等)に対応するノードの各々の座標をさらに抽出する。これにより、所定期間内の対象者Tの少なくとも1つの部位の位置の時間推移に関する情報が得られる。ここで、所定期間内の対象者Tの少なくとも1つの部位の位置の時間推移に関する情報は、本発明の「所定期間内の動体の少なくとも1つの部位の移動態様に関する情報」の一例である。 An example of the processing of the estimation means 44 in this embodiment will be described with reference to the flowchart in FIG. 8. First, the CPU 31 of the estimation device 30 estimates the behavior of the subject T within a predetermined period based on images of the subject T (moving object) captured within the predetermined period (step S100). Specifically, the CPU 31 of the estimation device 30 accesses the first acquired data, and every time a predetermined period (for example, 3 seconds, etc.) elapses starting from a predetermined imaging date and time, the CPU 31 of the estimation device 30 performs imaging within the predetermined period. Extract all image data. Here, all of the extracted image data is associated with the coordinates of each node corresponding to at least one part of the subject T detected based on the function of the detection means 43. Next, the CPU 31 selects at least one region of the subject T (in this embodiment, "neck", "right shoulder", "left shoulder", "right buttock", "left buttock") from all the extracted image data. etc.) further extract the coordinates of each node corresponding to the node. Thereby, information regarding the time course of the position of at least one body part of the subject T within a predetermined period is obtained. Here, the information regarding the time transition of the position of at least one part of the subject T within the predetermined period is an example of "information regarding the movement mode of at least one part of the moving body within the predetermined period" of the present invention.

次いで、CPU31は、対象者Tの少なくとも1つの部位に対応するノードの各々の座標(所定期間内の対象者Tの少なくとも1つの部位の位置の時間推移に関する情報)を、対象者Tの少なくとも1つの部位の移動態様に関する情報を第1学習データとして用いた機械学習に基づく第1学習済モデルに入力することによって、当該所定期間内の対象者Tの行動を推定する。なお、ここでは、対象者Tの少なくとも1つの部位に対応するノードの各々の座標が第1学習済モデルに入力されることによって、1つ以上の行動(本実施形態では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等)の各々の推定確率P(skeleton)がもとめられる。 Next, the CPU 31 calculates the coordinates of each node corresponding to at least one body part of the subject T (information regarding the time course of the position of at least one body part of the subject T within a predetermined period). The behavior of the subject T within the predetermined period is estimated by inputting information regarding the movement mode of the two body parts into a first learned model based on machine learning using as first learning data. Note that, here, the coordinates of each node corresponding to at least one body part of the subject T are input into the first learned model, so that one or more actions (in this embodiment, "remove the exterior") , "Connect the cable," "Put a sticker on the main body," "Read the barcode," "Assemble," etc.).

第1学習データの一例を図9に示す。図9に示す第1学習データは、対象者Tが所定の行動(図の例では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等の何れか)を行っている間の対象者Tの少なくとも1つの部位(図の例では、「首」、「右肩」、「左肩」、「右臀部」、「左臀部」)の位置の時間推移を、当該行動(行動ラベル)に対応付けた状態で記述されているデータである。これにより、第1学習データを用いた機械学習の結果として、所定の行動を行う対象者Tの少なくとも1つの部位の位置の所定期間内の時間推移と、当該行動との関係を示す第1学習済モデルが構成される。 An example of the first learning data is shown in FIG. The first learning data shown in FIG. 9 shows that the subject T performs a predetermined action (in the example shown in the figure, "remove the exterior", "connect the cable", "apply a sticker to the main body", "read the barcode"), At least one part of the subject T (in the example shown, the "neck", "right shoulder", "left shoulder", "right buttock", "left buttock") while performing any of the "assembly", etc.) ) is described in a state where the time transition of the position is associated with the relevant action (action label). Thereby, as a result of machine learning using the first learning data, the first learning that shows the relationship between the time transition within a predetermined period of the position of at least one body part of the subject T who performs a predetermined action and the said action. The completed model is configured.

なお、第1学習データに記述されるデータは、同一の対象者が異なる行動を行った場合のデータを含んでもよいし、異なる対象者が同一の行動を行った場合のデータを含んでもよい。 Note that the data described in the first learning data may include data when the same subject performs different actions, or may include data when different subjects perform the same action.

また、CPU31は、対象者Tの少なくとも1つの部位の移動態様に関する情報を第1学習データとして用いた機械学習によって、対象者Tの行動を撮像画像に基づいて推定するのに用いられるモデル(第1学習済モデル)を学習する機能を備えてもよい。 In addition, the CPU 31 uses a model (first 1 trained model).

この場合、CPU31は、例えば、所定のモデル学習指示が入力部37を用いて入力されると、図9に示す第1学習データを用いてモデルの学習を行ってもよい。CPU31は、例えば、時系列対応型ニューラルネットワークモデルを用いて学習してもよい。ここで、時系列対応型ニューラルネットワークとして、例えば、RNN(Recurrent Neural Network)や、RNNの発展型であるLSTM(Long Short-Term Memory)等を適用することができる。また、CPU31は、例えば、グラフニューラルネットワーク(GNN)モデル、畳み込みニューラルネットワーク(CNN)モデル、サポートベクターマシン(SVM)モデル、全結合ニューラルネットワーク(FNN)モデル、勾配ブースティング(HGB)モデル、ウェーブネット(WN)モデル等の複数のモデルのうち何れかのモデルを用いて学習してもよい。なお、本実施形態では、GNNの派生である、グラフ畳み込みニューラルネットワーク(GCN)モデル、グラフアテンションネットワーク(GAT)モデル、グラフ畳み込みLSTM(GC-LSTM)モデルの何れかを用いることによって、行動の推定精度を向上させることが可能である。 In this case, for example, when a predetermined model learning instruction is input using the input unit 37, the CPU 31 may perform model learning using the first learning data shown in FIG. The CPU 31 may perform learning using, for example, a time-series neural network model. Here, as the time-series compatible neural network, for example, RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), which is an advanced type of RNN, etc. can be applied. Further, the CPU 31 may be configured to use, for example, a graph neural network (GNN) model, a convolutional neural network (CNN) model, a support vector machine (SVM) model, a fully connected neural network (FNN) model, a gradient boosting (HGB) model, a wave network Learning may be performed using any one of a plurality of models such as the (WN) model. Note that in this embodiment, behavior estimation is performed by using any of the graph convolutional neural network (GCN) model, graph attention network (GAT) model, and graph convolution LSTM (GC-LSTM) model, which are derivatives of GNN. It is possible to improve accuracy.

このようにして、CPU31は、対象者Tの少なくとも1つの部位の位置の所定期間内の時間推移を第1学習済モデルに入力することによって、所定期間内に撮像された対象者Tの画像に基づいて、当該所定期間内の対象者Tの行動(ここでは、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等)を推定することができる。 In this way, the CPU 31 inputs the time course of the position of at least one body part of the subject T within a predetermined period into the first learned model, thereby adjusting the image of the subject T captured within the predetermined period. Based on this, the actions of the target person T during the specified period (here, "remove the exterior," "connect the cable," "apply a sticker to the main unit," "read the barcode," "assemble," etc.) It can be estimated.

次に、推定装置30のCPU31は、所定期間内の対象者T(動体)の状態に関する情報に基づいて、当該所定期間内の対象者Tの行動を推定する(ステップS102)。具体的に説明すると、推定装置30のCPU31は、第2取得データにアクセスして、所定の計測日時を起点として所定期間(例えば、3秒等)が経過する毎に、当該所定期間内に第2取得データに記憶された計測情報(対象者Tの状態に関する情報)を抽出する。なお、第2取得データから計測情報を抽出する場合に起点となる計測日時は、第1取得データから画像データを抽出する場合に起点となる撮像日時と同じ日時であってもよい。そして、CPU31は、抽出した計測情報(所定期間内の対象者Tの状態に関する情報の時間推移に関する情報)を、対象者Tの状態に関する情報を第2学習データとして用いた機械学習に基づく第2学習済モデルに入力することによって、当該所定期間内の対象者Tの行動を推定する。なお、ここでは、対象者Tの状態に関する情報が第2学習済モデルに入力されることによって、1つ以上の行動(本実施形態では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等)の各々の推定確率P(sensor)がもとめられる。 Next, the CPU 31 of the estimation device 30 estimates the behavior of the subject T within the predetermined period based on information regarding the state of the subject T (moving object) within the predetermined period (step S102). Specifically, the CPU 31 of the estimating device 30 accesses the second acquired data, and every time a predetermined period (for example, 3 seconds, etc.) elapses starting from a predetermined measurement date and time, the CPU 31 of the estimation device 30 accesses the second acquired data and calculates the second data within the predetermined period. 2. Extract the measurement information (information regarding the condition of the subject T) stored in the acquired data. Note that the measurement date and time that is the starting point when extracting measurement information from the second acquired data may be the same date and time as the imaging date and time that is the starting point when extracting image data from the first acquired data. Then, the CPU 31 converts the extracted measurement information (information regarding the time transition of information regarding the condition of the subject T within a predetermined period) into a second learning method based on machine learning using the information regarding the condition of the subject T as second learning data. By inputting the information to the learned model, the behavior of the target person T within the predetermined period is estimated. Note that here, by inputting information regarding the state of the subject T to the second trained model, one or more actions (in this embodiment, "remove the exterior", "connect the cable", "main body") The estimated probabilities P (sensor) for each of the following tasks (such as ``sticking a sticker to the object'', ``reading a barcode'', ``assembling'', etc.) are calculated.

第2学習データの一例を図10に示す。図10に示す第1学習データは、対象者Tが所定の行動(図の例では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等の何れか)を行っている間の対象者Tの状態(対象者Tの空間SP内の位置、加速度、角速度、温度等のうち少なくとも1つ)の時間推移を、当該行動(行動ラベル)に対応付けた状態で記述されているデータである。これにより、第2学習データを用いた機械学習の結果として、所定の行動を行う対象者Tの状態の所定期間内の時間推移と、当該行動との関係を示す第2学習済モデルが構成される。 An example of the second learning data is shown in FIG. The first learning data shown in FIG. 10 shows that the subject T performs a predetermined action (in the example shown in the figure, "remove the exterior", "connect the cable", "apply a sticker to the main body", "read the barcode"), The time course of the state of the subject T (at least one of the subject T's position in the space SP, acceleration, angular velocity, temperature, etc.) while performing the action ( This is data that is written in association with a behavior label). As a result of machine learning using the second learning data, a second learned model is constructed that shows the relationship between the time course of the state of the subject T performing a predetermined action within a predetermined period and the said action. Ru.

なお、第2学習データに記述されるデータは、同一の対象者が異なる行動を行った場合のデータを含んでもよいし、異なる対象者が同一の行動を行った場合のデータを含んでもよい。 Note that the data described in the second learning data may include data when the same subject performs different actions, or may include data when different subjects perform the same action.

また、CPU31は、対象者Tの状態の時間推移に関する情報を第2学習データとして用いた機械学習によって、対象者Tの行動を対象者Tの状態に基づいて推定するのに用いられるモデル(第2学習済モデル)を学習する機能を備えてもよい。 In addition, the CPU 31 uses a model (first model) used to estimate the behavior of the subject T based on the state of the subject T by machine learning using information regarding the time transition of the state of the subject T as second learning data. 2 trained model).

この場合、CPU31は、例えば、所定のモデル学習指示が入力部37を用いて入力されると、図10に示す第2学習データを用いてモデルの学習を行ってもよい。CPU31は、例えば、上述した第1学習済モデルと同様に、時系列対応型ニューラルネットワークモデル、GNNモデル、CNNモデル、SVMモデル、FNNモデル、HGBモデル、WNモデル、畳み込みLSTM(GC-LSTM)モデル等の複数のモデルのうち何れかのモデルを用いて学習してもよい。 In this case, for example, when a predetermined model learning instruction is input using the input unit 37, the CPU 31 may perform model learning using the second learning data shown in FIG. For example, the CPU 31 is configured to use a time-series neural network model, a GNN model, a CNN model, an SVM model, an FNN model, an HGB model, a WN model, and a convolutional LSTM (GC-LSTM) model, as well as the first learned model described above. Learning may be performed using any one of a plurality of models such as .

このようにして、CPU31は、対象者Tの状態の所定期間内の時間推移を第2学習済モデルに入力することによって、所定期間内の対象者Tの状態に関する情報に基づいて、当該所定期間内の対象者Tの行動(ここでは、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等)を推定することができる。 In this way, the CPU 31 inputs the time transition of the condition of the subject T within the predetermined period into the second trained model, and thereby calculates the period of time based on the information regarding the condition of the subject T within the predetermined period. It is possible to estimate the actions of the target person T (here, ``remove the exterior'', ``connect the cable'', ``apply a sticker to the main body'', ``read the barcode'', ``assemble'', etc.).

なお、本実施形態では、CPU31が、推定装置30内に設けられたモデル(第1学習済及び第2学習済モデル)を学習し、この学習済モデルを用いて、対象者Tの行動を推定する場合を一例として説明しているが、本発明はこの場合に限られない。例えば、第1学習済モデル及び/又は第2学習済モデルは、推定装置30以外の他の装置に設けられてもよい。この場合、CPU31は、所定期間内の対象者Tの少なくとも1つの部位の位置の時間推移に関する情報、及び/又は、所定期間内の対象者Tの状態の時間推移に関する情報を、他の装置に設けられた学習済モデルに入力し、当該学習済モデルによって推定された行動に関する情報を他の装置から受信(取得)してもよい。 In the present embodiment, the CPU 31 learns the models provided in the estimation device 30 (the first learned model and the second learned model), and estimates the behavior of the subject T using the learned models. Although the case is described as an example, the present invention is not limited to this case. For example, the first trained model and/or the second trained model may be provided in a device other than the estimation device 30. In this case, the CPU 31 transmits information regarding the time course of the position of at least one body part of the subject T within the predetermined period and/or information regarding the time course of the state of the subject T within the predetermined period to another device. Information regarding behavior estimated by the trained model may be inputted to a provided trained model and may be received (acquired) from another device.

次いで、推定装置30のCPU31は、対象者T(動体)の画像に基づいて推定された行動と、対象者T(動体)の状態に関する情報に基づいて推定された行動と、に基づいて、所定期間内の対象者T(動体)の行動を推定する(ステップS104)。具体的に説明すると、推定装置30のCPU31は、所定期間内に撮像された対象者Tの画像を第1学習済モデルに入力することによって得られた対象者Tの所定の行動の推定確率P(skeleton)と、当該所定期間内の対象者Tの状態に関する情報を第2学習済モデルに入力することによって得られた対象者Tの所定の行動の推定確率P(sensor)と、を用いて、当該所定期間内の対象者Tの行動を推定する。例えば、CPU31は、複数の行動(ここでは、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等)毎に、以下の式(3)を用いて推定確率Pを新たに算出する。
P=P(skeleton)×w+P(sensor)×(1-w) …(3)
式(3)中、w(0<w<1)は、画像データの重みを表す推定係数を示す。CPU31は、例えば、複数の行動毎に推定確率Pを算出し、複数の行動のうち推定確率Pが最も高い行動(例えば、「外装を外す」)を、所定期間内の対象者Tの行動として推定してもよい。
Next, the CPU 31 of the estimation device 30 performs a predetermined action based on the behavior estimated based on the image of the subject T (moving body) and the behavior estimated based on the information regarding the state of the subject T (moving body). The behavior of the subject T (moving object) within the period is estimated (step S104). Specifically, the CPU 31 of the estimation device 30 calculates the estimated probability P of a predetermined behavior of the subject T obtained by inputting images of the subject T captured within a predetermined period into the first learned model. (skeleton) and the estimated probability P(sensor) of a predetermined behavior of the target person T obtained by inputting information regarding the state of the target person T within the predetermined period into the second trained model. , the behavior of the subject T within the predetermined period is estimated. For example, the CPU 31 uses the following formula for each of multiple actions (here, "remove the exterior,""connect the cable,""apply a sticker to the main body,""read the barcode,""assembly," etc.) Estimated probability P is newly calculated using (3).
P=P(skeleton)×w+P(sensor)×(1-w)…(3)
In equation (3), w (0<w<1) represents an estimation coefficient representing the weight of image data. For example, the CPU 31 calculates the estimated probability P for each of the plurality of actions, and selects the action with the highest estimated probability P among the plurality of actions (for example, "remove the exterior") as the action of the target person T within a predetermined period. It may be estimated.

図11に、画像データ内の対象者Tの部位の欠損率毎における推定係数wと標準化された推定精度との関係の一例を示す。図11に示す例では、0.55<w<0.65の範囲内で、各欠損率における推定精度が最高になる。また、画像データ内の対象者Tの部位の欠損率が高くなるほど、最高の推定精度となる推定係数wの値が大きくなる。 FIG. 11 shows an example of the relationship between the estimation coefficient w and the standardized estimation accuracy for each missing rate of the part of the subject T in the image data. In the example shown in FIG. 11, the estimation accuracy for each missing rate is highest within the range of 0.55<w<0.65. Further, as the missing rate of the part of the subject T in the image data increases, the value of the estimation coefficient w that provides the highest estimation accuracy increases.

このようにして、CPU31は、対象者Tの画像に基づいて推定された行動と、対象者Tの状態に関する情報に基づいて推定された行動と、に基づいて、所定期間内の対象者Tの行動を推定することができる。 In this way, the CPU 31 determines the behavior of the target person T within a predetermined period based on the behavior estimated based on the image of the target person T and the behavior estimated based on the information regarding the condition of the target person T. Behavior can be estimated.

なお、CPU31は、所定期間内の対象者Tの少なくとも1つの部位の時間推移に関する情報と、当該所定期間内の対象者Tの計測情報の時間推移に関する情報と、推定された当該所定期間内の対象者Tの行動と、を例えば図12に示す推定データに記憶してもよい。図12に示す推定データは、所定期間内の対象者Tの少なくとも1つの部位の時間推移と、当該所定期間内の対象者Tの計測情報の時間推移と、当該所定期間内の対象者Tの行動と、が対応付けられた状態で記述されているデータである。 Note that the CPU 31 stores information regarding the time transition of at least one body part of the subject T within a predetermined period, information regarding the time transition of measurement information of the subject T within the predetermined period, and information regarding the time transition of the measurement information of the subject T within the predetermined period. The behavior of the subject T may be stored in the estimated data shown in FIG. 12, for example. The estimated data shown in FIG. 12 includes a time change of at least one body part of the subject T within a predetermined period, a time change of measurement information of the subject T within the predetermined period, and a time change of the measurement information of the subject T within the predetermined period. This is data that describes actions in a state where they are associated with each other.

また、CPU31は、推定された所定期間内の対象者Tの行動に関する情報を提示してもよい。例えば、CPU31は、所定期間内の対象者Tの行動を推定すると、推定された所定期間内の対象者Tの行動に関する情報を例えば表示部36に表示してもよい。ここで、所定期間内の対象者Tの行動に関する情報は、テキストデータで構成されてもよいし、画像データ等で構成されてもよい。また、所定期間内の対象者Tの行動に関する情報が音声データで構成されている場合には、CPU31は、所定期間内の対象者Tの行動に関する情報を、スピーカ等の音声出力装置から出力してもよい。 Further, the CPU 31 may present information regarding the estimated behavior of the target person T within the predetermined period. For example, when the CPU 31 estimates the behavior of the target person T within a predetermined period, the CPU 31 may display information regarding the estimated behavior of the target person T within the predetermined period on the display unit 36, for example. Here, the information regarding the behavior of the target person T within a predetermined period may be composed of text data, image data, etc. Furthermore, if the information regarding the behavior of the target person T within the predetermined period is configured as audio data, the CPU 31 outputs the information regarding the behavior of the target person T within the predetermined period from an audio output device such as a speaker. It's okay.

さらに、CPU31は、所定期間内の対象者Tの行動に関する情報を、通信網NWを介して他のコンピュータ(例えば、サーバ等)に送信してもよい。 Furthermore, the CPU 31 may transmit information regarding the behavior of the target person T within a predetermined period to another computer (for example, a server, etc.) via the communication network NW.

(4)本実施形態の行動推定システムの主要な処理のフロー
次に、本実施形態の行動推定システムにより行われる主要な処理のフローの一例について、図13のフローチャートを参照して説明する。
(4) Flow of main processing of the behavior estimation system of this embodiment Next, an example of the flow of main processing performed by the action estimation system of this embodiment will be described with reference to the flowchart of FIG. 13.

先ず、推定装置30のCPU31は、第1取得手段41の機能に基づいて、撮像装置10によって撮像された対象者T(動体)の画像を取得する(ステップS200)。次に、推定装置30のCPU31は、第2取得手段42の機能に基づいて、計測装置20によって計測された対象者T(動体)の状態(例えば、対象者Tの位置と、対象者Tの3軸方向又は2軸方向の加速度と、対象者Tの3軸方向又は2軸方向の角速度と、対象者Tの温度と、のうち少なくとも1つ、)に関する情報を取得する(ステップS202)。なお、推定装置30のCPU31は、ステップS200の後に、検出手段43の機能に基づいて、取得した画像を用いて対象者T(動体)の少なくとも1つの部位を検出してもよい。 First, the CPU 31 of the estimation device 30 acquires an image of the subject T (moving object) imaged by the imaging device 10 based on the function of the first acquisition means 41 (step S200). Next, the CPU 31 of the estimation device 30 determines the state of the subject T (moving body) measured by the measuring device 20 (for example, the position of the subject T and the state of the subject T) based on the function of the second acquisition means 42. Information regarding at least one of the acceleration in the triaxial direction or biaxial direction, the angular velocity in the triaxial direction or biaxial direction of the subject T, and the temperature of the subject T is acquired (step S202). Note that, after step S200, the CPU 31 of the estimation device 30 may detect at least one part of the subject T (moving object) using the acquired image based on the function of the detection means 43.

次に、推定装置30のCPU31は、推定手段44の機能に基づいて、所定期間内に撮像された対象者T(動体)の画像と、当該所定期間内の対象者T(動体)の状態に関する情報と、を用いて、当該所定期間内の対象者T(動体)の行動を推定する(ステップS204)。ここで、推定装置30のCPU31は、所定期間内に撮像された対象者Tの画像と、当該所定期間内の対象者Tの状態に関する情報と、対象者Tの画像を第1学習データとして用いた機械学習に基づく第1学習済モデルと、対象者Tの状態に関する情報を第2学習データとして用いた機械学習に基づく第2学習済モデルと、に基づいて、当該所定期間内の対象者Tの行動を推定してもよい。また、推定装置30のCPU31は、対象者Tの画像を第1学習データとして用いた機械学習によってモデル(第1学習済モデル)を学習してもよいし、対象者Tの状態に関する情報を第2学習データとして用いた機械学習によってモデル(第2学習済モデル)を学習してもよい。 Next, based on the function of the estimating means 44, the CPU 31 of the estimation device 30 determines the image of the subject T (moving body) captured within a predetermined period and the state of the subject T (moving body) within the predetermined period. The behavior of the subject T (moving object) within the predetermined period is estimated using the information and (step S204). Here, the CPU 31 of the estimation device 30 uses an image of the subject T captured within a predetermined period, information regarding the state of the subject T within the predetermined period, and an image of the subject T as first learning data. The target person T within the predetermined period is based on the first trained model based on machine learning based on the condition of the target person T and the second trained model based on machine learning using information regarding the state of the target person T as second learning data. The behavior of the person may be estimated. Further, the CPU 31 of the estimation device 30 may learn a model (first learned model) by machine learning using images of the subject T as first learning data, or may learn a model (first learned model) using information regarding the state of the subject T as the first learning data. The model (second learned model) may be learned by machine learning using second learning data.

なお、推定装置30のCPU31は、ステップS204の後に、推定された所定期間内の対象者Tの行動に関する情報を例えば表示部36に表示してもよい。また、推定装置30のCPU31は、所定期間内の対象者Tの行動に関する情報を、通信網NWを介して他のコンピュータ(例えば、サーバ等)に送信してもよい。 Note that, after step S204, the CPU 31 of the estimation device 30 may display information regarding the estimated behavior of the target person T within a predetermined period, for example, on the display unit 36. Further, the CPU 31 of the estimation device 30 may transmit information regarding the behavior of the target person T within a predetermined period to another computer (for example, a server, etc.) via the communication network NW.

上述したように、本実施形態の行動推定システム、行動推定方法、プログラムによれば、所定期間内に撮像された対象者Tの画像と、当該所定期間内の対象者Tの状態に関する情報と、に基づいて、当該所定期間内の対象者Tの行動が推定されるので、例えば、撮像された画像において対象者Tの少なくとも一部(少なくとも1つの部位)が欠損している場合であっても、対象者Tの画像に加えて対象者Tの状態に関する情報を用いることによって、対象者Tの行動を推定することが可能になる。これにより、対象者Tの少なくとも一部(少なくとも1つの部位)が欠損した画像データが得られた場合であっても、対象者Tの行動を正確に推定することができる。 As described above, according to the behavior estimation system, behavior estimation method, and program of the present embodiment, an image of the subject T captured within a predetermined period, information regarding the state of the subject T within the predetermined period, Based on this, the behavior of the subject T within the predetermined period is estimated, so even if at least a part (at least one part) of the subject T is missing in the captured image By using information regarding the state of the subject T in addition to the image of the subject T, it becomes possible to estimate the behavior of the subject T. Thereby, even if image data in which at least a portion (at least one region) of the subject T is missing is obtained, the behavior of the subject T can be accurately estimated.

以下、上述した実施形態の変形例について説明する。
(変形例)
上記実施形態では、推定手段44が、所定期間内に撮像された対象者Tの画像と、当該所定期間内の対象者Tの状態に関する情報と、対象者Tの画像を第1学習データとして用いた機械学習に基づく第1学習済モデルと、対象者Tの状態に関する情報を第2学習データとして用いた機械学習に基づく第2学習済モデルと、に基づいて、当該所定期間内の対象者Tの行動を推定する場合を一例として説明したが、本発明はこの場合に限られない。例えば、推定手段44は、撮像された画像における所定期間内の対象者Tの移動態様が、所定の行動に対応する第1条件を満たし、且つ、所定期間内の対象者Tの状態に関する情報が、当該所定の行動に対応する第2条件を満たす場合に、対象者Tが当該所定の行動を行っていると推定してもよい。ここで、第1条件とは、例えば、所定期間内の対象者Tの少なくとも1つの部位の位置が、所定の行動に対応する対象者Tの少なくとも1つの部位の位置の範囲内に含まれていることであってもよい。また、第2条件とは、例えば、所定期間内の対象者Tの状態に関する情報が、所定の行動に対応する対象者Tの状態に関する情報の範囲内に含まれていることであってもよい。
Modifications of the above-described embodiment will be described below.
(Modified example)
In the above embodiment, the estimation means 44 uses the image of the subject T captured within a predetermined period, the information regarding the state of the subject T within the predetermined period, and the image of the subject T as the first learning data. The target person T within the predetermined period is based on the first trained model based on machine learning based on the condition of the target person T and the second trained model based on machine learning using information regarding the state of the target person T as second learning data. Although the case where the behavior of the person is estimated is described as an example, the present invention is not limited to this case. For example, the estimation means 44 determines that the movement mode of the subject T within a predetermined period in the captured image satisfies a first condition corresponding to a predetermined action, and the information regarding the state of the subject T within the predetermined period is , when the second condition corresponding to the predetermined action is satisfied, it may be estimated that the subject T is performing the predetermined action. Here, the first condition is, for example, that the position of at least one body part of subject T within a predetermined period is included within the range of the position of at least one body part of subject T that corresponds to a predetermined action. It can also be about being present. Further, the second condition may be, for example, that information regarding the state of the subject T within a predetermined period is included within the range of information regarding the state of the subject T corresponding to a predetermined action. .

この場合、推定装置30のCPU31は、図14に示す行動データを参照して、所定期間内に撮像された撮像画像と、当該所定期間内の対象者Tの状態に関する情報と、に基づいて、所定期間内の対象者Tの行動を推定してもよい。行動データは、複数の行動(図の例では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等)毎に、対応する行動が行われていると推定される場合の対象者Tの少なくとも1つの部位(上記実施形態では、「首」、「右肩」、「左肩」、「右臀部」、「左臀部」等)の位置の範囲の時間推移と、対応する行動が行われていると推定される場合の対象者Tの計測情報の範囲の時間推移と、が対応付けられた状態で記述されているデータである。行動データは、例えば記憶装置34に記憶されていてもよい。 In this case, the CPU 31 of the estimation device 30 refers to the behavior data shown in FIG. 14, and based on the captured images captured within the predetermined period and the information regarding the state of the subject T within the predetermined period, The behavior of the subject T within a predetermined period may be estimated. Behavioral data corresponds to multiple actions (in the example shown in the figure, ``remove the exterior'', ``connect the cable'', ``apply a sticker to the main unit'', ``read the barcode'', ``assemble'', etc.) At least one part of the subject T where the action is estimated to be taking place (in the above embodiments, "neck", "right shoulder", "left shoulder", "right buttock", "left buttock", etc.) This is data that describes the temporal transition of the range of the position of and the temporal transition of the range of measurement information of the subject T when it is estimated that the corresponding action is being performed. . The behavior data may be stored in the storage device 34, for example.

CPU31は、例えば、所定期間内の対象者Tの少なくとも1つの部位の各々の位置の時間推移が、行動データ内の何れかの行動に対応する各々の部位の位置の範囲に含まれており(第1条件を満たす)、且つ、当該所定期間内の対象者Tの状態に関する情報の時間推移が、当該何れかの行動に対応する計測情報の範囲に含まれている(第2条件を満たす)と判別した場合に、対象者Tが当該所定期間内に当該何れかの行動(例えば、「外装を外す」)を行っていると推定してもよい。また、CPU31は、推定した行動に関する情報を例えばRAM33又は記憶装置34に記憶してもよい。 For example, the CPU 31 determines that the time transition of each position of at least one body part of the subject T within a predetermined period is included in the range of the position of each body part corresponding to any behavior in the behavior data ( (the first condition is met), and the time transition of information regarding the state of the subject T within the predetermined period is included in the range of measurement information corresponding to any of the actions (the second condition is met) If it is determined that this is the case, it may be estimated that the subject T has performed any of the actions (for example, "remove the exterior") within the predetermined period. Further, the CPU 31 may store information regarding the estimated behavior in the RAM 33 or the storage device 34, for example.

このように、本変形例にかかる行動推定システム、行動推定方法、プログラムによれば、上述した実施形態と同様の作用効果を発揮することが可能である。 In this way, the behavior estimation system, behavior estimation method, and program according to this modification can exhibit the same effects as the above-described embodiment.

なお、本発明のプログラムは、コンピュータで読み取り可能な記憶媒体に記憶されていてもよい。このプログラムを記録した記憶媒体は、図2に示す推定装置30のROM32、RAM33又は記憶装置34であってもよい。また、記憶媒体は、例えばCD-ROMドライブ等のプログラム読取装置に挿入されることで読み取り可能なCD-ROM等であってもよい。さらに、記憶媒体は、磁気テープ、カセットテープ、フレキシブルディスク、MO/MD/DVD等であってもよいし、半導体メモリであってもよい。 Note that the program of the present invention may be stored in a computer-readable storage medium. The storage medium in which this program is recorded may be the ROM 32, RAM 33, or storage device 34 of the estimation device 30 shown in FIG. Further, the storage medium may be, for example, a CD-ROM or the like that can be read by being inserted into a program reading device such as a CD-ROM drive. Furthermore, the storage medium may be a magnetic tape, a cassette tape, a flexible disk, an MO/MD/DVD, or a semiconductor memory.

以上説明した実施形態及び変形例は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施形態及び変形例に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiments and modifications described above are described to facilitate understanding of the present invention, and are not described to limit the present invention. Therefore, each element disclosed in the above embodiments and modifications is intended to include all design changes and equivalents that fall within the technical scope of the present invention.

例えば、上述した実施形態では、推定装置30のCPU31が、推定手段44の機能に基づいて、所定期間内に撮像された対象者Tの画像と、当該所定期間内の対象者Tの状態に関する情報と、対象者Tの画像を学習データとして用いた機械学習に基づく第1学習済モデルと、対象者Tの状態に関する情報を学習データとして用いた機械学習に基づく第2学習済モデルと、に基づいて、当該所定期間内の対象者Tの行動を推定する場合を一例として説明したが、本発明は、この場合に限られない。例えば、推定装置30のCPU31は、推定手段44の機能に基づいて、所定期間内に撮像された対象者Tの画像と、所定期間内の対象者Tの状態に関する情報とを、対象者Tの画像及び対象者Tの状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルである第3学習済モデルに入力することによって、所定期間内の対象者Tの行動を推定してもよい。この場合、推定装置30のCPU31は、対象者Tの画像及び対象者Tの状態に関する情報を学習データ(例えば、第1学習データ及び第2学習データを組み合わせた学習データ)として用いた機械学習によって、対象者Tの行動を対象者Tの撮像画像及び状態に関する情報に基づいて推定するのに用いられるモデル(第3学習済モデル)を学習する機能を備えてもよい。ここで、機械学習に用いられるモデルは、第1学習済モデルや第2学習済モデルと同様であってもよい。 For example, in the embodiment described above, the CPU 31 of the estimation device 30, based on the function of the estimation means 44, collects images of the subject T captured within a predetermined period and information regarding the state of the subject T within the predetermined period. Based on a first trained model based on machine learning using images of the target person T as learning data, and a second trained model based on machine learning using information regarding the state of the target person T as learning data. Although the case where the behavior of the subject T within the predetermined period is estimated is described as an example, the present invention is not limited to this case. For example, based on the function of the estimating means 44, the CPU 31 of the estimation device 30 uses the images of the subject T taken within a predetermined period and the information regarding the state of the subject T within the predetermined period. The behavior of the target person T within a predetermined period may be estimated by inputting the image and information regarding the state of the target person T to a third trained model that is a trained model based on machine learning using as learning data. . In this case, the CPU 31 of the estimation device 30 performs machine learning using the image of the subject T and information regarding the state of the subject T as learning data (for example, learning data that is a combination of the first learning data and the second learning data). , may have a function of learning a model (third trained model) used to estimate the behavior of the subject T based on the captured image of the subject T and information regarding the state. Here, the model used for machine learning may be the same as the first learned model or the second learned model.

また、上述した実施形態では、動体が人物(対象者T)である場合を一例として説明したが、この場合に限られない。動体は、行動推定の対象となり得るものであれば如何なるものであってもよく、例えば、人物以外の動物であってもよいし、作業機械、車両、飛行体等のオブジェクトであってもよい。 Further, in the above-described embodiment, the case where the moving object is a person (target person T) has been described as an example, but the present invention is not limited to this case. The moving object may be any object that can be a target of behavior estimation; for example, it may be an animal other than a person, or it may be an object such as a working machine, a vehicle, or a flying object.

さらに、上述した実施形態では、対象者T(動体)の首、右肩、左肩、右臀部、左臀部が、対象者Tの部位として検出される場合を一例として説明したが、他の部位(例えば、頭、手、足、関節等)が検出されてもよい。 Furthermore, in the embodiment described above, the case where the neck, right shoulder, left shoulder, right buttock, and left buttock of the subject T (moving body) are detected as the parts of the subject T is described as an example, but other parts ( For example, the head, hands, feet, joints, etc.) may be detected.

また、上述した実施形態では、空間SP内の1つの動体(対象者T)の行動が推定される場合を一例として説明したが、空間SP内の複数の動体の各々の行動が推定されてもよい。 Further, in the above-described embodiment, the case where the behavior of one moving object (subject T) in the space SP is estimated is explained as an example, but even if the behavior of each of a plurality of moving objects in the space SP is estimated. good.

さらに、上述した実施形態では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」のうち何れかの行動が動体(対象者T)の行動として推定される場合を一例として説明したが、行動の内容はこれらに限定されない。 Furthermore, in the embodiment described above, any of the actions of "removing the exterior", "connecting the cable", "applying a sticker to the main body", "reading the barcode", and "assembling" is performed by the moving object (target person T ) has been described as an example, but the content of the behavior is not limited to this.

また、上述した実施形態では、1つの推定装置30が設けられている場合を一例として説明したが、この場合に限られない。例えば、複数の推定装置30が設けられてもよく、この場合には、何れかの推定装置30上の操作内容及び処理結果等が他の推定装置30上でリアルタイムに提示されてもよいし、何れかの推定装置30での処理結果等が複数の推定装置30間で共有されてもよい。 Further, in the embodiment described above, the case where one estimating device 30 is provided has been described as an example, but the present invention is not limited to this case. For example, a plurality of estimating devices 30 may be provided, and in this case, the operation details and processing results on any estimating device 30 may be presented in real time on the other estimating devices 30, Processing results etc. in any estimation device 30 may be shared among a plurality of estimation devices 30.

さらに、上述した実施形態では、所定期間内の対象者Tの少なくとも1つの部位の位置の時間推移に関する情報が、本発明の「所定期間内の動体の少なくとも1つの部位の移動態様に関する情報」に対応する場合を一例として説明したが、この場合に限られない。「所定期間内の動体の少なくとも1つの部位の移動態様に関する情報」は、例えば、所定期間内の対象者Tの少なくとも1つの部位の角度の時間推移に関する情報であってもよいし、所定期間内の対象者Tの複数の部位間の距離の時間推移に関する情報等であってもよい。 Furthermore, in the embodiment described above, the information regarding the time transition of the position of at least one part of the subject T within the predetermined period is the "information regarding the movement mode of at least one part of the moving object within the predetermined period" of the present invention. Although the corresponding case has been described as an example, it is not limited to this case. "Information regarding the movement mode of at least one part of a moving object within a predetermined period" may be, for example, information regarding the time course of the angle of at least one part of the subject T within a predetermined period, or It may also be information regarding the time course of the distance between multiple parts of the subject T.

また、上述した実施形態では、推定装置30によって、第1取得手段41、第2取得手段42、検出手段43及び推定手段44の各機能を実現する構成としたが、この構成に限られない。例えば、インターネットやLAN等の通信網を介して推定装置30と通信可能に接続されたコンピュータ等(例えば、汎用のパーソナルコンピュータやサーバ等)によって、上記各手段41~44のうち少なくとも1つの手段の機能を実現する構成としてもよい。例えば、図3に示した機能ブロック図の各機能は、図15(a),(b)に示すように、推定装置30と、推定装置30と通信可能に接続されたコンピュータの一例である推定サーバと、の間で任意に分担されてもよい。 Further, in the embodiment described above, the estimation device 30 is configured to implement the functions of the first acquisition means 41, the second acquisition means 42, the detection means 43, and the estimation means 44, but the present invention is not limited to this configuration. For example, a computer or the like (for example, a general-purpose personal computer, a server, etc.) communicatively connected to the estimation device 30 via a communication network such as the Internet or a LAN may perform at least one of the means 41 to 44. It is also possible to have a configuration that realizes the function. For example, each function of the functional block diagram shown in FIG. It may be divided arbitrarily between the server and the server.

さらに、上記各手段41~44のうち少なくとも1つの手段の機能を、撮像装置10及び/又は計測装置20によって実現する構成としてもよい。 Furthermore, the function of at least one of the above-mentioned means 41 to 44 may be realized by the imaging device 10 and/or the measuring device 20.

上述したような本発明の行動推定システム、行動推定方法、プログラムは、動体の少なくとも一部が欠損した画像データが得られた場合であっても、動体の行動を正確に推定することができ、例えば、動体(例えば、作業者や作業機械等)の行動分析を行う業務管理システムや、動体の行動に応じて適切な情報を提供する情報提供システムや、動体(例えば、入院患者、施設の入居者、ペット等)のモニタリングシステム等に好適に利用することができるので、その産業上の利用可能性は極めて大きい。 The behavior estimation system, behavior estimation method, and program of the present invention as described above can accurately estimate the behavior of a moving object even when image data in which at least a portion of the moving object is missing is obtained. For example, there are business management systems that analyze the behavior of moving objects (e.g., workers, working machines, etc.), information provision systems that provide appropriate information according to the behavior of moving objects, and Since it can be suitably used for monitoring systems for people (people, pets, etc.), its industrial applicability is extremely large.

10…撮像装置
20…計測装置
30…推定装置
41…第1取得手段
42…第2取得手段
43…検出手段
44…推定手段
T…対象者
10...Imaging device 20...Measuring device 30...Estimation device 41...First acquisition means 42...Second acquisition means 43...Detection means 44...Estimation means T...Target person

Claims (9)

撮像装置によって撮像された動体の画像を取得する第1取得手段と、
計測装置によって計測された前記動体の状態に関する情報を取得する第2取得手段と、
所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報と、に基づいて、前記所定期間内の前記動体の行動を推定する推定手段と、
を備える行動推定システム。
a first acquisition means for acquiring an image of a moving object captured by the imaging device;
a second acquisition means for acquiring information regarding the state of the moving object measured by a measuring device;
estimating means for estimating the behavior of the moving object within the predetermined period based on an image of the moving object captured within the predetermined period and information regarding the state of the moving object within the predetermined period;
An action estimation system equipped with
前記推定手段は、前記所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報と、前記動体の画像及び/又は前記動体の状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、前記所定期間内の前記動体の行動を推定する、請求項1に記載の行動推定システム。 The estimation means uses, as learning data, an image of the moving object captured within the predetermined period, information regarding the state of the moving object within the predetermined period, and an image of the moving object and/or information regarding the state of the moving object. The behavior estimation system according to claim 1, wherein the behavior of the moving object within the predetermined period is estimated based on a learned model based on machine learning based on the learned model. 前記推定手段は、前記所定期間内に撮像された前記動体の画像を、前記動体の画像を学習データとして用いた機械学習に基づく学習済モデルである第1学習済モデルに入力することによって得られた前記動体の所定の行動の推定確率と、前記所定期間内の前記動体の状態に関する情報を、前記動体の状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルである第2学習済モデルに入力することによって得られた前記動体の前記所定の行動の推定確率と、を用いて前記所定の行動の推定確率を新たに算出することによって、前記所定期間内の前記動体の行動を推定する、請求項2に記載の行動推定システム。 The estimation means is configured to obtain an image of the moving object captured within the predetermined period by inputting the image of the moving object into a first trained model that is a trained model based on machine learning using the image of the moving object as learning data. A second learned model is a trained model based on machine learning that uses the estimated probability of a predetermined action of the moving object and the state of the moving object within the predetermined period as learning data. The estimated probability of the predetermined action of the moving object obtained by inputting it into the model is used to newly calculate the estimated probability of the predetermined action, thereby estimating the action of the moving object within the predetermined period. The behavior estimation system according to claim 2. 前記推定手段は、前記所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報とを、前記動体の画像及び前記動体の状態に関する情報を学習データとして用いた機械学習に基づく学習済モデルである第3学習済モデルに入力することによって、前記所定期間内の前記動体の行動を推定する、請求項2に記載の行動推定システム。 The estimation means uses an image of the moving object captured within the predetermined period and information regarding the state of the moving object within the predetermined period, and uses the image of the moving object and the information regarding the state of the moving object as learning data. The behavior estimation system according to claim 2, wherein the behavior of the moving object within the predetermined period is estimated by inputting the behavior to a third learned model that is a learned model based on machine learning. 取得した画像に基づいて、前記動体の少なくとも1つの部位を検出する検出手段を備え、
前記推定手段は、前記所定期間内の前記動体の少なくとも1つの部位の移動態様に関する情報と、前記所定期間内の前記動体の状態に関する情報と、に基づいて、前記所定期間内の前記動体の行動を推定する、請求項1~4の何れかに記載の行動推定システム。
comprising a detection means for detecting at least one part of the moving object based on the acquired image,
The estimating means estimates the behavior of the moving object within the predetermined period based on information regarding the movement mode of at least one part of the moving object within the predetermined period and information regarding the state of the moving object within the predetermined period. The behavior estimation system according to any one of claims 1 to 4, which estimates the behavior estimation system.
前記検出手段は、前記動体の少なくとも1つの関節を、前記動体の少なくとも1つの部位として検出する、請求項5に記載の行動推定システム。 The behavior estimation system according to claim 5, wherein the detection means detects at least one joint of the moving body as at least one part of the moving body. 前記動体の状態に関する情報は、前記動体の位置、前記動体の加速度、前記動体の角速度及び前記動体の温度のうち少なくとも1つを含む、請求項1~6の何れかに記載の行動推定システム。 7. The behavior estimation system according to claim 1, wherein the information regarding the state of the moving object includes at least one of the position of the moving object, the acceleration of the moving object, the angular velocity of the moving object, and the temperature of the moving object. コンピュータが、
撮像装置によって撮像された動体の画像を取得するステップと、
計測装置によって計測された前記動体の状態に関する情報を取得するステップと、
所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報と、に基づいて、前記所定期間内の前記動体の行動を推定するステップと、
の各ステップを実行する、行動推定方法。
The computer is
acquiring an image of the moving object captured by the imaging device;
acquiring information regarding the state of the moving object measured by a measuring device;
estimating the behavior of the moving object within the predetermined period based on images of the moving object captured within the predetermined period and information regarding the state of the moving object within the predetermined period;
A behavior estimation method that executes each step.
コンピュータに、
撮像装置によって撮像された動体の画像を取得する機能と、
計測装置によって計測された前記動体の状態に関する情報を取得する機能と、
所定期間内に撮像された前記動体の画像と、前記所定期間内の前記動体の状態に関する情報と、に基づいて、前記所定期間内の前記動体の行動を推定する機能と、
を実現させるためのプログラム。
to the computer,
A function to acquire an image of a moving object captured by an imaging device,
a function of acquiring information regarding the state of the moving object measured by a measuring device;
a function of estimating the behavior of the moving object within the predetermined period based on images of the moving object captured within the predetermined period and information regarding the state of the moving object within the predetermined period;
A program to make this happen.
JP2022036915A 2022-03-10 2022-03-10 Behavior estimation system, behavior estimation method, and program Pending JP2023131905A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022036915A JP2023131905A (en) 2022-03-10 2022-03-10 Behavior estimation system, behavior estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022036915A JP2023131905A (en) 2022-03-10 2022-03-10 Behavior estimation system, behavior estimation method, and program

Publications (1)

Publication Number Publication Date
JP2023131905A true JP2023131905A (en) 2023-09-22

Family

ID=88065168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022036915A Pending JP2023131905A (en) 2022-03-10 2022-03-10 Behavior estimation system, behavior estimation method, and program

Country Status (1)

Country Link
JP (1) JP2023131905A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238508A (en) * 2023-11-13 2023-12-15 山东艾琳智能科技有限公司 Information screening system based on artificial intelligence

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238508A (en) * 2023-11-13 2023-12-15 山东艾琳智能科技有限公司 Information screening system based on artificial intelligence
CN117238508B (en) * 2023-11-13 2024-02-13 山东艾琳智能科技有限公司 Information screening system based on artificial intelligence

Similar Documents

Publication Publication Date Title
WO2016098457A1 (en) Information processing device, information processing method, and program
US11514207B2 (en) Tracking safety conditions of an area
JP5873864B2 (en) Object tracking and recognition method and apparatus
Sunny et al. Applications and challenges of human activity recognition using sensors in a smart environment
US20120232430A1 (en) Universal actigraphic device and method of use therefor
US20100228487A1 (en) Postural information system and method
CN109788910B (en) Moving object information providing system and computer-readable storage medium
TW200933538A (en) Nursing system
CN109171734A (en) Human body behavioural analysis cloud management system based on Fusion
JP7329825B2 (en) Information provision system, information provision method, program
CN107330240A (en) A kind of intelligent remote based on both hands ring sensor provides special care to monitoring system and method
CN109147277A (en) A kind of old man care system and method
Spasova et al. A survey on automatic fall detection in the context of ambient assisted living systems
Colon et al. Human fall detection with smartphones
JP2017161522A (en) Information providing system, information providing method and program
JP2023131905A (en) Behavior estimation system, behavior estimation method, and program
CN109791061B (en) Mobile object information detection terminal
Taghvaei et al. Autoregressive-moving-average hidden Markov model for vision-based fall prediction—An application for walker robot
CN117352126A (en) Muscle stress visualization method, device, computer equipment and storage medium
JP2022108823A (en) Search support system and search support program
JP7456616B2 (en) Training data generation system, estimation system, training data generation method, estimation method, and program
Rakhecha Reliable and secure body fall detection algorithm in a wireless mesh network
Chen et al. Vision-Based Elderly Fall Detection Algorithm for Mobile Robot
JP5801690B2 (en) Image processing apparatus and image processing method
JP2019204266A (en) Information providing system, information providing method, and program

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220408