JP2023088193A - Estimation device, estimation method, estimation program, and learning model generation device - Google Patents

Estimation device, estimation method, estimation program, and learning model generation device Download PDF

Info

Publication number
JP2023088193A
JP2023088193A JP2021202892A JP2021202892A JP2023088193A JP 2023088193 A JP2023088193 A JP 2023088193A JP 2021202892 A JP2021202892 A JP 2021202892A JP 2021202892 A JP2021202892 A JP 2021202892A JP 2023088193 A JP2023088193 A JP 2023088193A
Authority
JP
Japan
Prior art keywords
posture state
electrical characteristics
flexible material
estimation
wearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021202892A
Other languages
Japanese (ja)
Inventor
創 北野
So Kitano
泰通 若尾
Yasumichi Wakao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bridgestone Corp
Original Assignee
Bridgestone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bridgestone Corp filed Critical Bridgestone Corp
Priority to JP2021202892A priority Critical patent/JP2023088193A/en
Publication of JP2023088193A publication Critical patent/JP2023088193A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

To provide an estimation device, an estimation method, an estimation program, and a learning model generation device capable of estimating a posture state of a wearer of shoes without impairing foot comfort.SOLUTION: An estimation device 11 detects, at a detection unit, electric characteristics between a plurality of detection points 75 in shoes 12 having a conductive urethane 22 as a conductive flexible material whose electric characteristics change according to a change in an imparted pressure. An estimation unit estimates a posture state of a wearer of the shoes 12 from the electric characteristics of the shoes 12 using a learning model. The estimation unit inputs the electric characteristics to the learning model that has learned so as to output posture state information with the electric characteristics as input, using the electric characteristics when a pressure is given to the shoes 12 and posture state information indicating the posture state of the wearer of the shoes 12 that gives a pressure to the shoes 12 as learning data. The learning model is learned so as to output the posture state of the wearer of the shoes 12 corresponding to the input electric characteristics.SELECTED DRAWING: Figure 8

Description

本開示は、推定装置、推定方法、推定プログラム、及び学習モデル生成装置に関する。 The present disclosure relates to an estimating device, an estimating method, an estimating program, and a learning model generating device.

従来より、物体に生じる形状変化を検出し、当該検出結果を用いて物体に変形を与える人や物の状態を推定することが行われている。物体に生じる形状変化を検出する側面では、物体の変形を阻害せずに変形を検出することは困難である。また、金属変形等の剛体の検出に用いられる歪センサは物品に利用困難なため、物体の変形を検出するためには、特殊な検出装置が要求される。例えば、カメラによる物体の変位と振動を測定して、変形画像を取得し、変形量を抽出する技術が知られている(例えば、特許文献1参照)。また、シート状の感圧センサを用いて、車椅子、クッション、ベッド等にかかる圧力分布を測定する技術も知られている(例えば、非特許文献1参照)。 2. Description of the Related Art Conventionally, a shape change occurring in an object is detected, and the detection result is used to estimate the state of a person or an object that deforms the object. In terms of detecting a shape change that occurs in an object, it is difficult to detect the deformation of the object without disturbing the deformation of the object. In addition, since strain sensors used for detecting deformation of a rigid body such as metal deformation are difficult to use for articles, a special detection device is required to detect deformation of an object. For example, there is known a technique of measuring the displacement and vibration of an object with a camera, obtaining a deformed image, and extracting the amount of deformation (see, for example, Patent Document 1). Also known is a technique of measuring the pressure distribution applied to a wheelchair, a cushion, a bed, etc., using a sheet-like pressure-sensitive sensor (see, for example, Non-Patent Document 1).

国際公開第2017/029905号WO2017/029905

https://www.nitta.co.jp/product/sensor/bpms/https://www.nitta.co.jp/product/sensor/bpms/

しかしながら、人は所定の姿勢維持や姿勢変化をするが、歪センサ等では部材の変形を阻害せずに変形検知は困難で、画像処理は大掛かりな装置が必要である。また、荷重が集中する足裏等の可視不可能部位は画像処理では検出できない。さらに、靴にシート状のセンサ等を設ける場合には、履き心地に影響を及ぼす虞がある。 However, although a person maintains or changes a predetermined posture, it is difficult for a strain sensor or the like to detect deformation without interfering with the deformation of the member, and image processing requires a large-scale device. Also, invisible parts such as the soles of the feet where the load is concentrated cannot be detected by image processing. Furthermore, when a sheet-like sensor or the like is provided on the shoe, there is a possibility that it may affect the comfort of wearing.

本開示は、履き心地を損なうことなく、靴の着用者の姿勢状態を推定可能な推定装置、推定方法、推定プログラム、及び学習モデル生成装置を提供することを目的とする。 An object of the present disclosure is to provide an estimating device, an estimating method, an estimating program, and a learning model generating device capable of estimating the posture state of a wearer of shoes without impairing comfort.

上記目的を達成するために、第1態様は、
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を予め定めた部位に備えた靴の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部と、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える前記靴の着用者の姿勢状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記姿勢状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する前記靴の着用者の姿勢状態情報を推定する推定部と、
を含む推定装置である。
In order to achieve the above object, the first aspect is
Electrical characteristics between a plurality of predetermined detection points on the flexible material of a shoe provided with a flexible material that is electrically conductive and whose electrical characteristics change according to changes in applied pressure at predetermined regions a detection unit that detects
Inputting the time-series electrical characteristics using the time-series electrical characteristics when pressure is applied to the flexible material and the posture state information of the wearer of the shoe applying pressure to the flexible material as learning data. and inputting the time-series electrical characteristics detected by the detection unit to the learning model trained to output the posture state information, and wearing the shoes corresponding to the input time-series electrical characteristics an estimation unit that estimates posture state information of a person;
is an estimation device including

第2態様は、第1態様の推定装置において、
前記推定部は、靴の着用者の重心、または体重移動を推定する。
A second aspect is the estimation device of the first aspect,
The estimation unit estimates the center of gravity or weight shift of the shoe wearer.

第3態様は、第1態様又は第2態様の推定装置において、
前記推定部によって推定された前記姿勢状態情報に応じて予め定めた制御を行う制御部を更に含む。
A third aspect is the estimation device of the first aspect or the second aspect,
A control unit that performs predetermined control according to the posture state information estimated by the estimation unit is further included.

第4態様は、第1態様から第3態様の何れか1態様の推定装置において、
前記推定部によって推定された前記姿勢状態情報、及び当該姿勢状態情報に基づく警告の少なくとも一方を出力する出力部を更に含む。
A fourth aspect is the estimating device according to any one aspect of the first aspect to the third aspect,
An output unit that outputs at least one of the posture state information estimated by the estimation unit and a warning based on the posture state information is further included.

第5態様は、第1態様から第4態様の何れか1態様の推定装置において、
前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む。
A fifth aspect is the estimation device according to any one aspect of the first aspect to the fourth aspect,
The learning model includes a model generated by learning using a network by reservoir computing using the flexible material as a reservoir and using the reservoir.

第6態様は、
コンピュータが
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を予め定めた部位に備えた靴の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出し、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える前記靴の着用者の姿勢状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記姿勢状態情報を出力するように学習された学習モデルに対して、検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する前記靴の着用者の姿勢状態情報を推定する
推定方法である。
The sixth aspect is
A computer is provided with a flexible material which has electrical conductivity and whose electrical characteristics change according to a change in applied pressure at a predetermined portion, and between a plurality of predetermined detection points on the flexible material of the shoe. detect electrical properties,
Inputting the time-series electrical characteristics using the time-series electrical characteristics when pressure is applied to the flexible material and the posture state information of the wearer of the shoe applying pressure to the flexible material as learning data. and inputting the detected time-series electrical characteristics to a learning model trained to output the posture state information, and determining the posture state of the wearer of the shoe corresponding to the input time-series electrical characteristics It is an estimation method for estimating information.

第7態様は、
コンピュータに
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を予め定めた部位に備えた靴の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出し、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える前記靴の着用者の姿勢状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記姿勢状態情報を出力するように学習された学習モデルに対して、検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する前記靴の着用者の姿勢状態情報を推定する
処理を実行させるための推定プログラムである。
The seventh aspect is
A shoe having a flexible material that is electrically conductive and whose electrical characteristics change according to a change in applied pressure at a predetermined portion, and between a plurality of predetermined detection points on the flexible material. detect electrical properties,
Inputting the time-series electrical characteristics using the time-series electrical characteristics when pressure is applied to the flexible material and the posture state information of the wearer of the shoe applying pressure to the flexible material as learning data. and inputting the detected time-series electrical characteristics to a learning model trained to output the posture state information, and determining the posture state of the wearer of the shoe corresponding to the input time-series electrical characteristics It is an estimation program for executing the process of estimating information.

第8態様は、
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を予め定めた部位に備えた靴の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部からの前記電気特性と、前記柔軟材料に圧力を与える前記靴の着用者の姿勢状態を示す姿勢状態情報と、を取得する取得部と、
前記取得部の取得結果に基づいて、前記柔軟材料に圧力を与えた際の時系列の電気特性を入力とし、前記柔軟材料に圧力を与える前記着用者の姿勢状態を示す姿勢状態情報を出力する学習モデルを生成する学習モデル生成部と、
を含む学習モデル生成装置である。
The eighth aspect is
Electrical characteristics between a plurality of predetermined detection points on the flexible material of a shoe provided in predetermined regions with a flexible material that is conductive and whose electrical characteristics change according to changes in applied pressure and posture state information indicating the posture state of the wearer of the shoe applying pressure to the flexible material;
Based on the acquisition result of the acquisition unit, time-series electrical characteristics when pressure is applied to the flexible material are input, and posture state information indicating the posture state of the wearer applying pressure to the flexible material is output. a learning model generation unit that generates a learning model;
is a learning model generation device including

本開示によれば、履き心地を損なうことなく、靴の着用者の姿勢状態を推定できる、という効果を有する。 ADVANTAGE OF THE INVENTION According to this indication, it has the effect that the posture state of the wearer of shoes can be estimated, without impairing comfort.

実施形態に係る推定装置の構成を示す図である。It is a figure which shows the structure of the estimation apparatus which concerns on embodiment. 実施形態に係る導電性ウレタンの配置を示す図である。It is a figure which shows arrangement|positioning of the electroconductive urethane which concerns on embodiment. 実施形態に係る学習モデル生成装置の概念構成を示す図である。1 is a diagram showing a conceptual configuration of a learning model generation device according to an embodiment; FIG. 実施形態に係る学習処理部の機能構成を示す図である。It is a figure which shows the functional structure of the learning process part which concerns on embodiment. 実施形態に係る学習処理部の他の機能構成を示す図である。It is a figure which shows the other functional structure of the learning process part which concerns on embodiment. 実施形態に係る推定装置の電気的な構成を示す図である。It is a figure which shows the electrical structure of the estimation apparatus which concerns on embodiment. 実施形態に係る推定処理の流れを示すフローチャートである。It is a flow chart which shows a flow of presumed processing concerning an embodiment. 実施形態に係る推定装置の具体例の姿勢状態推定装置を示す図である。FIG. 4 is a diagram showing a posture state estimation device as a specific example of the estimation device according to the embodiment; 姿勢状態推定装置の詳細な構成を示す図である。FIG. 3 is a diagram showing a detailed configuration of a posture state estimation device; 実施形態に係る導電性を有する部材に関する図である。FIG. 4 is a diagram related to a conductive member according to the embodiment; 実施形態に係る導電性を有する部材に関する図である。FIG. 4 is a diagram related to a conductive member according to the embodiment; 実施形態に係る導電性を有する部材に関する図である。FIG. 4 is a diagram related to a conductive member according to the embodiment; 実施形態に係る学習データ収集処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of learning data collection processing according to the embodiment; 実施形態に係る学習処理の流れの一例を示すフローチャートである。6 is a flowchart showing an example of the flow of learning processing according to the embodiment; 実施形態に係る推定処理の流れの具体例を示すフローチャートである。6 is a flowchart showing a specific example of the flow of estimation processing according to the embodiment; 実施形態に係る制御装置の一例の構成例を示す図である。It is a figure which shows the structural example of an example of the control apparatus which concerns on embodiment. 実施形態に係る駆動処理の流れの一例を示すフローチャートである。6 is a flowchart showing an example of the flow of drive processing according to the embodiment;

以下、図面を参照して本開示の技術を実現する実施形態を詳細に説明する。なお、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符合を付与し、重複する説明を適宜省略する場合がある。また、本開示は、以下の実施形態に何ら限定されるものではなく、本開示の目的の範囲内において適宜変更を加えて実施することができる。 Hereinafter, embodiments for implementing the technology of the present disclosure will be described in detail with reference to the drawings. Components and processes having the same actions and functions are given the same reference numerals throughout the drawings, and overlapping descriptions may be omitted as appropriate. In addition, the present disclosure is not limited to the following embodiments, and can be implemented with appropriate modifications within the scope of the purpose of the present disclosure.

なお、本開示において人物とは、対象物に対して物理量により刺激を与えることが可能な人体及び物体の少なくとも一方を含む概念である。以下の説明では、人体及び物体の少なくとも一方を区別することなく、ヒトとモノとを含む概念として人物と総称して説明する。すなわち、人体及び物体のそれぞれの単体、及び人体と物体の組み合わせた組合せ体を総称して人物と称する。 In the present disclosure, a person is a concept that includes at least one of a human body and an object that can stimulate an object with a physical quantity. In the following description, a concept including a person and an object will be collectively referred to as a person without distinguishing between at least one of a human body and an object. In other words, a single human body and an object, and a combination of a human body and an object are collectively referred to as a person.

まず、図1から図7を参照して、本開示の技術を適用する導電性が付与された柔軟材料、及び当該柔軟材料を用いて、柔軟材料に対する付与側の状態を推定する状態推定処理を説明する。 First, referring to FIGS. 1 to 7, a flexible material imparted with conductivity to which the technology of the present disclosure is applied and a state estimation process for estimating the state of the flexible material on the application side using the flexible material. explain.

<柔軟材料>
本開示において「柔軟材料」とは、少なくとも一部が撓み等のように変形可能な材料を含む概念であり、ゴム材料等の柔らかい弾性体、繊維状及び網目状の少なくとも一方の骨格を有する構造体、及び内部に微小な空気泡が複数散在する構造体を含む。これらの構造体の一例には、ウレタン材などの高分子材料が挙げられる。また、本開示では、導電性が付与された柔軟材料を用いる。「導電性が付与された柔軟材料」とは、導電性を有する材料を含む概念であり、導電性を付与するために導電材を柔軟材料に付与した材料、及び柔軟材料が導電性を有する材料を含む。導電性を付与する柔軟材料はウレタン材などの高分子材料が好適である。以下の説明では、導電性が付与された柔軟材料の一例として、ウレタン材の全部または一部に導電材料を配合及び浸潤(含浸ともいう)等により形成させた部材を、「導電性ウレタン」と称して説明する。導電性ウレタンは、導電材料を配合と浸潤(含浸)との何れかの方法で形成可能であり、導電材料の配合又は浸潤(含浸)で形成可能で、また導電材料の配合と浸潤(含浸)とを組み合わせて形成可能である。例えば、浸潤(含浸)による導電性ウレタンが、配合による導電性ウレタンより導電性が高い場合には、浸潤(含浸)により導電性ウレタンを形成することが好ましい。
<Flexible material>
In the present disclosure, the term “flexible material” is a concept that includes materials that are at least partially deformable such as bending, and is a soft elastic body such as a rubber material, a structure having at least one of a fibrous and mesh-like skeleton. It contains a body and a structure in which multiple microscopic air bubbles are scattered. Examples of these structures include polymeric materials such as urethane materials. Also, in the present disclosure, a flexible material imparted with conductivity is used. The term "flexible material to which electrical conductivity is imparted" is a concept that includes materials having electrical conductivity, materials obtained by imparting electrical conductivity to a flexible material to impart electrical conductivity, and materials in which the flexible material has electrical conductivity. including. Polymer materials such as urethane are suitable for the flexible material that imparts electrical conductivity. In the following description, as an example of a flexible material to which conductivity is imparted, a member formed by blending and infiltrating (also referred to as impregnation) a conductive material into all or part of a urethane material will be referred to as "conductive urethane." will be named and explained. The conductive urethane can be formed by either blending or soaking (impregnation) of the conductive material, and can be formed by blending or soaking (impregnating) the conductive material, or by blending and soaking (impregnating) the conductive material. can be formed in combination with For example, when the conductive urethane obtained by infiltration (impregnation) has higher conductivity than the conductive urethane obtained by blending, it is preferable to form the conductive urethane by infiltration (impregnation).

導電性ウレタンは、与えられた物理量に応じて電気特性が変化する機能を有する。電気特性が変化する機能を生じさせる物理量の一例には、撓み等のように構造を変形させる圧力による刺激(以下、圧力刺激という。)を示す圧力値による刺激値が挙げられる。なお、圧力刺激は、所定部位への圧力及び所定範囲の圧力の分布による圧力付与を含む。また、当該物理量の他例には、含水率及び水分付与等によって素材の性質を変化(変質)させる刺激(以下、素材刺激という。)を示す水分量等の刺激値が挙げられる。導電性ウレタンは、与えられた物理量に応じて電気特性が変化する。この電気特性を表す物理量の一例には、電気抵抗値が挙げられる。また、他例には、電圧値、又は電流値が挙げられる。 Conductive urethane has the function of changing its electrical properties according to a given physical quantity. An example of a physical quantity that causes a function of changing electrical properties is a stimulus value based on a pressure value that indicates a stimulus due to pressure that deforms a structure such as bending (hereinafter referred to as pressure stimulus). In addition, the pressure stimulus includes the application of pressure to a predetermined site and the application of pressure by distribution of pressure within a predetermined range. Further, other examples of the physical quantity include a stimulus value such as a water content indicating a stimulus (hereinafter referred to as material stimulus) that changes (transforms) the properties of the material by applying moisture or the like. Conductive urethane changes its electrical properties according to given physical quantities. An example of a physical quantity representing this electrical property is an electrical resistance value. Other examples include voltage values or current values.

導電性ウレタンは、所定の体積を有する柔軟材料に導電性を与えることで、与えられた物理量に応じた電気特性(すなわち電気抵抗値の変化)が現れ、その電気抵抗値は、導電性ウレタンの体積抵抗値と捉えることが可能である。導電性ウレタンは、電気経路が複雑に連携し、例えば、変形に応じて電気経路が伸縮したり膨縮したりする。また、電気経路が一時的に切断される挙動、及び以前と異なる接続が生じる挙動を示す場合もある。従って、導電性ウレタンは、所定距離を隔てた位置(例えば電極が配置された検出点の位置)の間では、与えられた物理量による刺激(圧力刺激及び素材刺激)の大きさや分布に応じた変形や変質で異なる電気特性を有する挙動を示す。このため、導電性ウレタンに与えられた物理量による刺激の大きさや分布に応じて電気特性が変化する。 By giving conductivity to a flexible material having a predetermined volume, conductive urethane exhibits electrical characteristics (that is, changes in electrical resistance) according to given physical quantities. It can be regarded as a volume resistance value. In conductive urethane, the electrical paths are linked in a complicated manner, and for example, the electrical paths expand and contract according to deformation. It may also exhibit behavior in which the electrical path is temporarily disconnected, and behavior in which a different connection than before occurs. Therefore, the conductive urethane deforms according to the magnitude and distribution of stimuli (pressure stimuli and material stimuli) by given physical quantities between positions separated by a predetermined distance (for example, the positions of detection points where electrodes are arranged). It exhibits different electrical properties depending on the temperature and alteration. For this reason, the electrical characteristics change according to the magnitude and distribution of the physical quantity applied to the conductive urethane.

なお、導電性ウレタンを用いることで、変形及び変質についての対象箇所に電極等の検出点を設ける必要はない。導電性ウレタンに物理量による刺激が与えられる箇所を挟む任意の少なくとも2箇所に電極等の検出点を設ければよい(例えば図1)。 By using conductive urethane, it is not necessary to provide a detection point such as an electrode at a target location for deformation and deterioration. Detecting points such as electrodes may be provided at at least two arbitrary locations on either side of the location where the conductive urethane is stimulated by a physical quantity (for example, FIG. 1).

また、導電性ウレタンの電気特性の検出精度を向上するため、2個の検出点より多くの検出点を用いてもよい。また、本開示の導電性ウレタンは、図1に示す導電性ウレタン22を1導電性ウレタン片とし、複数の導電性ウレタン片を配列してなる導電性ウレタン群で形成してもよい。この場合、複数の導電性ウレタン片毎に電気特性を検出してもよいし、複数の導電性ウレタン片の電気特性を合成して検出してもよい。複数の導電性ウレタン片毎に電気特性を検出する場合、配置部位毎(例えば検出セット#1~#n)に電気抵抗値等の電気特性を検出できる。また、他例としては、導電性ウレタン22上における検出範囲を分割して分割した検出範囲毎に検出点を設けて検出範囲毎に電気特性を検出してもよい。 Further, more than two detection points may be used in order to improve the detection accuracy of the electrical properties of the conductive urethane. Also, the conductive urethane of the present disclosure may be formed of a conductive urethane group in which a plurality of conductive urethane pieces are arranged with the conductive urethane 22 shown in FIG. 1 as one piece of conductive urethane. In this case, the electrical characteristics may be detected for each of the plurality of conductive urethane pieces, or the electrical characteristics of the plurality of conductive urethane pieces may be synthesized and detected. When the electrical characteristics are detected for each of a plurality of conductive urethane pieces, the electrical characteristics such as the electrical resistance value can be detected for each arrangement portion (for example, detection sets #1 to #n). As another example, the detection range on the conductive urethane 22 may be divided, a detection point may be provided for each divided detection range, and the electrical characteristics may be detected for each detection range.

<推定装置>
次に、導電性ウレタンを用いて、当該導電性ウレタンに対する付与側の状態を推定する推定装置の一例を説明する。
<Estimation device>
Next, an example of an estimating device for estimating the state of the application side with respect to the conductive urethane using the conductive urethane will be described.

図1に、付与側の状態を推定する推定処理を実行可能な推定装置1の構成の一例を示す。推定装置1は、推定部5を備え、導電性ウレタン22における電気特性が入力されるように対象物2に接続されている。推定装置1では、対象物2に含まれる導電性ウレタン22に対する付与側の状態が推定される。推定装置1は、後述する処理を実行する実行装置としてのCPUを備えたコンピュータによって実現可能である。 FIG. 1 shows an example of the configuration of an estimation device 1 capable of executing estimation processing for estimating the state of the granting side. The estimating device 1 includes an estimating unit 5 and is connected to the object 2 so that the electrical characteristics of the conductive urethane 22 are input. The estimation device 1 estimates the state of the application side of the conductive urethane 22 contained in the object 2 . The estimating device 1 can be realized by a computer having a CPU as an executing device that executes the processing described later.

上述した導電性ウレタンの変形及び変質は、導電性ウレタンに対して時系列に与えられた物理量で生じる。この時系列に与えられる物理量は、付与側の状態に依存する。従って、時系列に変化する導電性ウレタンの電気特性は、導電性ウレタンに与えられた物理量の付与側の状態に対応する。例えば、導電性ウレタンを変形させる圧力刺激または導電性ウレタンを変質させる素材刺激が与えられる場合、時系列に変化する導電性ウレタンの電気特性は、圧力刺激の位置及び分布、並びに大きさを示す付与側の状態に対応する。よって、時系列に変化する導電性ウレタンの電気特性から導電性ウレタンに対する付与側の状態を推定することが可能である。 The above-described deformation and alteration of the conductive urethane occur in physical quantities given to the conductive urethane in chronological order. The physical quantity given in this time series depends on the state of the giver. Therefore, the electrical properties of the conductive urethane that change in time series correspond to the state of the physical quantity imparted to the conductive urethane. For example, when a pressure stimulus that deforms conductive urethane or a material stimulus that modifies conductive urethane is applied, the electrical properties of conductive urethane that change in time series indicate the position, distribution, and magnitude of the pressure stimulus. corresponds to the state of the side. Therefore, it is possible to estimate the state of the application side to the conductive urethane from the electrical properties of the conductive urethane that change in time series.

推定装置1では、後述する推定処理によって、学習済みの学習モデル51を用いて、未知の付与側の状態を推定し、出力する。これにより、特殊な装置や大型の装置を用いたり対象物に含まれる導電性ウレタン22の変形及び変質を直接計測することなく、対象物2に対する付与側の状態を同定することが可能となる。学習モデル51は、対象物2に対する付与側の状態と、対象物2の電気特性(すなわち、対象物2に配置された導電性ウレタン22の電気抵抗値等の電気特性)とを入力として学習される。学習モデル51の学習については後述する。 The estimating device 1 estimates and outputs an unknown granting-side state using a learned learning model 51 by an estimating process to be described later. This makes it possible to identify the state of the application side to the object 2 without using a special device or a large-sized device or directly measuring the deformation and deterioration of the conductive urethane 22 contained in the object. The learning model 51 is learned by inputting the state of the application side with respect to the object 2 and the electrical characteristics of the object 2 (that is, the electrical characteristics such as the electrical resistance value of the conductive urethane 22 placed on the object 2). be. Learning of the learning model 51 will be described later.

なお、導電性ウレタン22は、柔軟性を有する部材21に配置して対象物2を構成することが可能である(図2)。導電性ウレタン22が配置された部材21により構成される対象物2は、電気特性検出部76を含む。導電性ウレタン22は、部材21の少なくとも一部に配置すればよく、内部に配置してもよいし外部に配置してもよい。また、導電性ウレタンは、導電性ウレタンへの付与側の状態を推定可能に配置すればよく、例えば、人物に直接的又は間接的、或いはその両方で接触可能に配置すればよい。 It should be noted that the conductive urethane 22 can be placed on a flexible member 21 to form the object 2 (FIG. 2). The object 2 composed of the member 21 on which the conductive urethane 22 is arranged includes an electrical property detection portion 76 . The conductive urethane 22 may be placed on at least part of the member 21, and may be placed inside or outside. In addition, the conductive urethane may be arranged so that the state of the application side to the conductive urethane can be estimated, for example, it may be arranged so as to be able to contact the person directly or indirectly, or both.

図2に、対象物2における導電性ウレタン22の配置例を示す。対象物2のA-A断面を対象物断面2-1として示すように、導電性ウレタン22は、部材21の内部を全て満たすように形成しても良い。また、対象物断面2-2に示すように、導電性ウレタン22は、部材21の内部における一方側(表面側)に形成しても良く、対象物断面2-3に示すように、部材21の内部における他方側(裏面側)に導電性ウレタン22を形成しても良い。さらに、対象物断面2-4に示すように、部材21の内部の一部に導電性ウレタン22を形成しても良い。また、対象物断面2-5に示すように、導電性ウレタン22は、部材21の表面側の外側に分離して配置しても良く、対象物断面2-6に示すように、他方側(裏面側)の外部に配置しても良い。導電性ウレタン22を部材21の外部に配置する場合、導電性ウレタン22と部材21とを積層するのみでもよく、導電性ウレタン22と部材21とを接着等により一体化してもよい。なお、導電性ウレタン22を部材21の外部に配置する場合であっても、導電性ウレタン22が導電性を有するウレタン部材であるため、部材21の柔軟性は阻害されない。 FIG. 2 shows an arrangement example of the conductive urethane 22 on the object 2. As shown in FIG. The conductive urethane 22 may be formed so as to completely fill the inside of the member 21 so that the AA cross section of the object 2 is shown as an object cross section 2-1. Further, as shown in the object cross section 2-2, the conductive urethane 22 may be formed on one side (surface side) inside the member 21, and as shown in the object cross section 2-3, the conductive urethane 22 may be formed on the member 21 A conductive urethane 22 may be formed on the other side (rear side) inside the . Furthermore, as shown in the cross section 2-4 of the object, a conductive urethane 22 may be formed in a part of the inside of the member 21. FIG. Further, as shown in the object cross section 2-5, the conductive urethane 22 may be separately arranged outside the surface side of the member 21, and as shown in the object cross section 2-6, the other side ( back side). When the conductive urethane 22 is arranged outside the member 21, the conductive urethane 22 and the member 21 may be simply laminated, or the conductive urethane 22 and the member 21 may be integrated by adhesion or the like. Even if the conductive urethane 22 is arranged outside the member 21, the flexibility of the member 21 is not hindered because the conductive urethane 22 is a conductive urethane member.

図1に示すように、導電性ウレタン22は、距離を隔てて配置された少なくとも2個の検出点75からの信号によって、導電性ウレタン22の電気特性(すなわち、電気抵抗値である体積抵抗値)を検出する。図1の例では、導電性ウレタン22上で対角位置に配置された2個の検出点75からの信号により電気特性(時系列の電気抵抗値)を検出する検出セット#1が示されている。なお、検出点75の個数及び配置は、図1に示す位置に限定されるものではなく、導電性ウレタン22の電気特性を検出可能な位置であれば3個以上の個数でもよく何れの位置でもよい。なお、導電性ウレタン22の電気特性は、電気特性(例えば、電気抵抗値である体積抵抗値)を検出する電気特性検出部76を検出点75に接続し、その出力を用いればよい。 As shown in FIG. 1, the conductive urethane 22 detects the electrical properties of the conductive urethane 22 (that is, the volume resistance value, which is the electrical resistance value) by signals from at least two detection points 75 arranged at a distance. ). In the example of FIG. 1, a detection set #1 is shown for detecting electrical characteristics (time-series electrical resistance values) from signals from two detection points 75 arranged diagonally on the conductive urethane 22. there is The number and arrangement of the detection points 75 are not limited to the positions shown in FIG. good. The electrical characteristics of the conductive urethane 22 can be obtained by connecting an electrical characteristics detector 76 for detecting electrical characteristics (for example, a volume resistance value, which is an electrical resistance value) to the detection point 75 and using the output thereof.

本実施形態では、センサとして導電性ウレタン22を用いるため、例えば、人物が介在する場合に従来のセンサに比べて人物に与える違和感が極めて少ない。このため、計測中に人物に関する付与側の状態を害することが無く、計測と付与側の状態推定を同時に行うことが可能となる。これは計測と付与側の状態推定を別個に行っていた従来のセンサに比べて利点となり、とりわけ時系列変化を追う長時間の計測評価による推定においては、そのメリットは大きい。 In this embodiment, since the conductive urethane 22 is used as the sensor, for example, when a person intervenes, the sense of discomfort given to the person is extremely small compared to a conventional sensor. Therefore, it is possible to perform measurement and estimation of the state of the granting side at the same time without damaging the state of the granting side of the person during the measurement. This is an advantage over conventional sensors that separately perform measurement and state estimation on the application side, and is particularly advantageous in estimation based on long-term measurement evaluation that follows chronological changes.

推定部5は、対象物2に接続され、導電性ウレタン22の変形及び変質の少なくとも一方に応じて変化する電気特性に基づき、学習モデル51を用いて、付与側の状態を推定する機能部である。具体的には、推定部5には、導電性ウレタン22における電気抵抗の大きさ(電気抵抗値等)を表す時系列の入力データ4が入力される。入力データ4は、対象物2に対する付与側の状態、例えば対象物2に接触した人物の姿勢や動き等の人物の挙動に関する状態を示す状態データ3に対応する。例えば、人物が対象物2に接触する際、姿勢等の所定の状態で接触し、当該状態に対応して、対象物2を構成する導電性ウレタン22には刺激(圧力刺激及び素材刺激の少なくとも一方)が物理量として与えられ、導電性ウレタン22の電気特性が変化する。従って、入力データ4により示される時系列に変化する導電性ウレタン22の電気特性は、対象物2、すなわち、導電性ウレタン22に対する付与側の状態に対応するものとなる。また、推定部5は、学習済みの学習モデル51を用いた推定結果として、時系列に変化する導電性ウレタン22の電気特性に対応する付与側の状態を表す出力データ6を出力する。 The estimating unit 5 is a functional unit that is connected to the object 2 and estimates the state of the applying side using the learning model 51 based on the electrical characteristics that change according to at least one of deformation and alteration of the conductive urethane 22. be. Specifically, time-series input data 4 representing the magnitude of electrical resistance (eg, electrical resistance value) in the conductive urethane 22 is input to the estimation unit 5 . The input data 4 corresponds to the state data 3 indicating the state of the application side with respect to the object 2, for example, the state related to the behavior of the person in contact with the object 2, such as the posture and movement of the person. For example, when a person contacts the object 2, the contact is made in a predetermined state such as a posture, and the conductive urethane 22 constituting the object 2 is stimulated (at least pressure stimulation and material stimulation) in response to the state. On the other hand) is given as a physical quantity, and the electrical properties of the conductive urethane 22 change. Therefore, the electrical characteristics of the conductive urethane 22 that change in time series indicated by the input data 4 correspond to the state of the object 2, ie, the conductive urethane 22 on the application side. The estimating unit 5 also outputs output data 6 representing the state of the applying side corresponding to the electrical characteristics of the conductive urethane 22 that change in time series, as an estimation result using the learned learning model 51 .

学習モデル51は、物理量として与えられる刺激(圧力刺激及び素材刺激)により変化する導電性ウレタン22の電気抵抗(入力データ4)から、付与側の状態を表す出力データ6を導出する学習を済ませたモデルである。学習モデル51は、例えば、学習済みのニューラルネットワークを規定するモデルであり、ニューラルネットワークを構成するノード(ニューロン)同士の間の結合の重み(強度)の情報の集合として表現される。 The learning model 51 has completed learning to derive the output data 6 representing the state of the applying side from the electric resistance (input data 4) of the conductive urethane 22 that changes due to the stimulus (pressure stimulus and material stimulus) given as a physical quantity. is a model. The learning model 51 is, for example, a model that defines a trained neural network, and is expressed as a set of information on weights (strengths) of connections between nodes (neurons) that make up the neural network.

<学習処理>
次に、学習モデル51を生成する学習処理について説明する。
<Learning processing>
Next, learning processing for generating the learning model 51 will be described.

図3に、学習モデル51を生成する学習モデル生成装置の概念構成を示す。学習モデル生成装置は、学習処理部52を備えている。学習モデル生成装置は、図示しないCPUを備えたコンピュータを含んで構成可能であり、CPUにより実行される学習データ収集処理及び学習モデル生成処理によって学習処理部52として実行されて学習モデル51を生成する。 FIG. 3 shows a conceptual configuration of a learning model generation device that generates the learning model 51. As shown in FIG. The learning model generation device includes a learning processing unit 52 . The learning model generation device can be configured including a computer having a CPU (not shown), and is executed as a learning processing unit 52 by a learning data collection process and a learning model generation process executed by the CPU to generate a learning model 51. .

<学習データ収集処理>
学習処理部52は、学習データ収集処理において、付与側の状態を表す状態データ3をラベルとして導電性ウレタン22における電気特性(例えば電気抵抗値)を時系列に測定した大量の入力データ4を学習データとして収集する。従って、学習データは、電気特性を示す入力データ4と、その入力データ4に対応する付与側の状態を示す状態データ3と、のセットを大量に含む。
<Learning data collection processing>
In the learning data collection process, the learning processing unit 52 learns a large amount of input data 4 obtained by measuring the electrical characteristics (for example, electrical resistance) of the conductive urethane 22 in chronological order using the state data 3 representing the state of the application side as a label. Collect as data. Therefore, the learning data includes a large amount of sets of input data 4 indicating electrical characteristics and state data 3 indicating the state of the application side corresponding to the input data 4 .

具体的には、学習データ収集処理では、対象物2における状態(すなわち、導電性ウレタン22に対する付与側の状態)が形成された際の付与側の状態に応じた刺激(圧力刺激及び素材刺激)により変化する電気特性(例えば電気抵抗値)を時系列に取得する。次に、取得した時系列の電気特性(入力データ4)に状態データ3をラベルとして付与し、状態データ3と入力データ4とのセットが予め定めた所定数、又は予め定めた所定時間に達するまで処理を繰り返す。これらの付与側の状態を示す状態データ3と、付与側の状態毎に取得した時系列の導電性ウレタン22の電気特性(入力データ4)とのセットが学習データとなる。なお、学習データにおける状態データ3は、後述する学習処理において推定結果が正解である付与側の状態を示す出力データ6として扱われるように図示しないメモリに記憶される。 Specifically, in the learning data collection process, stimulation (pressure stimulation and material stimulation) according to the state of the application side when the state of the object 2 (that is, the state of the application side with respect to the conductive urethane 22) is formed An electrical characteristic (for example, an electrical resistance value) that changes depending on the time is acquired in chronological order. Next, state data 3 is given as a label to the acquired time-series electrical characteristics (input data 4), and the set of state data 3 and input data 4 reaches a predetermined number or a predetermined time. Repeat the process until A set of the state data 3 indicating the state of the application side and the time-series electrical characteristics (input data 4) of the conductive urethane 22 acquired for each state of the application side becomes the learning data. The state data 3 in the learning data is stored in a memory (not shown) so as to be handled as output data 6 indicating the state of the giving side in which the estimation result is correct in the learning process described later.

なお、学習データは、導電性ウレタン22の電気抵抗値(入力データ4)の各々に測定時刻を示す情報を付与することで時系列情報を対応付けてもよい。この場合、付与側の状態として定まる期間について、導電性ウレタン22における時系列な電気抵抗値のセットに測定時刻を示す情報を付与して時系列情報を対応付けてもよい。 The learning data may be associated with time-series information by adding information indicating the measurement time to each electrical resistance value (input data 4) of the conductive urethane 22 . In this case, information indicating the time of measurement may be added to a set of time-series electrical resistance values in the conductive urethane 22 to associate the time-series information with the period determined as the state of the application side.

上述した学習データの一例を次に表で示す。表1は、導電性ウレタン22に対する付与側の状態に関する学習データとして、時系列の電気抵抗値データ(r)と付与側の状態を示す状態データ(R)とを対応付けたデータセットの一例である。 An example of the learning data described above is shown in the following table. Table 1 is an example of a data set in which time-series electrical resistance value data (r) and state data (R) indicating the state of the application side are associated as learning data regarding the state of the application side of the conductive urethane 22. be.

Figure 2023088193000002
Figure 2023088193000002

なお、導電性ウレタン22で検出される電気特性(時系列の電気抵抗値データによる時間特性)は、導電性ウレタン22に対する付与側の状態に関する特徴パターンとして捉えることが可能である。すなわち、導電性ウレタン22に対する付与側の状態によって、導電性ウレタン22に対して異なる刺激が時系列に与えられる。従って、所定の時間内における時系列の電気特性は、付与側の状態に対して特徴的な電気特性として表れると考えられる。よって、導電性ウレタン22で検出される電気特性(時系列の電気抵抗値データによる時間特性)に示されるパターン(例えば電気特性における時系列の電気抵抗値の分布形状)は、付与側の状態に対応し、後述する学習処理において有効に機能する。 It should be noted that the electrical characteristics detected by the conductive urethane 22 (temporal characteristics based on time-series electrical resistance value data) can be regarded as characteristic patterns relating to the state of the conductive urethane 22 on the application side. That is, different stimuli are applied to the conductive urethane 22 in chronological order depending on the state of the application side of the conductive urethane 22 . Therefore, it is considered that the time-series electrical characteristics within a predetermined period of time appear as characteristic electrical characteristics with respect to the state of the application side. Therefore, the pattern (for example, the distribution shape of time-series electrical resistance values in the electrical characteristics) shown in the electrical characteristics (time characteristics based on time-series electrical resistance value data) detected by the conductive urethane 22 varies depending on the state of the application side. It corresponds and functions effectively in the learning process which will be described later.

<学習モデル生成処理>
次に、学習モデル生成処理について説明する。図3に示す学習モデル生成装置は、学習処理部52における学習モデル生成処理によって、上述した学習データを用いて学習モデル51を生成する。
<Learning model generation processing>
Next, learning model generation processing will be described. The learning model generation device shown in FIG. 3 generates a learning model 51 using the learning data described above by a learning model generation process in the learning processing unit 52 .

図4は、学習処理部52の機能構成、すなわち学習処理部52で実行される学習モデル生成処理に関して、図示しないCPUの機能構成を示す図である。学習処理部52の図示しないCPUは、生成器54及び演算器56の機能部として動作する。生成器54は、入力である時系列に取得された電気抵抗値の前後関係を考慮して出力を生成する機能を有する。 FIG. 4 is a diagram showing the functional configuration of the learning processing unit 52, that is, the functional configuration of a CPU (not shown) regarding learning model generation processing executed by the learning processing unit 52. As shown in FIG. A CPU (not shown) of the learning processing unit 52 operates as functional units of the generator 54 and the computing unit 56 . The generator 54 has a function of generating an output in consideration of the sequential relationship of the electrical resistance values obtained in time series as an input.

学習処理部52は、学習用データとして、上述した入力データ4(例えば、電気抵抗値)と、導電性ウレタン22に刺激を与えた付与側の状態を示す状態データ3である出力データ6とのセットを図示しないメモリに多数保持している。 The learning processing unit 52 uses, as learning data, the above-described input data 4 (for example, an electrical resistance value) and output data 6, which is the state data 3 indicating the state of the stimulus applied to the conductive urethane 22. A large number of sets are held in a memory (not shown).

生成器54は、入力層540、中間層542、および出力層544を含んで、公知のニューラルネットワーク(NN:Neural Network)を構成する。ニューラルネットワーク自体は公知の技術であるため詳細な説明は省略するが、中間層542は、ノード間結合およびフィードバック結合を有するノード群(ニューロン群)を多数含む。その中間層542には、入力層540からのデータが入力され、中間層542の演算結果のデータは、出力層544へ出力される。 The generator 54 includes an input layer 540, an intermediate layer 542, and an output layer 544 to form a known neural network (NN). Since the neural network itself is a known technology, detailed description is omitted, but the intermediate layer 542 includes a large number of node groups (neuron groups) having inter-node connections and feedback connections. Data from the input layer 540 is input to the intermediate layer 542 , and data resulting from the operation of the intermediate layer 542 is output to the output layer 544 .

生成器54は、入力された入力データ4(例えば、電気抵抗値)から付与側の状態を表すデータ又は付与側の状態に近いデータとしての生成出力データ6Aを生成するニューラルネットワークである。生成出力データ6Aは、入力データ4から導電性ウレタン22に刺激が与えられた付与側の状態を推定したデータである。生成器54は、時系列に入力された入力データ4から、付与側の状態に近い状態を示す生成出力データを生成する。生成器54は、多数の入力データ4を用いて学習することで、対象物2すなわち導電性ウレタン22に刺激が与えられた人物等の付与側の状態に近い生成出力データ6Aを生成できるようになる。他の側面では、時系列に入力された入力データ4である電気特性をパターンとして捉え、当該パターンを学習することで、対象物2すなわち導電性ウレタン22に刺激が与えられた人物等の付与側の状態に近い生成出力データ6Aを生成できるようになる。 The generator 54 is a neural network that generates generated output data 6A as data representing the state of the application side or data close to the state of the application side from the inputted input data 4 (eg, electrical resistance value). The generated output data 6A is data obtained by estimating, from the input data 4, the state of the applying side in which the conductive urethane 22 is stimulated. The generator 54 generates generated output data representing a state close to the state of the granting side from the input data 4 input in chronological order. The generator 54 learns using a large number of input data 4 so that it can generate the generated output data 6A that is close to the state of the applying side such as a person or the like to whom the stimulus is given to the object 2, that is, the conductive urethane 22. Become. In another aspect, the electrical characteristics, which are the input data 4 input in chronological order, are regarded as a pattern, and by learning the pattern, the object 2, that is, the person or the like to whom the stimulus is applied to the conductive urethane 22, can be applied to the subject. generated output data 6A close to the state of .

演算器56は、生成出力データ6Aと、学習データの出力データ6とを比較し、その比較結果の誤差を演算する演算器である。学習処理部52は、生成出力データ6A、および学習データの出力データ6を演算器56に入力する。これに応じて、演算器56は、生成出力データ6Aと、学習データの出力データ6との誤差を演算し、その演算結果を示す信号を出力する。 The calculator 56 is a calculator that compares the generated output data 6A with the output data 6 of the learning data and calculates the error of the comparison result. The learning processing unit 52 inputs the generated output data 6A and the output data 6 of the learning data to the calculator 56 . In response to this, the calculator 56 calculates the error between the generated output data 6A and the output data 6 of the learning data, and outputs a signal indicating the calculation result.

学習処理部52は、演算器56で演算された誤差に基づいて、ノード間の結合の重みパラメータをチューニングする、生成器54の学習を行う。具体的には、生成器54における入力層540と中間層542とのノード間の結合の重みパラメータ、中間層542内のノード間の結合の重みパラメータ、および中間層542と出力層544とのノード間の結合の重みパラメータの各々を例えば勾配降下法や誤差逆伝搬法等の手法を用いて、生成器54にフィードバックする。すなわち、学習データの出力データ6を目標として、生成出力データ6Aと学習データの出力データ6との誤差を最小化するように全てのノード間の結合を最適化する。 The learning processing unit 52 performs learning of the generator 54 that tunes the weight parameter of the connection between nodes based on the error calculated by the calculator 56 . Specifically, the weight parameter of the connection between the nodes of the input layer 540 and the hidden layer 542 in the generator 54, the weight parameter of the connection between the nodes in the hidden layer 542, and the node of the hidden layer 542 and the output layer 544 Each of the weight parameters of the connections between is fed back to the generator 54 using techniques such as gradient descent and error backpropagation. That is, with the output data 6 of the learning data as a target, the connections between all nodes are optimized so as to minimize the error between the generated output data 6A and the output data 6 of the learning data.

なお、生成器54は、時系列入力の前後関係を考慮して出力を生成する機能を有する再帰型ニューラルネットワークを用いてもよく、他の手法を用いてもよい。 Note that the generator 54 may use a recursive neural network having a function of generating an output in consideration of the context of time-series inputs, or may use another method.

学習処理部52は、学習モデル生成処理によって、上述した学習データを用いて学習モデル51を生成する。学習モデル51は、学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現され、図示しないメモリに記憶される。 The learning processing unit 52 generates the learning model 51 using the learning data described above by the learning model generation process. The learning model 51 is expressed as a set of information of weight parameters (weights or strengths) of connections between nodes of learning results, and is stored in a memory (not shown).

具体的には、学習処理部52は、次の手順により学習モデル生成処理を実行する。第1学習処理では、時系列に測定した結果の学習データである、付与側の状態を示す情報をラベルとした入力データ4(電気特性)を取得する。第2学習処理では、時系列に測定した結果の学習データを用いて学習モデル51を生成する。すなわち、上記のようにして多数の学習データを用いて学習した学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合を得る。そして、第3学習処理では、学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現されるデータを学習モデル51として記憶する。 Specifically, the learning processing unit 52 executes learning model generation processing according to the following procedure. In the first learning process, input data 4 (electrical characteristics) labeled with information indicating the state of the application side, which is learning data obtained as a result of chronological measurement, is obtained. In the second learning process, a learning model 51 is generated using learning data obtained as a result of time-series measurement. That is, a set of information on weight parameters (weights or strengths) of connections between nodes is obtained as a result of learning using a large amount of learning data as described above. Then, in the third learning process, data expressed as a set of information of weight parameters (weights or strengths) of connections between nodes of learning results is stored as a learning model 51 .

そして、上記推定装置1では、学習済みの生成器54(すなわち、学習結果のノード間の結合の重みパラメータの情報の集合として表現されるデータ)を学習モデル51として用いる。十分に学習した学習モデル51を用いれば、対象物2、すなわち導電性ウレタン22の時系列の電気特性(例えば、時系列に変化する電気抵抗値の特性)から付与側の状態を同定することも不可能ではない。 Then, the estimation apparatus 1 uses the learned generator 54 (that is, data expressed as a set of information of weight parameters of connections between nodes of learning results) as the learning model 51 . If a sufficiently learned learning model 51 is used, it is also possible to identify the state of the applying side from the time-series electrical characteristics of the object 2, that is, the conductive urethane 22 (for example, the electrical resistance value characteristics that change in time series). Not impossible.

<PRC>
ところで、導電性ウレタン22は、上述したように電気経路が複雑に連携し、電気経路の伸縮、膨縮、一時的な切断、及び新たな接続等の変化(変形)、並びに素材の性質の変化(変質)に応じた挙動を示す。結果的に、導電性ウレタン22は、与えられた刺激(例えば圧力刺激)に応じて異なる電気特性を有する挙動を示す。このことは、導電性ウレタン22を、導電性ウレタン22の変形に関するデータを貯留するリザーバとして扱うことが可能である。すなわち、推定装置1は、物理的なリザーバコンピューティング(PRC:Physical Reservoir Computing)と呼ばれるネットワークモデル(以下、PRCNという。)に、導電性ウレタン22を適用することが可能である。PRCおよびPRCN自体は公知の技術であるため、詳細な説明を省略するが、PRC、及びPRCNは、導電性ウレタン22の変形や変質に関する情報の推定に好適である。
<PRC>
By the way, in the conductive urethane 22, as described above, the electrical paths are intricately linked, and the electrical paths are expanded, contracted, expanded, contracted, temporarily disconnected, and changed (deformed) such as new connections, and changes in the properties of the material. It shows behavior according to (transformation). As a result, the conductive urethane 22 behaves with different electrical properties depending on the applied stimulus (eg, pressure stimulus). This allows the conductive urethane 22 to be treated as a reservoir that stores data regarding deformation of the conductive urethane 22 . That is, the estimation device 1 can apply the conductive urethane 22 to a network model (hereinafter referred to as PRCN) called physical reservoir computing (PRC). Since PRC and PRCN are known technologies, detailed description thereof will be omitted, but PRC and PRCN are suitable for estimating information on deformation and deterioration of the conductive urethane 22 .

図5に、PRCNを適用した学習処理部52の機能構成の一例を示す。PRCNを適用した学習処理部52は、入力リザーバ層541と、推定層545とを含む。入力リザーバ層541は、対象物2に含まれる導電性ウレタン22が対応する。すなわち、PRCNを適用した学習処理部52では、導電性ウレタン22を含む対象物2を、導電性ウレタン22を含む対象物2の変形及び変質に関するデータを貯留するリザーバとして扱って学習する。導電性ウレタン22は、多様な刺激の各々に応じた電気特性(電気抵抗値)となり、電気抵抗値を入力する入力層として機能し、また、導電性ウレタン22の変形及び変質に関するデータを貯留するリザーバ層として機能する。導電性ウレタン22は、人物等の付与側の状態により与えられた刺激に応じて異なる電気特性(入力データ4)を出力するので、推定層545で、与えられた導電性ウレタン22の電気抵抗値から未知の付与側の状態を推定することが可能である。従って、PRCNを適用した学習処理部52における学習処理では、推定層545を学習すればよい。 FIG. 5 shows an example of the functional configuration of the learning processing unit 52 to which PRCN is applied. The learning processing unit 52 applying PRCN includes an input reservoir layer 541 and an estimation layer 545 . The input reservoir layer 541 corresponds to the conductive urethane 22 included in the object 2 . That is, the learning processing unit 52 to which the PRCN is applied treats the target object 2 including the conductive urethane 22 as a reservoir for storing data on deformation and deterioration of the target object 2 including the conductive urethane 22 and learns. The conductive urethane 22 becomes an electrical characteristic (electrical resistance value) according to each of various stimuli, functions as an input layer for inputting the electrical resistance value, and stores data on deformation and alteration of the conductive urethane 22. Acts as a reservoir layer. Since the conductive urethane 22 outputs different electrical characteristics (input data 4) according to the stimulus given by the state of the applying side such as a person, the estimation layer 545 calculates the electrical resistance value of the given conductive urethane 22. It is possible to deduce the state of the unknown grantor from Therefore, the estimation layer 545 should be learned in the learning process in the learning processing unit 52 to which the PRCN is applied.

<推定装置の構成>
次に、上述した推定装置1の具体的な構成の一例についてさらに説明する。図6に、推定装置1の電気的な構成の一例を示す。図6に示す推定装置1は、上述した各種機能を実現する処理を実行する実行装置としてのコンピュータを含んで構成したものである。上述の推定装置1は、コンピュータに上述の各機能を表すプログラムを実行させることにより実現可能である。
<Configuration of estimation device>
Next, an example of a specific configuration of the estimation device 1 described above will be further described. FIG. 6 shows an example of the electrical configuration of the estimation device 1. As shown in FIG. The estimating device 1 shown in FIG. 6 includes a computer as an execution device that executes processing for realizing the various functions described above. The estimation device 1 described above can be realized by causing a computer to execute a program representing each function described above.

推定装置1として機能するコンピュータは、コンピュータ本体100を備えている。コンピュータ本体100は、CPU102、揮発性メモリ等のRAM104、ROM106、ハードディスク装置(HDD)等の補助記憶装置108、及び入出力インターフェース(I/O)110を備えている。これらのCPU102、RAM104、ROM106、補助記憶装置108、及び入出力I/O110は、相互にデータ及びコマンドを授受可能にバス112を介して接続された構成である。また、入出力I/O110には、外部装置と通信するための通信部114、ディスプレイやキーボード等の操作表示部116、及び検出部118が接続されている。検出部118は、導電性ウレタン22を含む対象物2から、入力データ4(時系列の電気抵抗値等の電気特性)を取得する機能を有する。すなわち、検出部118は、導電性ウレタン22が配置された対象物2を含み、かつ導電性ウレタン22における検出点75に接続された電気特性検出部76から入力データ4を取得することが可能である。なお検出部118は通信部114を介して接続してもよい。 A computer functioning as the estimation device 1 includes a computer main body 100 . The computer main body 100 includes a CPU 102 , a RAM 104 such as a volatile memory, a ROM 106 , an auxiliary storage device 108 such as a hard disk drive (HDD), and an input/output interface (I/O) 110 . These CPU 102, RAM 104, ROM 106, auxiliary storage device 108, and input/output I/O 110 are connected via a bus 112 so as to exchange data and commands with each other. Also, the input/output I/O 110 is connected to a communication unit 114 for communicating with an external device, an operation display unit 116 such as a display and a keyboard, and a detection unit 118 . The detection unit 118 has a function of acquiring input data 4 (electrical characteristics such as time-series electrical resistance values) from the object 2 including the conductive urethane 22 . That is, the detection unit 118 includes the object 2 on which the conductive urethane 22 is arranged, and can acquire the input data 4 from the electrical characteristic detection unit 76 connected to the detection point 75 in the conductive urethane 22. be. Note that the detection unit 118 may be connected via the communication unit 114 .

補助記憶装置108には、コンピュータ本体100を本開示の推定装置の一例として推定装置1として機能させるための制御プログラム108Pが記憶される。CPU102は、制御プログラム108Pを補助記憶装置108から読み出してRAM104に展開して処理を実行する。これにより、制御プログラム108Pを実行したコンピュータ本体100は、推定装置1として動作する。 The auxiliary storage device 108 stores a control program 108P for causing the computer main body 100 to function as the estimation device 1 as an example of the estimation device of the present disclosure. The CPU 102 reads the control program 108P from the auxiliary storage device 108, develops it in the RAM 104, and executes processing. Thereby, the computer main body 100 that has executed the control program 108P operates as the estimation device 1. FIG.

なお、補助記憶装置108には、学習モデル51を含む学習モデル108M、及び各種データを含むデータ108Dが記憶される。制御プログラム108Pは、CD-ROM等の記録媒体により提供するようにしても良い。 The auxiliary storage device 108 stores a learning model 108M including the learning model 51 and data 108D including various data. The control program 108P may be provided by a recording medium such as a CD-ROM.

<推定処理>
次に、コンピュータにより実現された推定装置1における推定処理についてさらに説明する。図7に、コンピュータ本体100で実行される制御プログラム108Pによる推定処理の流れの一例を示す。図7に示す推定処理は、コンピュータ本体100に電源投入されると、CPU102により実行される。CPU102は、制御プログラム108Pを補助記憶装置108から読み出し、RAM104に展開して処理を実行する。
<Estimation processing>
Next, the estimation processing in the estimation device 1 implemented by a computer will be further described. FIG. 7 shows an example of the flow of estimation processing by the control program 108P executed by the computer main body 100. As shown in FIG. The estimation process shown in FIG. 7 is executed by the CPU 102 when the computer main body 100 is powered on. The CPU 102 reads the control program 108P from the auxiliary storage device 108, develops it in the RAM 104, and executes processing.

まず、CPU102は、補助記憶装置108の学習モデル108Mから学習モデル51を読み出し、RAM104に展開することで、学習モデル51を取得する(ステップS200)。具体的には、学習モデル51として表現された重みパラメータによるノード間の結合となるネットワークモデル(図4、図5参照)を、RAM104に展開することによって、重みパラメータによるノード間の結合が実現された学習モデル51が構築される。 First, CPU 102 acquires learning model 51 by reading learning model 51 from learning model 108M in auxiliary storage device 108 and developing it in RAM 104 (step S200). Specifically, a network model (see FIG. 4 and FIG. 5), which is represented as a learning model 51 and is a connection between nodes based on weight parameters, is developed in RAM 104 to realize connections between nodes based on weight parameters. A learning model 51 is constructed.

次に、CPU102は、導電性ウレタン22に与えられた刺激による付与側の状態を推定する対象となる未知の入力データ4(電気特性)を、検出部118を介して時系列に取得する(ステップS202)。次に、CPU102は、学習モデル51を用いて、取得済みの入力データ4に対応する出力データ6(未知の付与側の状態)を推定する(ステップS204)。そして、CPU102は、推定結果の出力データ6(付与側の状態)を、通信部114を介して出力し(ステップS206)、本処理ルーチンを終了する。 Next, the CPU 102 acquires the unknown input data 4 (electrical characteristics) for estimating the state of the applied side due to the stimulus applied to the conductive urethane 22 in time series via the detection unit 118 (step S202). Next, the CPU 102 uses the learning model 51 to estimate the output data 6 (unknown state of the giving side) corresponding to the acquired input data 4 (step S204). Then, the CPU 102 outputs the output data 6 (state of the provision side) of the estimation result via the communication section 114 (step S206), and ends this processing routine.

このように、推定装置1によれば、導電性ウレタン22の電気抵抗値から未知の付与側の状態を推定可能である。具体的には、推定装置1では、付与側の状態により導電性ウレタン22に与えられた刺激に応じて変化する入力データ4(電気特性)から、人物等の付与側の状態を推定することが可能となる。すなわち、特殊な装置や大型の装置を用いたり柔軟部材の変形を直接計測したりすることなく、人物等の付与側の状態を推定することが可能となる。 Thus, according to the estimation device 1, it is possible to estimate the unknown state of the applying side from the electrical resistance value of the conductive urethane 22. FIG. Specifically, the estimating device 1 can estimate the state of the applying side of a person or the like from the input data 4 (electrical characteristics) that change according to the stimulus given to the conductive urethane 22 depending on the state of the applying side. It becomes possible. That is, it is possible to estimate the state of the applying side, such as a person, without using a special device or a large-sized device or directly measuring the deformation of the flexible member.

続いて、本実施形態にかかる推定装置1の推定について具体例を挙げて説明する。以下では、上述の「導電性が付与された柔軟材料」の一例としての導電性ウレタン22を靴に設けて、靴の着用者の姿勢状態を推定する姿勢状態推定装置11の一例を説明する。図8は、本実施形態に係る推定装置の具体例の姿勢状態推定装置を示す図であり、図9は、姿勢状態推定装置11の詳細な構成例を示す図である。 Subsequently, the estimation of the estimation device 1 according to this embodiment will be described with a specific example. Below, an example of the posture state estimation device 11 that estimates the posture state of the wearer of the shoe by providing the conductive urethane 22, which is an example of the above-mentioned "flexible material imparted with conductivity", to the shoe will be described. FIG. 8 is a diagram showing a posture state estimation device as a specific example of the estimation device according to this embodiment, and FIG. 9 is a diagram showing a detailed configuration example of the posture state estimation device 11. As shown in FIG.

なお、靴とは、履きものの種類であり、足を包む形のものを指す。また、履物としては、靴底以外はひもや帯などで固定するもの(所謂、「サンダル」)や、丈の短い短靴、くるぶしより上に履き口が伸びている、履き口の丈が長い長靴(所謂、「ブーツ」)などがある。靴とされるのは、踵の部分が固定される履きものを指すものとする。図8の例では、靴12に導電性ウレタン22を設けた例を示すが、靴12以外の履きものに導電性ウレタン22を設けてもよい。また、靴の着用者は、人であってもよいし、ロボットであってもよい。 Note that shoes are a type of footwear, and refer to those that wrap around the feet. In addition, as footwear, except for the sole, it is fixed with a string or belt (so-called "sandals"), short shoes, and long boots with a mouth that extends above the ankle. (so-called “boots”). "Shoes" refers to footwear to which the heel portion is fixed. In the example of FIG. 8 , an example in which the conductive urethane 22 is provided on the shoe 12 is shown, but the conductive urethane 22 may be provided on footwear other than the shoe 12 . Also, the wearer of the shoes may be a person or a robot.

図8の例の姿勢状態推定装置11では、導電性ウレタン22を含む検出部118(2)を備えた靴を含む。検出部118が靴12の底部に設けられている。検出部118は、導電性ウレタン22と、電気特性検出部76を含む検出ユニット78と備える。 The posture state estimation device 11 in the example of FIG. A detector 118 is provided on the bottom of the shoe 12 . The detection section 118 includes the conductive urethane 22 and a detection unit 78 including the electrical property detection section 76 .

導電性ウレタン22は、靴12の中敷きまたは靴底の部分に合わせた形状に成形されている。すなわち、導電性ウレタン22には、靴12の着用者の足裏から圧力刺激が物理量として与えられ、導電性ウレタン22の電気特性が変化する。従って、導電性ウレタン22は、靴12の着用者の重心や体重移動等の姿勢状態に応じた特徴的な電気特性(時系列の電気抵抗値データによる時間特性)に示されるパターンを出力する。本実施形態では、靴12の着用者による圧力刺激を検出するセンサ自体が、導電性を有する柔軟材料としてのウレタン部材を含んで構成された導電性ウレタン22であるため、従来の他のセンサに比べて靴12の着用時の違和感が極めて少ない。このため、計測中に履き心地を害することが無く、計測と履き心地評価を同時に行うことが可能となる。これは計測と履き心地評価を別個に行っていた従来のセンサに比べて利点となっており、とりわけ時系列変化を伴う長時間の計測評価においては、そのメリットは大きい。 The conductive urethane 22 is molded into a shape that matches the insole or sole portion of the shoe 12 . That is, the conductive urethane 22 is given a pressure stimulus as a physical quantity from the soles of the wearer's feet of the shoe 12, and the electrical characteristics of the conductive urethane 22 change. Therefore, the conductive urethane 22 outputs a pattern represented by characteristic electrical characteristics (time characteristics based on time-series electrical resistance value data) according to the posture state such as the center of gravity and weight shift of the wearer of the shoe 12 . In this embodiment, the sensor itself that detects the pressure stimulus by the wearer of the shoe 12 is the conductive urethane 22 that includes a urethane member as a conductive flexible material. Compared to this, the feeling of discomfort when wearing the shoes 12 is extremely small. Therefore, it is possible to measure and evaluate the wearing comfort at the same time without impairing the wearing comfort during the measurement. This is an advantage over conventional sensors that separately perform measurement and wear comfort evaluation, and is particularly advantageous in long-term measurement and evaluation involving time-series changes.

なお、導電性ウレタン22の検出点75の数は、電気特性の検出精度を向上するため、図8、9に示す検出点(2個)より多くの検出点を用いてもよい。一例としては、各々検出点が配置された複数の導電性ウレタン片からなる列を1列または複数列並べて導電性ウレタン22を形成し、複数の導電性ウレタン片毎に電気特性を検出してもよい。例えば、導電性ウレタン片23(図10)を、配列して導電性ウレタン22を構成してもよい(図11、図12)。図10に示す例は、距離を隔てて対角位置に配置された検出点75Aからの信号により電気抵抗値を検出する第1の検出セット#1と、他の対角位置に配列された検出点75Bからの信号により電気抵抗値を検出する第2の検出セット#2とを示している。また、図11に示す例では、導電性ウレタン片23(図10)を、靴12の長手方向に配列(4x1)して導電性ウレタン22を構成し、順に、第1の検出セット#1から第8の検出セット#8を構成することを示している。さらに、図12に示す例では、導電性ウレタン片23(図10)において各々第1の検出セット#1を採用し、靴12の長手方向及び幅方向に配列(4x2)して導電性ウレタン22を構成し、第1の検出セット#1から第8の検出セット#8を構成することを示している。なお、図10~12では、導電性ウレタン22の形状を矩形の形状で示すが、靴12の形状の方が好ましい。 The number of detection points 75 of the conductive urethane 22 may be more than the number of detection points (two) shown in FIGS. As an example, the conductive urethane 22 may be formed by arranging one or more rows of a plurality of conductive urethane pieces each having a detection point, and the electrical characteristics may be detected for each of the plurality of conductive urethane pieces. good. For example, the conductive urethane pieces 23 (FIG. 10) may be arranged to form the conductive urethane 22 (FIGS. 11 and 12). The example shown in FIG. 10 includes a first detection set #1 that detects an electrical resistance value from a signal from a detection point 75A arranged diagonally with a distance, and another detection set #1 arranged diagonally. A second detection set #2 is shown which detects the electrical resistance value from the signal from point 75B. In the example shown in FIG. 11, the conductive urethane pieces 23 (FIG. 10) are arranged (4×1) in the longitudinal direction of the shoe 12 to form the conductive urethane 22, and sequentially from the first detection set #1. It shows constructing an eighth detection set #8. Furthermore, in the example shown in FIG. 12, the conductive urethane pieces 23 (FIG. 10) each adopt the first detection set #1 and are arranged (4×2) in the longitudinal direction and width direction of the shoe 12 to form the conductive urethane pieces 22 . to form the first detection set #1 to the eighth detection set #8. 10 to 12 show the shape of the conductive urethane 22 in a rectangular shape, but the shape of the shoe 12 is preferable.

また、他例としては、導電性ウレタン22上における検出範囲を分割して分割した検出範囲毎に検出点を設けて検出範囲毎に電気特性を検出してもよい。例えば、図11及び図12に示す導電性ウレタン片23の大きさに相当する領域を検出範囲として導電性ウレタン22に設定し、設定した検出範囲毎に検出点を配置して、検出範囲毎に電気特性を検出すればよい。 As another example, the detection range on the conductive urethane 22 may be divided, a detection point may be provided for each divided detection range, and the electrical characteristics may be detected for each detection range. For example, a region corresponding to the size of the conductive urethane piece 23 shown in FIGS. What is necessary is just to detect an electrical characteristic.

検出ユニット78は、例えば、靴12の踵部分に設けられ、導電性ウレタン22に設けられた検出点75が接続された電気特性検出部76、通信部80、蓄電部82、及び発電部84を備えている。 The detection unit 78 includes, for example, the electrical characteristic detection section 76 provided in the heel portion of the shoe 12 and connected to the detection point 75 provided in the conductive urethane 22, the communication section 80, the electricity storage section 82, and the power generation section 84. I have.

電気特性検出部76は、検出点75から入力される電気特性を検出し、検出結果を通信部80に出力する。 The electrical characteristic detector 76 detects the electrical characteristic input from the detection point 75 and outputs the detection result to the communication section 80 .

通信部80は、スマートフォン等の携帯端末装置30と通信を行い、電気特性検出部76の検出点75から得られる電気特性を表す物理量の検出結果を携帯端末装置30に送信する。通信部80は、例えば、Wi-Fi(登録商標)やBluetooth(登録商標)等の近距離無線通信により、携帯端末装置30と通信を行う。 The communication unit 80 communicates with the mobile terminal device 30 such as a smartphone, and transmits detection results of physical quantities representing electrical characteristics obtained from the detection points 75 of the electrical characteristics detection unit 76 to the mobile terminal device 30 . The communication unit 80 communicates with the mobile terminal device 30 by short-range wireless communication such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).

蓄電部82は、電気特性検出部76が電気特性を検出するための電力、及び通信部80が携帯端末装置30と通信するための電力を供給する。蓄電部82は、例えば、各種充電電池や、キャパシタ等が適用され、発電部84による発電電力により充電される。 The power storage unit 82 supplies power for the electrical property detection unit 76 to detect electrical properties and power for the communication unit 80 to communicate with the mobile terminal device 30 . Various types of rechargeable batteries, capacitors, and the like are applied to the power storage unit 82 , and are charged with power generated by the power generation unit 84 .

発電部84は、種々の周知の方法で発電し、発電電力を蓄電部82に供給することにより、蓄電部82を充電する。例えば、コイルと磁石を用いて、靴12の揺動に応じて磁石がコイル中を相対移動することにより発電してもよい。或いは、光、熱、圧力、振動などのエネルギを電力に変換する発電素子等を用いて発電してもよい。 Power generation unit 84 generates power by various well-known methods, and charges power storage unit 82 by supplying the generated power to power storage unit 82 . For example, a coil and a magnet may be used to generate electricity by causing the magnet to relatively move within the coil in accordance with the rocking motion of the shoe 12 . Alternatively, power may be generated using a power generation element or the like that converts energy such as light, heat, pressure, or vibration into electric power.

一方、携帯端末装置30は、上述のコンピュータ本体100、通信部114、及び操作表示部116の構成を備える。 On the other hand, the mobile terminal device 30 includes the computer main body 100, the communication section 114, and the operation display section 116 described above.

携帯端末装置30は、推定装置1として機能し、コンピュータ本体100が、学習済みの学習モデル51を用いて、靴12に設けた導電性ウレタン22における電気特性から靴12の着用者の姿勢状態を推定する。ここでは、靴12の中敷きまたは靴底の部分に導電性ウレタン22を設けて、靴12の着用者の姿勢状態を推定する例を説明するが、導電性ウレタン22は、足の甲や踵部分の内部側に設けて内部圧で推定する形態としてもよいし、足の甲や踵部分の外側に設けて外部圧で推定する形態としてもよい。 The mobile terminal device 30 functions as the estimation device 1, and the computer main body 100 uses the learned learning model 51 to estimate the posture of the wearer of the shoes 12 from the electrical characteristics of the conductive urethane 22 provided on the shoes 12. presume. Here, an example of estimating the posture state of the wearer of the shoe 12 by providing the conductive urethane 22 on the insole or sole portion of the shoe 12 will be described. It may be provided on the inner side of the foot to estimate the internal pressure, or may be provided on the outside of the instep or the heel of the foot to estimate the external pressure.

通信部114は、靴12の通信部80と通信を行い、電気特性検出部76の検出点75から得られる電気特性を表す物理量の検出結果を靴12から取得する。通信部114は、例えば、Wi-Fi(登録商標)やBluetooth(登録商標)等の近距離無線通信により、携帯端末装置30と通信を行う。 The communication unit 114 communicates with the communication unit 80 of the shoe 12 and acquires from the shoe 12 the detection result of the physical quantity representing the electrical characteristic obtained from the detection point 75 of the electrical characteristic detection unit 76 . The communication unit 114 communicates with the mobile terminal device 30 by short-range wireless communication such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).

操作表示部116は、出力部の一例に対応し、コンピュータ本体110によって推定した、靴12の着用者の姿勢状態を表示する。 The operation display unit 116 corresponds to an example of the output unit, and displays the posture state of the wearer of the shoe 12 estimated by the computer main body 110 .

携帯端末装置30における推定処理は、学習済みの学習モデル51を用いて、靴12の着用者の未知の姿勢状態として、靴12の着用者の重心や体重移動等に関係する靴12の着用者の姿勢状態を推定し、出力する。これにより、特殊な装置や大型の装置を用いたり靴12に含まれる導電性ウレタン22の変形を直接計測したりすることなく、靴12の着用者の姿勢状態を同定することが可能となる。従って、導電性ウレタン22における電気特性から靴12の着用者の姿勢状態を推定するために、携帯端末装置30には、導電性ウレタン22における電気特性から靴12の着用者の姿勢状態を推定する学習モデル51が補助記憶装置108に記憶される。 The estimation processing in the portable terminal device 30 uses the learned model 51 to determine the unknown posture state of the wearer of the shoes 12. Estimates and outputs the attitude state of This makes it possible to identify the posture of the wearer of the shoe 12 without using a special or large-sized device or directly measuring the deformation of the conductive urethane 22 contained in the shoe 12 . Therefore, in order to estimate the posture of the wearer of the shoes 12 from the electrical properties of the conductive urethane 22, the mobile terminal device 30 is equipped with the electrical properties of the conductive urethane 22 to estimate the posture of the wearer of the shoes 12. A learning model 51 is stored in the auxiliary storage device 108 .

学習モデル51は、靴12の着用者からの圧力刺激により変化する導電性ウレタン22の電気抵抗(入力データ4)から、靴12の着用者の姿勢状態、すなわち、靴12の着用者の重心や体重移動等の姿勢状態を示す靴12の着用者の状態(出力データ6)を導出する学習を済ませたモデルである。学習モデル51は、例えば、上述の学習済みのニューラルネットワークを規定するモデルであり、ニューラルネットワークを構成するノード(ニューロン)同士の間の結合の重み(強度)の情報の集合として表現される。 The learning model 51 uses the electrical resistance (input data 4) of the conductive urethane 22, which changes due to pressure stimulation from the wearer of the shoes 12, to determine the posture of the wearer of the shoes 12, that is, the center of gravity and the center of gravity of the wearer of the shoes 12. This is a model that has been trained to derive the state (output data 6) of the wearer of the shoe 12, which indicates the posture state such as weight shift. The learning model 51 is, for example, a model that defines the above-described trained neural network, and is expressed as a set of information on weights (strengths) of connections between nodes (neurons) that constitute the neural network.

学習モデル51は、学習処理部52(図3)の学習処理により生成される。学習処理部52は、靴12の着用者の姿勢状態(状態データ3)により生じる圧力刺激で変化する導電性ウレタン22における電気特性(入力データ4)を用いて学習処理を行う。すなわち、靴12の着用者の姿勢状態をラベルとして導電性ウレタン22における電気抵抗を時系列に測定した大量のデータのセットを学習データとする。具体的には、学習データは、電気抵抗値(入力データ4)を含んだ入力データと、その入力データに対応する靴12の着用者の姿勢状態を示す情報(出力データ6)と、のセットを大量に含む。ここでは、導電性ウレタン22の電気抵抗値(入力データ4)の各々に測定時刻を示す情報を付与することで時系列情報が対応付けられる。この場合、靴12の着用者の姿勢状態(状態データ3)として定まる期間について、導電性ウレタン22における時系列な電気抵抗値のセットに測定時刻を示す情報を付与して時系列情報を対応付けてもよい。 The learning model 51 is generated by learning processing of the learning processing unit 52 (FIG. 3). The learning processing unit 52 performs learning processing using the electrical characteristics (input data 4) of the conductive urethane 22 that change due to the pressure stimulation caused by the posture of the wearer of the shoe 12 (state data 3). That is, a set of a large amount of data obtained by measuring the electrical resistance of the conductive urethane 22 in chronological order using the posture of the wearer of the shoe 12 as a label is used as learning data. Specifically, the learning data is a set of input data including an electrical resistance value (input data 4) and information indicating the posture state of the wearer of the shoe 12 corresponding to the input data (output data 6). contains a large amount of Here, time-series information is associated with each of the electrical resistance values (input data 4) of the conductive urethane 22 by adding information indicating the measurement time. In this case, for a period determined as the posture state (state data 3) of the wearer of the shoe 12, time-series information is associated with a set of time-series electrical resistance values in the conductive urethane 22 by adding information indicating the measurement time. may

次に、学習処理部52について説明する。学習処理部52が行う学習処理では、靴12の着用者の姿勢状態(状態データ3)、及び導電性ウレタン22による電気抵抗値(入力データ4)が学習データとして用いられる。例えば、靴12の着用者が所定の重心や体重移動となる姿勢や動き等の挙動を示す姿勢状態を維持または動作し、そのときの電気抵抗値を検出して、姿勢状態と対応付けて学習データとする。 Next, the learning processing section 52 will be described. In the learning process performed by the learning processing unit 52, the posture state of the wearer of the shoe 12 (state data 3) and the electrical resistance value of the conductive urethane 22 (input data 4) are used as learning data. For example, when the wearer of the shoes 12 maintains or moves a posture state indicating behavior such as a posture or movement resulting in a predetermined center of gravity or weight shift, the electrical resistance value at that time is detected and learned in association with the posture state. data.

なお、姿勢状態は、時系列な靴12の着用者の挙動を示す状態を含む。この時系列な挙動を示す状態は、靴12の着用者の動きが安定した姿勢による静的状態、及び時系列に変化する複数の姿勢や動きによる動的状態を含む。また、電気特性(すなわち、電気抵抗値である体積抵抗値)は、電気特性検出部76を検出点75に接続して検出すればよい。 Note that the posture state includes a state indicating the behavior of the wearer of the shoe 12 in chronological order. The state showing this chronological behavior includes a static state in which the movement of the wearer of the shoe 12 is stable and a dynamic state in which a plurality of postures and movements change in chronological order. Also, the electrical characteristics (that is, the volume resistance value, which is the electrical resistance value) can be detected by connecting the electrical characteristics detection section 76 to the detection point 75 .

具体的には、上述の学習処理部52が、学習データ収集処理及び学習処理を実行する。図13に、図示しないCPUが実行する学習データ収集処理の一例を示す。学習処理部52は、ステップS100で、導電性ウレタン22を設けた靴12の着用者に姿勢状態を指示して刺激を付与し、ステップS102で、姿勢状態に応じた圧力刺激により変化する電気抵抗値を時系列に取得する。次のステップS104では、取得した時系列の電気抵抗値に姿勢状態(状態データ3)をラベルとして付与して、記憶する。学習処理部52は、これら靴12の着用者の姿勢状態(状態データ3)、及び導電性ウレタン22の電気抵抗値のセットが予め定めた所定数、又は予め定めた所定時間に達するまで(ステップS106で、肯定判断されるまで否定判断し)、上記処理を繰り返す。これにより、学習処理部52は、靴12の着用者の姿勢状態毎に、導電性ウレタン22における電気抵抗値を時系列に取得し、記憶することが可能となり、記憶された靴12の着用者の姿勢状態毎の時系列な導電性ウレタン22の電気抵抗値のセットが学習データとなる。 Specifically, the learning processing unit 52 described above executes learning data collection processing and learning processing. FIG. 13 shows an example of learning data collection processing executed by a CPU (not shown). In step S100, the learning processing unit 52 gives stimulus to the wearer of the shoes 12 provided with the conductive urethane 22 by instructing the posture state. Get values in chronological order. In the next step S104, the acquired time-series electrical resistance values are labeled with the posture state (state data 3) and stored. The learning processing unit 52 continues until the set of the posture state (state data 3) of the wearer of the shoe 12 and the electrical resistance value of the conductive urethane 22 reaches a predetermined number or a predetermined time (step A negative determination is made until an affirmative determination is made in S106), and the above processing is repeated. As a result, the learning processing unit 52 can acquire and store the electrical resistance value of the conductive urethane 22 in chronological order for each posture state of the wearer of the shoe 12. A set of time-series electrical resistance values of the conductive urethane 22 for each posture state is learning data.

ところで、靴12の着用者の姿勢状態は、靴12の着用者の足裏の各部位の相対的な位置関係、各部位による圧力刺激の分布、大きさ、及び頻度等の各物理量の変化や維持等の少なくとも一部により同定可能である。従って、これら時系列の物理量の一部には、靴12の着用者の姿勢を示す特徴を含むと考えられる。本実施形態では、導電性ウレタン22を用いることで、これらの物理量が反映された電気特性(体積抵抗)を時系列に検出することが可能である。 By the way, the posture state of the wearer of the shoes 12 is determined by the relative positional relationship of each part of the sole of the wearer of the shoes 12, the distribution of pressure stimulation by each part, the magnitude, and the change of each physical quantity such as frequency. Identifiable by, at least in part, such as maintenance. Therefore, some of these time-series physical quantities are considered to include features indicating the posture of the wearer of the shoe 12 . In this embodiment, by using the conductive urethane 22, it is possible to detect the electrical characteristics (volume resistance) reflecting these physical quantities in chronological order.

導電性ウレタン22における電気特性から靴12の着用者の姿勢状態を推定する学習モデル51を学習するための学習データの一例を表で示す。表2は、姿勢状態に関する学習データとして、時系列の電気抵抗値データ(r)と姿勢状態値とを対応付けたデータの一例である。表2では、姿勢状態値として、重心の状態値を対応付けたデータの一例を示すが、重心の状態値の代わり体重移動の状態値を対応付けてもよい。また、表3は、重心や体重移動等に対応する姿勢状態を対応付けたデータの一例を示す。また、表4は、左右の靴12が連携することを考慮して、左右の靴12で検出された時系列の電気抵抗値を示す特性データ(J)のセットと、姿勢状態値とを対応付けたデータの一例である。このセットに含まれる何れかの特性データ(J)に姿勢状態の特徴、すなわち、特徴パターンが含まれる。各特性データ(J)は、全て学習データとして用いる。例えば、左右の靴12で検出された複数の特性データ(J)と姿勢状態値(表4では「歩く」動作を示す値)とを学習データとして用いる。 An example of learning data for learning the learning model 51 for estimating the posture state of the wearer of the shoe 12 from the electrical properties of the conductive urethane 22 is shown in a table. Table 2 is an example of data in which time-series electrical resistance value data (r) and posture state values are associated with each other as learning data relating to the posture state. Table 2 shows an example of data in which the state value of the center of gravity is associated as the posture state value, but instead of the state value of the center of gravity, the state value of weight shift may be associated. Further, Table 3 shows an example of data in which posture states corresponding to the center of gravity, weight shift, etc. are associated with each other. In addition, considering that the left and right shoes 12 are linked, Table 4 shows correspondence between a set of characteristic data (J) indicating time-series electrical resistance values detected by the left and right shoes 12 and posture state values. This is an example of attached data. Any of the characteristic data (J) included in this set includes the feature of the posture state, that is, the feature pattern. All characteristic data (J) are used as learning data. For example, a plurality of characteristic data (J) detected for the left and right shoes 12 and posture state values (in Table 4, values indicating a "walking" motion) are used as learning data.

Figure 2023088193000003
Figure 2023088193000003

Figure 2023088193000004
Figure 2023088193000004

Figure 2023088193000005
Figure 2023088193000005

なお、時系列の電気抵抗値データと対応付ける姿勢状態値としては、上記以外の姿勢状態値を適用してもよい。例えば、転倒の可能性がある姿勢や、転倒の可能性がある確率等の転倒に関する姿勢状態値を適用してもよい。 As the attitude state value associated with the time-series electrical resistance value data, attitude state values other than those described above may be applied. For example, a posture state value related to a fall such as a posture with a possibility of a fall or a probability of a possibility of a fall may be applied.

本実施形態では、このように収集した学習データを用いて、学習処理部52による学習処理により学習モデル51が生成される。 In the present embodiment, the learning data collected in this manner is used to generate the learning model 51 through learning processing by the learning processing unit 52 .

図14に学習処理の流れの一例を示す。学習処理部52は、ステップS110で、時系列に測定した結果の学習データである、靴12の着用者の姿勢状態を示す情報をラベルとした入力データ4(電気抵抗)を取得する。学習処理部52は、ステップS112で、時系列に測定した結果の学習データを用いて学習モデル51を生成する。すなわち、上述のようにして多数の学習データを用いて学習した学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合を得る。そして、ステップS114で、学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現されるデータを学習モデル51として記憶する。 FIG. 14 shows an example of the flow of learning processing. In step S110, the learning processing unit 52 acquires input data 4 (electrical resistance) labeled with information indicating the posture state of the wearer of the shoe 12, which is learning data obtained as a result of chronological measurement. In step S112, the learning processing unit 52 generates the learning model 51 using learning data obtained as a result of time-series measurement. That is, a set of information on weight parameters (weights or strengths) of connections between nodes is obtained as a result of learning using a large amount of learning data as described above. Then, in step S114, data expressed as a set of information on weight parameters (weights or strengths) of connections between nodes of learning results is stored as a learning model 51. FIG.

なお、学習処理部52による処理は、本開示の学習モデル生成装置の処理の一例である。また、姿勢状態推定装置11は、本開示の推定部および推定装置の一例である。姿勢状態を示す情報である出力データ6は、本開示の姿勢状態情報の一例である。 Note that the processing by the learning processing unit 52 is an example of the processing of the learning model generation device of the present disclosure. Also, posture state estimation device 11 is an example of an estimation unit and an estimation device of the present disclosure. The output data 6, which is information indicating the posture state, is an example of the posture state information of the present disclosure.

そして、携帯端末装置30では、学習処理部52により生成された学習モデル51を用いて、靴12の着用者の姿勢状態を推定する。具体的には、上述した図7と同様の推定処理を行うが、推定結果の出力データの出力(S206)の代わりに、図15に示すように、推定した姿勢状態を操作表示部116等に表示する(S205)。例えば、推定した姿勢状態をテキストで表示してもよいし、推定した姿勢状態の推移等をアニメーションで表示してもよい。なお、姿勢状態値として転倒に関する姿勢状態値を推定する場合には、推定した姿勢状態値が予め定めた姿勢や予め定めた閾値以上の確率の場合に、音や表示等により警告を出力してもよい。これにより、リハビリや介護の対象者が靴12を履いた場合に、当該対象者を補助する人が転倒を防止することが可能となる。また、推定した姿勢状態及び当該姿勢状態に基づく警告を共に出力するようにしてもよい。なお、図15に示す推定処理は、本開示の推定方法で実行される処理の一例である。 Then, the mobile terminal device 30 estimates the posture state of the wearer of the shoe 12 using the learning model 51 generated by the learning processing unit 52 . Specifically, the same estimation processing as in FIG. 7 described above is performed, but instead of outputting the output data of the estimation result (S206), as shown in FIG. Display (S205). For example, the estimated posture state may be displayed as text, or the transition of the estimated posture state may be displayed as an animation. When estimating a posture state value related to a fall as a posture state value, if the estimated posture state value is a predetermined posture or a predetermined threshold value or more probability, a warning is output by sound, display, or the like. good too. As a result, when a person receiving rehabilitation or nursing care puts on the shoes 12, the person assisting the person can prevent the person from falling. Alternatively, both the estimated posture state and a warning based on the posture state may be output. Note that the estimation process illustrated in FIG. 15 is an example of the process performed by the estimation method of the present disclosure.

以上説明したように、本開示によれば、導電性ウレタン22に対して、靴12の着用者からの足から与えられた圧力刺激に応じて変化する入力データ4(電気抵抗)から、靴12の着用者の姿勢状態を推定することが可能となる。すなわち、特殊な装置や大型の装置等の大がかりな装置を用いたり柔軟部材の変形を直接計測したりすることなく、簡易的に靴12の着用者の未知の姿勢状態を推定することが可能となる。 As described above, according to the present disclosure, from the input data 4 (electrical resistance) that changes according to the pressure stimulation given from the foot of the wearer of the shoe 12 to the conductive urethane 22, the It is possible to estimate the posture state of the wearer. That is, it is possible to easily estimate the unknown posture state of the wearer of the shoe 12 without using a large-scale device such as a special device or a large-sized device or directly measuring the deformation of the flexible member. Become.

また、靴12の着用者の姿勢状態により各検出セットによる電気特性が変化し、当該電気特性の時系列な変化量に姿勢状態が反映されるので、導電性ウレタン22において時系列に変化する電気抵抗値から靴12の着用者の姿勢状態を推定可能である。すなわち、様々な姿勢状態であっても、上述した学習モデルを用いることで、靴12の着用者の姿勢状態を同定可能であり、靴12の着用者の姿勢状態を推定できる。 In addition, the electrical characteristics of each detection set change depending on the posture of the wearer of the shoes 12, and the posture is reflected in the amount of time-series change in the electrical characteristics. The posture state of the wearer of the shoe 12 can be estimated from the resistance value. That is, by using the learning model described above, the posture of the wearer of the shoe 12 can be identified and the posture of the wearer of the shoe 12 can be estimated even in various postures.

上述した学習処理によって学習された学習モデル51を用いた姿勢状態推定装置11では、未知の様々な姿勢状態における導電性ウレタン22の電気特性を入力することで、対応する靴12の着用者の姿勢状態を推定できることを確認した。 In the posture state estimation device 11 using the learning model 51 learned by the learning process described above, by inputting the electrical characteristics of the conductive urethane 22 in various unknown posture states, the posture of the wearer of the corresponding shoe 12 is calculated. It was confirmed that the state can be estimated.

なお、上述した重心や体重移動の推定は、例えば、ロボット制御に有効に機能する。例えば、ロボットが静止状態にあるとき、人物の抱き着きや障害物の当接により、重心移動や体重移動が生じる場合がある。これら静止状態からの重心移動や体重移動によってロボットが転倒する状態に陥る恐れもある。 It should be noted that the estimation of the center of gravity and weight shift described above functions effectively in robot control, for example. For example, when the robot is in a stationary state, there are cases where the center of gravity or weight shifts due to a person hugging the robot or coming into contact with an obstacle. There is also a possibility that the robot may fall over due to the movement of the center of gravity or weight from the stationary state.

そこで、ロボットの足部、例えば、足裏に上述した導電性ウレタン22を配置し、重心移動や体重移動に関する検知を行い、当該移動に関係する物理量(例えば移動速度または移動加速度)を導出し、導出された物理量が予め定めた閾値を超える場合に、ロボットが転倒する状態に陥る可能性があることを示す状態と推定する。そして、ロボットが転倒する状態に陥る可能性があることを示す状態が推定された場合に、2次制御として、例えば、ロボットの姿勢を変更するなどの重心を逆方向に移動するロボット制御を行うことで、ロボットの転倒防止を支援可能である。 Therefore, the above-mentioned conductive urethane 22 is placed on the foot part of the robot, for example, the sole, and the movement of the center of gravity and the movement of the weight are detected, and the physical quantity related to the movement (for example, the movement speed or the movement acceleration) is derived. When the derived physical quantity exceeds a predetermined threshold, it is estimated that the robot is likely to fall. Then, when a state indicating that the robot is likely to fall over is estimated, as secondary control, for example, the robot is controlled to move the center of gravity in the opposite direction, such as by changing the posture of the robot. By doing so, it is possible to support the fall prevention of the robot.

なお、本開示の姿勢状態推定装置11は、推定された姿勢状態に応じて予め定めた制御を行う制御装置を更に含む形態としてもよい。ここで、姿勢状態推定装置11の推定結果を用いて、予め定めた制御を行う制御装置について説明する。図16は、姿勢状態推定装置11の推定結果を用いて、予め定めた制御を行う制御装置の一例の構成例を示す図である。 Note that the posture state estimation device 11 of the present disclosure may further include a control device that performs predetermined control according to the estimated posture state. Here, a control device that performs predetermined control using the estimation result of posture state estimation device 11 will be described. FIG. 16 is a diagram showing an example configuration of a control device that performs predetermined control using the estimation result of the posture state estimation device 11 .

予め定めた制御を行う制御装置13の一例としは、パワーアシスト装置や介助装置等の装置が適用され、姿勢状態推定装置11の推定結果に基づいて、モータ等のアクチュエータ168を制御する。すなわち、靴12の着用者の姿勢状態に応じて、パワーアシスト装置や介助装置等の装置を制御できる。 As an example of the control device 13 that performs predetermined control, a device such as a power assist device or an assistance device is applied, and controls an actuator 168 such as a motor based on the estimation result of the posture state estimation device 11 . That is, devices such as a power assist device and an assistance device can be controlled according to the posture of the wearer of the shoe 12 .

具体的には、制御装置13は、図16に示すように、携帯端末装置30と同様に、コンピュータ本体150、通信部164、及び操作表示部166の構成を備える。コンピュータ本体150は、CPU152、揮発性メモリ等のRAM154、ROM156、ハードディスク装置(HDD)158、及び入出力インターフェース(I/O)160を備えている。これらのCPU152、RAM154、ROM156、HDD158、及び入出力I/O160は、相互にデータ及びコマンドを授受可能にバス162を介して接続された構成である。また、入出力I/O160には、外部装置と通信するための通信部164、ディスプレイやキーボード等の操作表示部166、及びアクチュエータ168が接続されている。なお、制御装置13は操作表示部166は省略した形態としてもよい。 Specifically, as shown in FIG. 16, the control device 13 includes a computer main body 150, a communication section 164, and an operation display section 166, similarly to the portable terminal device 30. FIG. The computer main body 150 includes a CPU 152 , a RAM 154 such as a volatile memory, a ROM 156 , a hard disk drive (HDD) 158 and an input/output interface (I/O) 160 . These CPU 152, RAM 154, ROM 156, HDD 158, and input/output I/O 160 are connected via a bus 162 so as to exchange data and commands with each other. Also, the input/output I/O 160 is connected with a communication unit 164 for communicating with an external device, an operation display unit 166 such as a display and a keyboard, and an actuator 168 . Note that the control device 13 may have a form in which the operation display unit 166 is omitted.

通信部164は、携帯端末装置30と通信を行い、携帯端末装置30によって推定された姿勢状態を取得する。通信部164は、例えば、Wi-Fi(登録商標)やBluetooth(登録商標)等の近距離無線通信により、携帯端末装置30と通信を行う。 The communication unit 164 communicates with the mobile terminal device 30 and acquires the posture state estimated by the mobile terminal device 30 . The communication unit 164 communicates with the mobile terminal device 30 by short-range wireless communication such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).

アクチュエータ168は、例えば、モータや、ソレノイド等が適用され、アクチュエータ168を駆動することにより助力を発生する。例えば、制御装置13がパワーアシスト装置である場合には、モータを駆動して、荷物等を持ち上げるための助力を発生する。 The actuator 168 is, for example, a motor, a solenoid, or the like, and drives the actuator 168 to generate assistance. For example, when the control device 13 is a power assist device, it drives a motor to generate assistance for lifting a load or the like.

続いて、制御装置13のコンピュータ本体150で実行されるアクチュエータ168の駆動処理について説明する。図17は、駆動処理の流れの一例を示す。CPU152は、靴12の着用者の姿勢状態の推定結果を姿勢状態推定装置11の携帯端末装置30から取得する(S300)。 Next, a drive process for the actuator 168 executed by the computer main body 150 of the control device 13 will be described. FIG. 17 shows an example of the flow of drive processing. The CPU 152 acquires the estimation result of the posture state of the wearer of the shoe 12 from the portable terminal device 30 of the posture state estimation device 11 (S300).

次に、CPU152は、姿勢状態に基づいて、アクチュエータ168の制御量を決定する(S302)。例えば、推定した姿勢状態値が「重心前方向」である場合に、「重心前方向」の姿勢状態に対応して予め定めた駆動方向の制御量を決定したり、推定した姿勢状態値が「屈む」である場合に、「屈む」姿勢に対応して予め定めた駆動方向の制御量を決定したりする。そして、CPU152、決定した制御量でアクチュエータ168を駆動し(S304)、本処理ルーチンを終了する。 Next, the CPU 152 determines the control amount of the actuator 168 based on the attitude state (S302). For example, when the estimated posture state value is "front of the center of gravity", a predetermined control amount for the drive direction is determined corresponding to the posture state of "front of the center of gravity", or if the estimated posture state value is " In the case of "bending down", a control amount of a predetermined driving direction is determined corresponding to the "bending" posture. Then, the CPU 152 drives the actuator 168 with the determined control amount (S304), and ends this processing routine.

このように、制御装置13は、姿勢状態推定装置11によって推定された靴12の着用者の姿勢状態に応じた制御量でアクチュエータ168を駆動することで、パワーアシスト装置や介助装置等の装置を制御できる。 In this manner, the control device 13 drives the actuator 168 with a control amount corresponding to the posture state of the wearer of the shoe 12 estimated by the posture state estimation device 11, thereby operating devices such as power assist devices and assistance devices. You can control it.

なお、上述したように、本開示では、柔軟部材の一例として導電性ウレタンを適用した場合を説明したが、柔軟部材は導電性ウレタンに限定されないことは勿論である。 As described above, in the present disclosure, a case where conductive urethane is applied as an example of the flexible member has been described, but the flexible member is of course not limited to conductive urethane.

また、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本開示の技術的範囲に含まれる。 Moreover, the technical scope of the present disclosure is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above-described embodiments without departing from the scope of the invention, and forms with such changes or improvements are also included in the technical scope of the present disclosure.

また、上記実施形態では、推定処理、学習処理、及び駆動処理を、フローチャートを用いた処理によるソフトウエア構成によって実現した場合について説明したが、これに限定されるものではなく、例えば各処理をハードウェア構成により実現する形態としてもよい。 Further, in the above embodiment, a case has been described in which the estimation process, the learning process, and the drive process are realized by a software configuration using a process using flowcharts, but the invention is not limited to this. It may be realized by a software configuration.

また、推定装置の一部、例えば学習モデル等のニューラルネットワークを、ハードウェア回路として構成してもよい。 Also, part of the estimation device, for example, a neural network such as a learning model, may be configured as a hardware circuit.

1 推定装置
2 対象物
3 状態データ
4 入力データ
5 推定部
6 出力データ
6A 生成出力データ
11 姿勢状態推定装置
12 靴
13 制御装置
22 導電性ウレタン
30 携帯端末装置
51 学習モデル
52 学習処理部
54 生成器
56 演算器
75 検出点
76 電気特性検出部
100 コンピュータ本体
150 コンピュータ本体
168 アクチュエータ
1 estimation device 2 object 3 state data 4 input data 5 estimation unit 6 output data 6A generated output data 11 posture state estimation device 12 shoe 13 control device 22 conductive urethane 30 mobile terminal device 51 learning model 52 learning processing unit 54 generator 56 arithmetic unit 75 detection point 76 electrical characteristic detection unit 100 computer main body 150 computer main body 168 actuator

Claims (8)

導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を予め定めた部位に備えた靴の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部と、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える前記靴の着用者の姿勢状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記姿勢状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する前記靴の着用者の姿勢状態情報を推定する推定部と、
を含む推定装置。
Electrical characteristics between a plurality of predetermined detection points on the flexible material of a shoe provided in predetermined regions with a flexible material that is conductive and whose electrical characteristics change according to changes in applied pressure a detection unit that detects
Inputting the time-series electrical characteristics using the time-series electrical characteristics when pressure is applied to the flexible material and the posture state information of the wearer of the shoe applying pressure to the flexible material as learning data. and inputting the time-series electrical characteristics detected by the detection unit to the learning model trained to output the posture state information, and wearing the shoes corresponding to the input time-series electrical characteristics an estimation unit that estimates posture state information of a person;
estimator including
前記推定部は、靴の着用者の重心、または体重移動を推定する請求項1に記載の推定装置。 The estimating device according to claim 1, wherein the estimating unit estimates the center of gravity or weight shift of the shoe wearer. 前記推定部によって推定された前記姿勢状態情報に応じて予め定めた制御を行う制御部を更に含む請求項1又は請求項2に記載の推定装置。 3. The estimation apparatus according to claim 1, further comprising a control section that performs predetermined control according to the posture state information estimated by the estimation section. 前記推定部によって推定された前記姿勢状態情報、及び当該姿勢状態情報に基づく警告の少なくとも一方を出力する出力部を更に含む請求項1から請求項3の何れか1項に記載の推定装置。 The estimation device according to any one of claims 1 to 3, further comprising an output unit that outputs at least one of the posture state information estimated by the estimation unit and a warning based on the posture state information. 前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む
請求項1から請求項4の何れか1項に記載の推定装置。
The estimation according to any one of claims 1 to 4, wherein the learning model includes a model generated by learning using a network by reservoir computing using the flexible material as a reservoir. Device.
コンピュータが
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を予め定めた部位に備えた靴の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出し、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える前記靴の着用者の姿勢状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記姿勢状態情報を出力するように学習された学習モデルに対して、検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する前記靴の着用者の姿勢状態情報を推定する
推定方法。
A computer is provided with a flexible material which has electrical conductivity and whose electrical characteristics change according to a change in applied pressure at a predetermined portion, and between a plurality of predetermined detection points on the flexible material of the shoe. detect electrical properties,
Inputting the time-series electrical characteristics using the time-series electrical characteristics when pressure is applied to the flexible material and the posture state information of the wearer of the shoe applying pressure to the flexible material as learning data. and inputting the detected time-series electrical characteristics to a learning model trained to output the posture state information, and determining the posture state of the wearer of the shoe corresponding to the input time-series electrical characteristics An estimation method for estimating information.
コンピュータに
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を予め定めた部位に備えた靴の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出し、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える前記靴の着用者の姿勢状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記姿勢状態情報を出力するように学習された学習モデルに対して、検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する前記靴の着用者の姿勢状態情報を推定する
処理を実行させるための推定プログラム。
A shoe having a flexible material that is electrically conductive and whose electrical characteristics change according to a change in applied pressure at a predetermined portion, and between a plurality of predetermined detection points on the flexible material. detect electrical properties,
Inputting the time-series electrical characteristics using the time-series electrical characteristics when pressure is applied to the flexible material and the posture state information of the wearer of the shoe applying pressure to the flexible material as learning data. and inputting the detected time-series electrical characteristics to a learning model trained to output the posture state information, and determining the posture state of the wearer of the shoe corresponding to the input time-series electrical characteristics Estimating information An estimating program for executing a process.
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を予め定めた部位に備えた靴の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部からの前記電気特性と、前記柔軟材料に圧力を与える前記靴の着用者の姿勢状態を示す姿勢状態情報と、を取得する取得部と、
前記取得部の取得結果に基づいて、前記柔軟材料に圧力を与えた際の時系列の電気特性を入力とし、前記柔軟材料に圧力を与える前記着用者の姿勢状態を示す姿勢状態情報を出力する学習モデルを生成する学習モデル生成部と、
を含む学習モデル生成装置。
Electrical characteristics between a plurality of predetermined detection points on the flexible material of a shoe provided in predetermined regions with a flexible material that is conductive and whose electrical characteristics change according to changes in applied pressure and posture state information indicating the posture state of the wearer of the shoe applying pressure to the flexible material;
Based on the acquisition result of the acquisition unit, time-series electrical characteristics when pressure is applied to the flexible material are input, and posture state information indicating the posture state of the wearer applying pressure to the flexible material is output. a learning model generation unit that generates a learning model;
A learning model generator including
JP2021202892A 2021-12-14 2021-12-14 Estimation device, estimation method, estimation program, and learning model generation device Pending JP2023088193A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021202892A JP2023088193A (en) 2021-12-14 2021-12-14 Estimation device, estimation method, estimation program, and learning model generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021202892A JP2023088193A (en) 2021-12-14 2021-12-14 Estimation device, estimation method, estimation program, and learning model generation device

Publications (1)

Publication Number Publication Date
JP2023088193A true JP2023088193A (en) 2023-06-26

Family

ID=86899599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021202892A Pending JP2023088193A (en) 2021-12-14 2021-12-14 Estimation device, estimation method, estimation program, and learning model generation device

Country Status (1)

Country Link
JP (1) JP2023088193A (en)

Similar Documents

Publication Publication Date Title
JP6371160B2 (en) Walking assist robot and control method for walking assist robot
TWI438018B (en) System and method for estimating the dynamic behavior of human lower extremity
JP6998518B2 (en) Motor function estimation information generation device, motor function estimation system, motor function estimation information generation method, motor function estimation method and recording medium
JP6981557B2 (en) Weight Estimators, Weight Estimators, and Programs
JP7127738B2 (en) Information processing device, weight estimation device, weight estimation system, information processing method, and storage medium
JP2023088193A (en) Estimation device, estimation method, estimation program, and learning model generation device
US11737507B1 (en) Intelligent automated footwear
JP2023088194A (en) Estimation device, estimation method, estimation program, and learning model generation device
KR101494779B1 (en) System and method of human gait phase classification for controlling robots
JP2023088195A (en) Estimation device, estimation method, estimation program, and learning model generation device
JP2023088196A (en) Estimation device, estimation method, estimation program, and learning model creation device
Dai et al. Smart Insoles for Gait Analysis Based on Meshless Conductive Rubber Sensors and Neural Networks
JP2023088191A (en) Estimation device, estimation method, estimation program, and learning model generation device
WO2023008160A1 (en) Estimation device, estimation method, estimation program, and robot system
JP7480851B2 (en) DETECTION APPARATUS, DETECTION SYSTEM, DETECTION METHOD, AND PROGRAM
CN112959365B (en) Robot state detection method and device
Fan et al. Development of a Novel Plantar Pressure Insole and Inertial Sensor System for Daily Activity Classification and Fall Detection
JP2023088189A (en) Estimation device, estimation method, estimation program, and learning model generation device
US20230263469A1 (en) Shoe-based sensor system for detecting human motion and body balance
Shandilya et al. A low cost wireless sensor development for assessing ground reaction force in gait analysis
JP2023028434A (en) Balance state estimation device, balance state estimation method, and program
US20240138713A1 (en) Harmonic index estimation device, estimation system, harmonic index estimation method, and recording medium
JP2023088174A (en) Estimation device, estimation method, estimation program, and learning model generation device
Anuar et al. The development of wearable sensor for arcus pedis pressure assessment
WO2023127013A1 (en) Static balance estimation device, static balance estimation system, static balance estimation method, and recording medium