JP2020192053A - Autonomic nervous system activity evaluation apparatus - Google Patents
Autonomic nervous system activity evaluation apparatus Download PDFInfo
- Publication number
- JP2020192053A JP2020192053A JP2019099023A JP2019099023A JP2020192053A JP 2020192053 A JP2020192053 A JP 2020192053A JP 2019099023 A JP2019099023 A JP 2019099023A JP 2019099023 A JP2019099023 A JP 2019099023A JP 2020192053 A JP2020192053 A JP 2020192053A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- human body
- nervous system
- autonomic nervous
- system activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、自律神経系活動の評価を行うことができる自律神経系活動評価装置に関する。 The present invention relates to an autonomic nervous system activity evaluation device capable of evaluating autonomic nervous system activity.
従来、人体の自律神経系活動の評価を行うにあたって、血圧を計測したり、心電図を計測したりする方法が知られている。血圧を計測するにあたっては、カフを人体の上腕に巻いて血圧を測定する血圧計が知られている（例えば、特許文献１参照）。また、心電図を計測し、得られた心拍変動データに対して周波数解析をする方法が知られている（例えば、特許文献２〜４参照）。 Conventionally, a method of measuring blood pressure or measuring an electrocardiogram has been known for evaluating the autonomic nervous system activity of the human body. A sphygmomanometer that measures blood pressure by wrapping a cuff around the upper arm of a human body is known for measuring blood pressure (see, for example, Patent Document 1). Further, a method of measuring an electrocardiogram and performing frequency analysis on the obtained heart rate variability data is known (see, for example, Patent Documents 2 to 4).
しかしながら、何れの方法も、人体に、何らかの器具等をセットしなければならず、非常に時間と手間がかかるという問題があった。 However, each method has a problem that it is necessary to set some kind of instrument or the like on the human body, which takes a lot of time and effort.
そこで、本発明は、上記問題に鑑み、非接触で簡単容易に自律神経系活動の評価を行うことができる自律神経系活動評価装置を提供することを目的としている。 Therefore, in view of the above problems, an object of the present invention is to provide an autonomic nervous system activity evaluation device capable of easily and easily evaluating autonomic nervous system activity without contact.
上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 The above object of the present invention is achieved by the following means. In addition, although the reference numerals of the embodiments described later are added in parentheses, the present invention is not limited thereto.
請求項１に係る自律神経系活動評価装置は、人体（Ｍ）を撮像可能なカメラ（２）と、
前記カメラ（２）にて撮像された人体（Ｍ）の画像データを取得する画像データ取得手段（ＣＰＵ３０、ステップＳ１）と、
前記画像データ取得手段（ＣＰＵ３０、ステップＳ１）にて取得した前記人体（Ｍ）の画像データの一部を切り出す切り出し手段（ＣＰＵ３０、ステップＳ４）と、
前記切り出し手段（ＣＰＵ３０、ステップＳ４）にて切り出した前記人体（Ｍ）の画像データの一部におけるＲＧＢの画素値を算出する算出手段（ＣＰＵ３０、ステップＳ９）と、
前記算出手段（ＣＰＵ３０、ステップＳ９）にて算出したＲＧＢの画素値に基づいて、Ｇ／Ｂ値を導出する導出手段（ＣＰＵ３０、ステップＳ１１）と、を有してなることを特徴としている。
The autonomic nervous system activity evaluation device according to claim 1 includes a camera (2) capable of photographing a human body (M) and a camera (2).
An image data acquisition means (CPU30, step S1) for acquiring image data of the human body (M) captured by the camera (2), and
A cutting means (CPU30, step S4) for cutting out a part of the image data of the human body (M) acquired by the image data acquisition means (CPU30, step S1).
A calculation means (CPU30, step S9) for calculating RGB pixel values in a part of the image data of the human body (M) cut out by the cutting means (CPU30, step S4).
It is characterized by having a derivation means (CPU30, step S11) for deriving a G / B value based on the RGB pixel value calculated by the calculation means (CPU30, step S9).
また、請求項２に係る自律神経系活動評価装置は、上記請求項１に記載の自律神経系活動評価装置において、前記切り出し手段（ＣＰＵ３０、ステップＳ４）は、前記人体（Ｍ）のうち毛細血管が多い部分を、前記画像データ取得手段（ＣＰＵ３０、ステップＳ１）にて取得した前記人体（Ｍ）の画像データから切り出してなることを特徴としている。 Further, the autonomic nervous system activity evaluation device according to claim 2 is the autonomic nervous system activity evaluation device according to claim 1, wherein the cutting means (CPU30, step S4) is a capillary of the human body (M). It is characterized in that a portion having a large amount of is cut out from the image data of the human body (M) acquired by the image data acquisition means (CPU30, step S1).
さらに、請求項３に係る自律神経系活動評価装置は、上記請求項１又は２に記載の自律神経系活動評価装置において、前記切り出し手段（ＣＰＵ３０、ステップＳ４）にて切り出した前記人体（Ｍ）の画像データの一部におけるＲＧＢ色空間を、色相（Ｈ）と彩度（Ｓ）と輝度（Ｖ）で表現するＨＳＶ色空間に変換する第１変換手段（ＣＰＵ３０、ステップＳ５）と、
前記第１変換手段（ＣＰＵ３０、ステップＳ５）にて変換したＨＳＶ色空間のうち、輝度（Ｖ）を削除する削除手段（ＣＰＵ３０、ステップＳ６）と、
前記削除手段（ＣＰＵ３０、ステップＳ６）にて輝度（Ｖ）を削除したＨＳＶ色空間をＲＧＢ色空間に変換する第２変換手段（ＣＰＵ３０、ステップＳ８）と、をさらに有し、
前記算出手段（ＣＰＵ３０、ステップＳ９）は、前記第２変換手段（ＣＰＵ３０、ステップＳ８）にて変換したＲＧＢ色空間におけるＲＧＢの画素値を算出してなることを特徴としている。
Further, the autonomic nervous system activity evaluation device according to claim 3 is the human body (M) cut out by the cutting means (CPU30, step S4) in the autonomic nervous system activity evaluation device according to claim 1 or 2. The first conversion means (CPU30, step S5) for converting the RGB color space in a part of the image data of the above into an HSV color space expressed by hue (H), saturation (S), and brightness (V).
Of the HSV color space converted by the first conversion means (CPU30, step S5), the deletion means (CPU30, step S6) for deleting the luminance (V) and
Further, it has a second conversion means (CPU30, step S8) for converting the HSV color space in which the luminance (V) is deleted by the deletion means (CPU30, step S6) into an RGB color space.
The calculation means (CPU 30, step S9) is characterized in that it calculates RGB pixel values in the RGB color space converted by the second conversion means (CPU 30, step S8).
そしてさらに、請求項４に係る自律神経系活動評価装置は、上記請求項１〜３の何れか１項に記載の自律神経系活動評価装置において、前記カメラ（２）は、前記人体（Ｍ）の動画を撮像し、
前記画像データ取得手段（ＣＰＵ３０、ステップＳ１）は、前記カメラ（２）にて撮像された前記人体（Ｍ）の動画の画像データを取得し、
前記算出手段（ＣＰＵ３０、ステップＳ９）は、前記切り出し手段（ＣＰＵ３０、ステップＳ４）にて切り出した前記人体（Ｍ）の画像データの一部における各ＲＧＢの画素値の平均値を算出し、
前記導出手段（ＣＰＵ３０、ステップＳ１１）は、前記算出手段（ＣＰＵ３０、ステップＳ９）にて算出した各ＲＧＢの画素値の平均値に基づいて、Ｇ／Ｂ値を導出してなることを特徴としている。
Further, the autonomic nervous system activity evaluation device according to claim 4 is the autonomic nervous system activity evaluation device according to any one of claims 1 to 3, wherein the camera (2) is the human body (M). I took a video of
The image data acquisition means (CPU30, step S1) acquires image data of a moving image of the human body (M) captured by the camera (2).
The calculation means (CPU30, step S9) calculates the average value of the pixel values of each RGB in a part of the image data of the human body (M) cut out by the cutting means (CPU30, step S4).
The derivation means (CPU30, step S11) is characterized in that the G / B value is derived based on the average value of the pixel values of each RGB calculated by the calculation means (CPU30, step S9). ..
請求項１に係る発明によれば、Ｇ／Ｂ値を導出してるため、Ｇ／Ｂ値の比率が高ければ、緑色の光（ＬＧ）の反射量が増大しているということであるから、真皮（ＭＨｂ）に存在している毛細血管は収縮していることが分かり、もって、人体（Ｍ）がストレス等を感じ交感神経が働いていることが分かる。また、Ｇ／Ｂ値の比率が低ければ、緑色の光（ＬＧ）の反射量が減少しているということであるから、真皮（ＭＨｂ）に存在している毛細血管は拡張していることが分かり、もって、人体（Ｍ）がリラックス等しており副交感神経が働いていることが分かる。 According to the invention of claim 1, since the G / B value is derived, if the ratio of the G / B value is high, the amount of reflection of green light (LG) is increased. It can be seen that the capillaries existing in the dermis (MHb) are constricted, and thus the human body (M) feels stress and the sympathetic nerve is working. In addition, if the ratio of G / B values is low, it means that the amount of reflection of green light (LG) is reduced, so that the capillaries existing in the dermis (MHb) are dilated. It can be seen that the human body (M) is relaxing and the parasympathetic nerves are working.
しかして、Ｇ／Ｂ値の比率を導出しさえすれば、非接触で簡単容易に自律神経系活動の評価を行うことができることとなる。 Therefore, as long as the ratio of G / B values is derived, the autonomic nervous system activity can be easily and non-contactly evaluated.
また、請求項２に係る発明によれば、人体（Ｍ）のうち毛細血管が多い部分を、画像データ取得手段（ＣＰＵ３０、ステップＳ１）にて取得した人体（Ｍ）の画像データから切り出しているから、毛細血管の動きをより正確に判断することが可能となり、もって、自律神経系活動の評価の精度をより高めることができることとなる。 Further, according to the invention of claim 2, a portion of the human body (M) having many capillaries is cut out from the image data of the human body (M) acquired by the image data acquisition means (CPU30, step S1). Therefore, it becomes possible to judge the movement of the capillaries more accurately, and thus the accuracy of the evaluation of the autonomic nervous system activity can be further improved.
さらに、請求項３に係る発明によれば、切り出し手段（ＣＰＵ３０、ステップＳ４）にて切り出した人体（Ｍ）の画像データの一部におけるＲＧＢ色空間を、色相（Ｈ）と彩度（Ｓ）と輝度（Ｖ）で表現するＨＳＶ色空間に変換し、その変換したＨＳＶ色空間のうち、輝度（Ｖ）を削除し、輝度（Ｖ）を削除したＨＳＶ色空間をＲＧＢ色空間に変換するようにしている。このようにすれば、室内の照明等撮影環境に左右されないデータを抽出することができ、もって、自律神経系活動の評価の精度をより高めることができる。 Further, according to the invention of claim 3, the RGB color space in a part of the image data of the human body (M) cut out by the cutting means (CPU30, step S4) is divided into the hue (H) and the saturation (S). To convert to the HSV color space expressed by the brightness (V), delete the brightness (V) from the converted HSV color space, and convert the HSV color space from which the brightness (V) is deleted to the RGB color space. I have to. In this way, data that is not affected by the shooting environment such as indoor lighting can be extracted, and thus the accuracy of evaluation of autonomic nervous system activity can be further improved.
またさらに、請求項４に係る発明によれば、人体（Ｍ）の動画を撮像し、各ＲＧＢの画素値の平均値を算出し、その算出した各ＲＧＢの画素値の平均値に基づいて、Ｇ／Ｂ値を導出するようにしているから、ノイズ等の影響を低減させた信頼性の高いデータを導出することができ、もって、自律神経系活動の評価の精度をより高めることができる。 Furthermore, according to the invention of claim 4, a moving image of the human body (M) is imaged, an average value of pixel values of each RGB is calculated, and based on the calculated average value of pixel values of each RGB. Since the G / B value is derived, highly reliable data with reduced influence of noise and the like can be derived, and thus the accuracy of evaluation of autonomic nervous system activity can be further improved.
以下、本発明に係る自律神経系活動評価装置の一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。 Hereinafter, an embodiment of the autonomic nervous system activity evaluation device according to the present invention will be specifically described with reference to the drawings. In the following description, when the directions of up, down, left, and right are shown, it means the up, down, left, and right when viewed from the front of the illustration.
本実施形態に係る自律神経系活動評価装置は、人体を撮像し、撮像した画像からＧ（Ｇｒｅｅｎ）とＢ（Ｂｌｕｅ）値の比を導出することによって、自律神経系活動の評価を行うようにするものである。 The autonomic nervous system activity evaluation device according to the present embodiment evaluates the autonomic nervous system activity by imaging the human body and deriving the ratio of the G (Green) and B (Blue) values from the captured image. To do.
この点、より詳しく説明すると、自律神経系活動は、健康状態を見る上で、重要な指標の一つである。そこで、本発明者らは、自律神経系活動の一つである毛細血管の動向に着目することとした。すなわち、図４に示すように、人体の皮膚ＭＨは、表皮ＭＨａと、真皮ＭＨｂと、皮下組織ＭＨｃと、で構成されており、真皮ＭＨｂには、毛細血管が存在している。そして、光の３原色のうち、青色の光ＬＢは、表皮ＭＨａまで浸透し、緑色の光ＬＧは、真皮ＭＨｂまで浸透し、赤色の光ＬＲは、皮下組織ＭＨｃまで浸透する特性があることが知られている。 In this regard, to explain in more detail, autonomic nervous system activity is one of the important indicators for observing the state of health. Therefore, the present inventors decided to pay attention to the trend of capillaries, which is one of the autonomic nervous system activities. That is, as shown in FIG. 4, the skin MH of the human body is composed of the epidermis MHa, the dermis MHb, and the subcutaneous tissue MHc, and the dermis MHb has capillaries. Of the three primary colors of light, blue light LB permeates to the epidermis MHa, green light LG permeates to the dermis MHb, and red light LR permeates the subcutaneous tissue MHc. Are known.
一方、人体の血液中に見られる赤血球の中に存在するタンパク質であるヘモグロビンは、図５（ａ）に示すように、５００ｎｍ〜５６０ｎｍの波長の光、すなわち、緑色の光ＬＧを吸収しやすいという特性があることが知られている。 On the other hand, hemoglobin, which is a protein present in red blood cells found in human blood, easily absorbs light having a wavelength of 500 nm to 560 nm, that is, green light LG, as shown in FIG. 5 (a). It is known to have characteristics.
かくして、このような特性に着目すると、以下のような特性があることが分かる。すなわち、人体がリラックスしている等副交感神経が働いている時、真皮ＭＨｂに存在している毛細血管は拡張することとなるから、ヘモグロビン量が増加することとなる。しかして、このような状態で、図５（ｂ）に示すように、緑色の光ＬＧが照射されると、ヘモグロビン量が増加していることから、緑色の光ＬＧの吸収量が増大し、もって、緑色の光ＬＧの反射量が減少（図示、緑色の反射光ＬＧａ参照）することとなる。 Thus, focusing on such characteristics, it can be seen that there are the following characteristics. That is, when the parasympathetic nerves such as when the human body is relaxed are working, the capillaries existing in the dermis MHb are dilated, so that the amount of hemoglobin is increased. Then, in such a state, as shown in FIG. 5B, when the green light LG is irradiated, the amount of hemoglobin increases, so that the amount of absorption of the green light LG increases. Therefore, the amount of reflection of the green light LG is reduced (see the figure, green reflected light LGa).
一方、人体がストレス等を感じ交感神経が働いている時、真皮ＭＨｂに存在している毛細血管は収縮することとなるから、ヘモグロビン量が減少することとなる。しかして、このような状態で、図５（ｃ）に示すように、緑色の光ＬＧが照射されると、ヘモグロビン量が減少していることから、緑色の光ＬＧの吸収量が減少し、もって、緑色の光ＬＧの反射量が増大（図示、緑色の反射光ＬＧｂ参照）することとなる。 On the other hand, when the human body feels stress or the like and the sympathetic nerve is working, the capillaries existing in the dermis MHb contract, so that the amount of hemoglobin decreases. Then, in such a state, as shown in FIG. 5C, when the green light LG is irradiated, the amount of hemoglobin decreases, so that the amount of absorption of the green light LG decreases. As a result, the amount of reflection of the green light LG is increased (see the figure, the green reflected light LGb).
かくして、このような特性に鑑み、本実施形態に係る自律神経系活動評価装置は、人体を撮像し、撮像した画像からＧ（Ｇｒｅｅｎ）とＢ（Ｂｌｕｅ）値の比を導出することによって、自律神経系活動の評価を行うようにしているものである。すなわち、撮像した画像のＧ（Ｇｒｅｅｎ）値が高ければ、緑色の光ＬＧの反射量が増大（図５（ｃ）に示す、緑色の反射光ＬＧｂ参照）しているということであるから、真皮ＭＨｂに存在している毛細血管は収縮していることが分かる。そして、撮像した画像のＧ（Ｇｒｅｅｎ）値が低ければ、緑色の光ＬＧの反射量が減少（図５（ｂ）に示す、緑色の反射光ＬＧａ参照）しているということであるから、真皮ＭＨｂに存在している毛細血管は拡張していることが分かることとなる。 Thus, in view of such characteristics, the autonomic nervous system activity evaluation device according to the present embodiment is autonomous by imaging the human body and deriving the ratio of G (Green) and B (Blue) values from the captured image. It is intended to evaluate nervous system activity. That is, if the G (Green) value of the captured image is high, the amount of reflection of the green light LG increases (see the green reflected light LGb shown in FIG. 5C). Therefore, the dermis. It can be seen that the capillaries present in MHb are constricted. If the G (Green) value of the captured image is low, the amount of reflection of the green light LG is reduced (see the green reflected light LGa shown in FIG. 5B). Therefore, the dermis. It can be seen that the capillaries present in the MHb are dilated.
しかして、このように、撮像した画像のＧ（Ｇｒｅｅｎ）値に着目すれば、自律神経系活動の評価を行うようにすることができる。この点、図面を参照して詳しく説明することとする。 Thus, by paying attention to the G (Green) value of the captured image in this way, it is possible to evaluate the autonomic nervous system activity. This point will be described in detail with reference to the drawings.
図１に示すように、自律神経系活動評価装置１は、人体Ｍを撮像可能なカメラ２と、画像処理装置３と、で構成されている。 As shown in FIG. 1, the autonomic nervous system activity evaluation device 1 is composed of a camera 2 capable of capturing an image of a human body M and an image processing device 3.
カメラ２は、デジタルカメラ、或いは、スマートフォンやノートパソコン等に内蔵されているカメラ等、透視投影モデルに基づいたカメラ等からなるもので、人体Ｍの動画や静止画を撮像可能なものである。 The camera 2 includes a digital camera, a camera built in a smartphone, a notebook computer, or the like, or a camera based on a perspective projection model, and can capture a moving image or a still image of the human body M.
画像処理装置３は、ＣＰＵ３０と、マウスやキーボード、タッチパネル等にて外部から所定データを画像処理装置３に入力することができる入力部３１と、画像処理装置３外に所定データを出力することができる出力部３２と、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ３３と、作業領域やバッファメモリ等として機能するＲＡＭ３４と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示部３５と、で構成されている。 The image processing device 3 may output the predetermined data to the outside of the image processing device 3 and the CPU 30, an input unit 31 capable of inputting predetermined data to the image processing device 3 from the outside using a mouse, a keyboard, a touch panel, or the like. An output unit 32 that can be used, a ROM 33 that is composed of a writable flash ROM or the like that stores a predetermined program or the like, a RAM 34 that functions as a work area or a buffer memory or the like, and a display unit 35 that is composed of an LCD (Liquid Crystal Display) or the like. It is composed of.
かくして、上記のような自律神経系活動評価装置１を使用するにあたっては、作業者が、図１に示す画像処理装置３の入力部３１を用いて、ＲＯＭ３３内に格納されているプログラムの起動を指示する。これにより、画像処理装置３のＣＰＵ３０（図１参照）は、図２に示すような処理を行う。以下、図２を参照して説明する。なお、図２に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。 Thus, when using the autonomic nervous system activity evaluation device 1 as described above, the operator activates the program stored in the ROM 33 by using the input unit 31 of the image processing device 3 shown in FIG. Instruct. As a result, the CPU 30 (see FIG. 1) of the image processing device 3 performs the processing as shown in FIG. Hereinafter, description will be made with reference to FIG. The processing content of the program shown in FIG. 2 is merely an example, and is not limited to this.
まず、ＣＰＵ３０（図１参照）は、カメラ２で撮像された人体Ｍの動画像データを取得する（ステップＳ１）。なお、取得する動画像データとしては、例えば、３秒間、カメラ２で人体Ｍを撮像したものを取得する。 First, the CPU 30 (see FIG. 1) acquires the moving image data of the human body M captured by the camera 2 (step S1). As the moving image data to be acquired, for example, the image of the human body M taken by the camera 2 for 3 seconds is acquired.
次いで、ＣＰＵ３０（図１参照）は、取得した動画像データの１フレーム分を取得する（ステップＳ２）。具体的には、カメラ２で撮像した３秒間の動画像データを３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で分割し、９０フレームにした後、その９０フレームのうち、１フレーム分を取得するというものである。 Next, the CPU 30 (see FIG. 1) acquires one frame of the acquired moving image data (step S2). Specifically, the moving image data for 3 seconds captured by the camera 2 is divided at 30 fps (frames per second) to make 90 frames, and then one frame out of the 90 frames is acquired.
次いで、ＣＰＵ３０（図１参照）は、取得した１フレーム分のデータから、顔検出のアルゴリズムの一手法である、Ｈａａｒ−ｌｉｋｅ特徴量等を用いた顔検出アルゴリズムを実行して、人体Ｍの顔領域ＭＫ（例えば、図３（ａ）参照）を切り出す（ステップＳ３）。 Next, the CPU 30 (see FIG. 1) executes a face detection algorithm using a Har-like feature amount, which is one method of the face detection algorithm, from the acquired data for one frame, and executes the face detection algorithm of the human body M. A region MK (see, for example, FIG. 3A) is cut out (step S3).
次いで、ＣＰＵ３０（図１参照）は、切り出した顔領域ＭＫから、顔検出のアルゴリズムの一手法である、Ｈａａｒ−ｌｉｋｅ特徴量等を用いた顔検出アルゴリズムを実行して、図３（ｂ）に示す頬の部分のＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）画像を切り出す（ステップＳ４）。具体的には、顔のパーツ（目、口、鼻など）は略一定の比率で位置が決まっていることから、特徴抽出がしやすい顔の１つのパーツ（例えば、目、鼻）を原点として、鼻部、頬、額部の検出を行う。より詳しく説明すると、Ｈａａｒ−ｌｉｋｅ特徴量等を用いた顔検出アルゴリズムを実行して、矩形領域内部を２〜３等分して各領域の輝度値の総和の差を特徴量として用いることで顔のパーツを導出する。例えば、目の検出は、目付近の領域は、鼻や頬の領域に比べて輝度値が低く、目は眉間より低いという特徴を用いて検出するようにしている。また、鼻の検出は、３等分された矩形領域を用いて、各領域の輝度値の総和を導出し、中央と左右の差が大きい部分を鼻として検出するようにしている。これは、鼻を矩形領域で囲った際、鼻は中心部の輝度値が高く、両端は低いという特徴があるためである。しかして、このようにして、顔のパーツを導出して、図３（ｂ）に示す頬の部分のＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）画像を切り出すこととなる。 Next, the CPU 30 (see FIG. 1) executes a face detection algorithm using a Har-like feature amount, which is one method of the face detection algorithm, from the cut out face region MK, and shows FIG. 3 (b). A ROI (Region of Interest) image of the indicated cheek portion is cut out (step S4). Specifically, since the positions of facial parts (eyes, mouth, nose, etc.) are determined at a substantially constant ratio, one part of the face (for example, eyes, nose) that makes it easy to extract features is the starting point. , Nose, cheeks, and forehead are detected. More specifically, a face detection algorithm using a Har-like feature amount or the like is executed, the inside of the rectangular area is divided into two or three equal parts, and the difference in the sum of the brightness values of each area is used as the feature amount. To derive the parts of. For example, the eyes are detected by using the feature that the area near the eyes has a lower luminance value than the areas of the nose and cheeks, and the eyes are lower than the eyebrows. Further, in the detection of the nose, the sum of the brightness values of each region is derived using the rectangular region divided into three equal parts, and the portion where the difference between the center and the left and right is large is detected as the nose. This is because when the nose is surrounded by a rectangular area, the nose has a characteristic that the brightness value at the center is high and both ends are low. Then, in this way, the facial parts are derived, and the ROI (Region of Interest) image of the cheek portion shown in FIG. 3B is cut out.
次いで、ＣＰＵ３０（図１参照）は、切り出したＲＯＩ画像をＲＧＢ色空間からＨＳＶ色空間へ変換する（ステップＳ５）。ＲＧＢ色空間とは、赤、緑、青の三原色を混合することにより構成される色空間であり、ＨＳＶ色空間とは、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ）、輝度（Ｖａｌｕｅ）によって構成される色空間である。なお、色空間の変換は、従来公知の方法により行うことができるため、その詳細な説明は省略することとする。 Next, the CPU 30 (see FIG. 1) converts the cut out ROI image from the RGB color space to the HSV color space (step S5). The RGB color space is a color space composed of a mixture of the three primary colors of red, green, and blue, and the HSV color space is based on hue (Hue), saturation (Saturation / Chroma), and brightness (Value). It is a composed color space. Since the conversion of the color space can be performed by a conventionally known method, detailed description thereof will be omitted.
次いで、ＣＰＵ３０（図１参照）は、ＨＳＶ色空間へ変換したＲＯＩ画像の輝度（Ｖａｌｕｅ）を削除する処理を行う（ステップＳ６）。これにより、図３（ｂ）に示すような輝度を削除した画像に変換されることとなる。なお、図３（ｂ）においては、理解を容易にするために、切り出した顔領域ＭＫ全体の輝度を削除した画像を示しているが、ＲＧＢ色空間からＨＳＶ色空間へ変換されるのは切り出したＲＯＩ画像のみであり、輝度（Ｖａｌｕｅ）を削除するのは、そのＲＯＩ画像のみである。また、言うまでもないが、切り出されるＲＯＩ画像は、ＨＳＶ色空間に変換する前の画像（図３（ａ）に示す切り出した顔領域ＭＫ）からである。 Next, the CPU 30 (see FIG. 1) performs a process of deleting the brightness (Value) of the ROI image converted into the HSV color space (step S6). As a result, the image is converted into an image in which the brightness as shown in FIG. 3B is deleted. Note that FIG. 3B shows an image in which the brightness of the entire face region MK cut out is deleted for ease of understanding, but it is cut out that the RGB color space is converted to the HSV color space. It is only the ROI image, and it is only the ROI image that deletes the brightness (Color). Needless to say, the ROI image to be cut out is from the image (cut out face area MK shown in FIG. 3A) before being converted into the HSV color space.
次いで、ＣＰＵ３０（図１参照）は、輝度（Ｖａｌｕｅ）を削除したＲＯＩ画像の色相の閾値処理を行う（ステップＳ７）。具体的には、輝度（Ｖａｌｕｅ）を削除したＲＯＩ画像の色相のうち、０〜４２の範囲、又は、１６３〜１８０の範囲に存在する色相のみを抽出する処理を行う。なお、輝度（Ｖａｌｕｅ）を削除したＲＯＩ画像に、図３（ｂ）に示すような壁が存在していた場合は、壁の色相は、４２〜６０の範囲に存在する色相のみを抽出する処理を行う。 Next, the CPU 30 (see FIG. 1) performs the hue threshold processing of the ROI image from which the brightness (Value) has been deleted (step S7). Specifically, among the hues of the ROI image from which the brightness (Value) has been deleted, only the hues existing in the range of 0 to 42 or the range of 163 to 180 are extracted. If a wall as shown in FIG. 3B is present in the ROI image from which the brightness (Value) has been deleted, the hue of the wall is a process of extracting only the hue existing in the range of 42 to 60. I do.
次いで、ＣＰＵ３０（図１参照）は、輝度（Ｖａｌｕｅ）を削除し、色相の閾値処理を行ったＲＯＩ画像をＨＳＶ色空間からＲＧＢ色空間へ変換する（ステップＳ８）。なお、色空間の変換は、従来公知の方法により行うことができるため、その詳細な説明は省略することとする。 Next, the CPU 30 (see FIG. 1) deletes the luminance (Value) and converts the ROI image subjected to the hue threshold processing from the HSV color space to the RGB color space (step S8). Since the conversion of the color space can be performed by a conventionally known method, detailed description thereof will be omitted.
次いで、ＣＰＵ３０（図１参照）は、再びＲＧＢ色空間へ変換したＲＯＩ画像における各ＲＧＢの画素値の平均値を算出する。すなわち、ＣＰＵ３０（図１参照）は、再びＲＧＢ色空間へ変換したＲＯＩ画像におけるＲ（Ｒｅｄ）値の画素値を全て抽出し、その抽出したＲ（Ｒｅｄ）値の画素値の平均値を算出する。そしてさらに、ＲＯＩ画像におけるＧ（Ｇｒｅｅｎ）値の画素値を全て抽出し、その抽出したＧ（Ｇｒｅｅｎ）値の画素値の平均値を算出する。またさらに、ＲＯＩ画像におけるＢ（Ｂｌｕｅ）値の画素値を全て抽出し、その抽出したＢ（Ｂｌｕｅ）値の画素値の平均値を算出するというものである（ステップＳ９）。 Next, the CPU 30 (see FIG. 1) calculates the average value of the pixel values of each RGB in the ROI image converted into the RGB color space again. That is, the CPU 30 (see FIG. 1) extracts all the pixel values of the R (Red) values in the ROI image converted into the RGB color space again, and calculates the average value of the pixel values of the extracted R (Red) values. .. Further, all the pixel values of the G (Green) values in the ROI image are extracted, and the average value of the pixel values of the extracted G (Green) values is calculated. Further, all the pixel values of the B (Blue) values in the ROI image are extracted, and the average value of the pixel values of the extracted B (Blue) values is calculated (step S9).
次いで、ＣＰＵ３０（図１参照）は、所定回数カウンタをインクリメント（＋１）した上で、所定回数（例えば、９０）に達したか否かを確認する（ステップＳ１０）。すなわち、９０フレーム分の処理が終了したか否かを確認する。換言すれば、所定回数カウンタが「１」であれば、１フレーム分の処理が終了しており、「２」であれば、２フレーム分の処理が終了しており、「３」であれば、３フレーム分の処理が終了しているというように確認することができる。 Next, the CPU 30 (see FIG. 1) increments (+1) the predetermined number of times counter, and then confirms whether or not the predetermined number of times (for example, 90) has been reached (step S10). That is, it is confirmed whether or not the processing for 90 frames is completed. In other words, if the predetermined number of times counter is "1", the processing for one frame is completed, if it is "2", the processing for two frames is completed, and if it is "3". It can be confirmed that the processing for 3 frames is completed.
しかして、所定回数（例えば、９０）に達していなければ（ステップＳ１０：ＮＯ）、ＣＰＵ３０（図１参照）は、ステップＳ２の処理に戻り、ステップＳ２〜ステップＳ９の処理を再度行う。 If the predetermined number of times (for example, 90) has not been reached (step S10: NO), the CPU 30 (see FIG. 1) returns to the process of step S2 and repeats the processes of steps S2 to S9.
一方、所定回数（例えば、９０）に達していれば（ステップＳ１０：ＹＥＳ）、ＣＰＵ３０（図１参照）は、所定回数カウンタをクリアし、ステップＳ１１の処理に進む。 On the other hand, if the predetermined number of times (for example, 90) has been reached (step S10: YES), the CPU 30 (see FIG. 1) clears the predetermined number of times counter and proceeds to the process of step S11.
次いで、ＣＰＵ３０（図１参照）は、上記算出した所定フレーム分（例えば、９０フレーム分）のＧ（Ｇｒｅｅｎ）値の画素値の平均値を全て足し合わせ、さらに、上記算出した所定フレーム分（例えば、９０フレーム分）のＢ（Ｂｌｕｅ）値の画素値の平均値を全て足し合わせた上で、Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）値を導出し（ステップＳ１１）、処理を終える。 Next, the CPU 30 (see FIG. 1) adds all the average pixel values of the G (Green) values of the predetermined predetermined frames (for example, 90 frames) calculated above, and further, the calculated predetermined frames (for example, 90 frames). , 90 frames) B (Blue) value pixel values are all added together, G (Green) / B (Blue) values are derived (step S11), and the process is completed.
しかして、以上説明した本実施形態によれば、導出したＧ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）値の比率が高ければ、緑色の光ＬＧ（図５（ｃ）参照）の反射量が増大しているということであるから、真皮ＭＨｂ（図４参照）に存在している毛細血管は収縮していることが分かり、もって、人体Ｍがストレス等を感じ交感神経が働いていることが分かる。また、導出したＧ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）値の比率が低ければ、緑色の光ＬＧ（図５（ｂ）参照）の反射量が減少しているということであるから、真皮ＭＨｂ（図４参照）に存在している毛細血管は拡張していることが分かり、もって、人体Ｍがリラックス等しており副交感神経が働いていることが分かる。 Therefore, according to the present embodiment described above, if the derived G (Green) / B (Blue) value ratio is high, the amount of reflection of the green light LG (see FIG. 5C) increases. Therefore, it can be seen that the capillaries existing in the dermis MHb (see FIG. 4) are contracted, and thus the human body M feels stress and the sympathetic nerve is working. Further, if the derived G (Green) / B (Blue) value ratio is low, it means that the amount of reflection of the green light LG (see FIG. 5B) is reduced. Therefore, the dermis MHb (Fig. 5) It can be seen that the capillaries existing in (see 4) are dilated, and thus the human body M is relaxed and the parasympathetic nerve is working.
しかして、Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）値の比率を導出しさえすれば、非接触で簡単容易に自律神経系活動の評価を行うことができることとなる。しかるに、このように非接触で簡単容易に自律神経系活動の評価を行うことができるようになれば、毎日の生活に組み込み易くなり、もって、鬱等の発病を未然に防ぐことができる。なお、基準値は、各個人で任意に決定し、その基準値より高ければ、導出したＧ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）値の比率が高いと判断し、その基準値より低ければ、導出したＧ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）値の比率が低いと判断するようにすれば良い。 Therefore, as long as the ratio of G (Green) / B (Blue) values is derived, the autonomic nervous system activity can be easily and easily evaluated without contact. However, if the autonomic nervous system activity can be evaluated easily and non-contactly in this way, it will be easy to incorporate it into daily life, and thus it will be possible to prevent the onset of depression and the like. The reference value was arbitrarily determined by each individual, and if it was higher than the reference value, it was judged that the ratio of the derived G (Green) / B (Blue) value was high, and if it was lower than the reference value, it was derived. It may be determined that the ratio of G (Green) / B (Blue) values is low.
ところで、本実施形態においては、Ｇ（Ｇｒｅｅｎ）値だけを導出せず、Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）値を導出しているが、これは、値の正規化を行うためである。このようにすれば、室内の照明等撮影環境が値に及ぼす影響を低減させることができ、もって、自律神経系活動の評価の精度を高めることができることとなる。 By the way, in the present embodiment, only the G (Green) value is not derived, but the G (Green) / B (Blue) value is derived, because the value is normalized. By doing so, it is possible to reduce the influence of the photographing environment such as indoor lighting on the value, and thus it is possible to improve the accuracy of the evaluation of the autonomic nervous system activity.
また、本実施形態においては、室内の照明等撮影環境の影響をより低減させるために、切り出したＲＯＩ画像をＲＧＢ色空間からＨＳＶ色空間へ変換し、輝度（Ｖａｌｕｅ）を削除した上で、再び、ＲＧＢ色空間へ変換するようにしている。このようにすれば、室内の照明等撮影環境に左右されないデータを抽出することができ、もって、自律神経系活動の評価の精度をより高めることができることとなる。 Further, in the present embodiment, in order to further reduce the influence of the shooting environment such as indoor lighting, the cut out ROI image is converted from the RGB color space to the HSV color space, the brightness (Value) is deleted, and then again. , Converted to RGB color space. By doing so, it is possible to extract data that is not affected by the shooting environment such as indoor lighting, and thus it is possible to further improve the accuracy of evaluation of autonomic nervous system activity.
なお、本実施形態において示した形状等はあくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本実施形態においては、ＲＯＩ画像の色相の閾値処理を行う例を示したが、この処理を設けなくとも良い。しかしながら、設けた方がより室内の照明等撮影環境に左右されないデータを抽出することができるため、好ましい。 The shape and the like shown in the present embodiment are merely examples, and various modifications and changes can be made within the scope of the gist of the present invention described in the claims. For example, in the present embodiment, an example of performing the hue threshold processing of the ROI image is shown, but this processing may not be provided. However, it is preferable to provide it because it is possible to extract data that is less affected by the shooting environment such as indoor lighting.
また、本実施形態においては、人体Ｍの動画像データをカメラ２にて撮像する例を示したが、静止画データでも良い。しかしながら、人体Ｍの動画像データをカメラ２にて撮像するのが好ましい。動画像データを撮像すれば、各ＲＧＢの画素値の平均値に基づいて、Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）値を導出することができ、もって、ノイズ等の影響を低減させた信頼性の高いデータを導出することができるためである。これにより、自律神経系活動の評価の精度をより高めることができる。なお、動画像データを用いることにより、３秒毎の平均値を導出することができ、もって、リアルタイムに値を導出することが可能となる。このようにすれば、心電図を用いてリアルタイムに自律神経系活動の評価を行うとすれば、１分毎のデータでしか評価することができなかったが、動画像データを用いることにより、３秒毎のデータで評価することが可能となる。 Further, in the present embodiment, an example in which the moving image data of the human body M is captured by the camera 2 is shown, but still image data may be used. However, it is preferable to capture the moving image data of the human body M with the camera 2. By imaging the moving image data, the G (Green) / B (Blue) value can be derived based on the average value of the pixel values of each RGB, and the reliability is reduced by reducing the influence of noise and the like. This is because high data can be derived. As a result, the accuracy of evaluation of autonomic nervous system activity can be further improved. By using the moving image data, it is possible to derive the average value every 3 seconds, and thus it is possible to derive the value in real time. In this way, if the autonomic nervous system activity was evaluated in real time using an electrocardiogram, it could only be evaluated with data every minute, but by using moving image data, it took 3 seconds. It is possible to evaluate with each data.
ところで、本実施形態においては、図２に示すように、１フレーム毎に処理をする例を示したが、移動平均を用いれば、最初の３秒間の処理（９０フレームの処理）が終われば、それ以降の処理は、１フレーム毎のサンプリングで算出すること可能となる。 By the way, in the present embodiment, as shown in FIG. 2, an example in which processing is performed for each frame is shown, but if a moving average is used, if the processing for the first 3 seconds (processing of 90 frames) is completed, Subsequent processing can be calculated by sampling for each frame.
また、本実施形態においては、ＲＯＩ画像として、人体Ｍの頬を切り出す例を示したが、それに限らず、鼻部、手、足等、人体Ｍの中で毛細血管が多いとされる部分を切り出すようにすれば良い。しかして、このように毛細血管が多いとされる部分を切り出すことにより、毛細血管の動きをより正確に判断することが可能となり、もって、自律神経系活動の評価の精度をより高めることができることとなる。 Further, in the present embodiment, an example in which the cheek of the human body M is cut out is shown as an ROI image, but the present invention is not limited to this, and parts such as the nose, hands, and feet that are considered to have many capillaries in the human body M are shown. You can cut it out. By cutting out the portion where there are many capillaries in this way, it becomes possible to judge the movement of the capillaries more accurately, and thus the accuracy of the evaluation of the autonomic nervous system activity can be further improved. It becomes.
また、本実施形態においては、顔検出のアルゴリズムの一手法である、Ｈａａｒ−ｌｉｋｅ特徴量等を用いた顔検出アルゴリズムを用いた例を示したが、それに限らず、機械学習ライブラリのＤｌｉｂを用いて検出するようにしても良い。また、目の検出にあたっては、輝度値を用いて行うことができる。すなわち、虹彩と強膜は、色や輝度値から見て大きく差がある部分であるため、小さい矩形領域を用いて、中心線から左右の輝度値の総和を導出し、差が大きいところを見て、虹彩と強膜の境界を検出するようにする。そして、虹彩は、ある程度大きさが一定という特徴があることから、色の閾値処理で黒部分のみを導出し、面積を用いて黒目を検出することにより、目の検出を行うことができる。また、二次元画像であれば、目は円形状であるから、形状を導出するハフ変換を用いることにより、円形部分を検出することができ、もって、目の検出を行うことができる。さらに、唇の検出にあたっては、唇は赤みを帯びている為、色の閾値処理である程度の位置を導出し、上唇の山部分の輝度値が低いことを用いて唇の中央を検出することにより、唇の検出を行うことができる。 Further, in the present embodiment, an example using a face detection algorithm using a Har-like feature amount, which is one method of the face detection algorithm, is shown, but the present invention is not limited to this, and Dlib of the machine learning library is used. May be detected. In addition, the brightness value can be used to detect the eyes. That is, since the iris and sclera are parts where there is a large difference in terms of color and brightness value, the sum of the left and right brightness values is derived from the center line using a small rectangular area, and the place where the difference is large is seen. To detect the boundary between the iris and the sclera. Since the iris has a characteristic that the size is constant to some extent, the eye can be detected by deriving only the black portion by the color threshold processing and detecting the black eye using the area. Further, in the case of a two-dimensional image, since the eyes are circular, the circular portion can be detected by using the Hough transform for deriving the shape, and the eyes can be detected. Furthermore, when detecting the lips, since the lips are reddish, a certain position is derived by color threshold processing, and the center of the lips is detected by using the low brightness value of the mountain part of the upper lip. , Lips can be detected.
また、本実施形態においては、カメラ２と画像処理装置３を別々に設ける例を示したが、それに限らず、画像処理装置３にカメラ２を内蔵し、一体にしても良い。 Further, in the present embodiment, an example in which the camera 2 and the image processing device 3 are separately provided is shown, but the present invention is not limited to this, and the camera 2 may be built in the image processing device 3 and integrated.
１ 自律神経系活動評価装置
２ カメラ
３ 画像処理装置
３０ ＣＰＵ
Ｍ 人体
ＭＫ 顔領域
ＭＨ 皮膚
ＭＨａ 表皮
ＭＨｂ 真皮
ＭＨｃ 皮下組織
ＬＢ 青色の光
ＬＧ 緑色の光
ＬＲ 赤色の光
1 Autonomic nervous system activity evaluation device 2 Camera 3 Image processing device 30 CPU
M Human body MK Face area MH Skin MH Epidermis MHb Dermis MHc Subcutaneous tissue LB Blue light LG Green light LR Red light
Claims (4)
前記カメラにて撮像された人体の画像データを取得する画像データ取得手段と、
前記画像データ取得手段にて取得した前記人体の画像データの一部を切り出す切り出し手段と、
前記切り出し手段にて切り出した前記人体の画像データの一部におけるＲＧＢの画素値を算出する算出手段と、
前記算出手段にて算出したＲＧＢの画素値に基づいて、Ｇ／Ｂ値を導出する導出手段と、を有してなる自律神経系活動評価装置。 A camera that can image the human body and
An image data acquisition means for acquiring image data of a human body captured by the camera, and
A cutting means for cutting out a part of the image data of the human body acquired by the image data acquiring means, and
A calculation means for calculating RGB pixel values in a part of the image data of the human body cut out by the cutting means, and
An autonomic nervous system activity evaluation device comprising a derivation means for deriving a G / B value based on an RGB pixel value calculated by the calculation means.
前記第１変換手段にて変換したＨＳＶ色空間のうち、輝度（Ｖ）を削除する削除手段と、
前記削除手段にて輝度（Ｖ）を削除したＨＳＶ色空間をＲＧＢ色空間に変換する第２変換手段と、をさらに有し、
前記算出手段は、前記第２変換手段にて変換したＲＧＢ色空間におけるＲＧＢの画素値を算出してなる請求項１又は２に記載の自律神経系活動評価装置。 As a first conversion means for converting the RGB color space in a part of the image data of the human body cut out by the cutting means into an HSV color space expressed by hue (H), saturation (S) and brightness (V). ,
Of the HSV color space converted by the first conversion means, a deletion means for deleting the luminance (V) and
Further, it has a second conversion means for converting the HSV color space in which the luminance (V) is deleted by the deletion means into the RGB color space.
The autonomic nervous system activity evaluation device according to claim 1 or 2, wherein the calculation means calculates RGB pixel values in the RGB color space converted by the second conversion means.
前記画像データ取得手段は、前記カメラにて撮像された前記人体の動画の画像データを取得し、
前記算出手段は、前記切り出し手段にて切り出した前記人体の画像データの一部における各ＲＧＢの画素値の平均値を算出し、
前記導出手段は、前記算出手段にて算出した各ＲＧＢの画素値の平均値に基づいて、Ｇ／Ｂ値を導出してなる請求項１〜３の何れか１項に記載の自律神経系活動評価装置。
The camera captures a moving image of the human body and
The image data acquisition means acquires image data of a moving image of the human body captured by the camera, and obtains image data.
The calculation means calculates the average value of the pixel values of each RGB in a part of the image data of the human body cut out by the cutting means.
The autonomic nervous system activity according to any one of claims 1 to 3, wherein the derivation means derives a G / B value based on the average value of the pixel values of each RGB calculated by the calculation means. Evaluation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019099023A JP7106126B2 (en) | 2019-05-28 | 2019-05-28 | Autonomic nervous system activity evaluation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019099023A JP7106126B2 (en) | 2019-05-28 | 2019-05-28 | Autonomic nervous system activity evaluation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020192053A true JP2020192053A (en) | 2020-12-03 |
| JP7106126B2 JP7106126B2 (en) | 2022-07-26 |
Family
ID=73548613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019099023A Active JP7106126B2 (en) | 2019-05-28 | 2019-05-28 | Autonomic nervous system activity evaluation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7106126B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002259968A (en) * | 2001-03-01 | 2002-09-13 | Matsushita Electric Ind Co Ltd | Color extracting method and color extracting device |
| JP2016190022A (en) * | 2015-03-30 | 2016-11-10 | 国立大学法人東北大学 | Biological information measuring device, biological information measuring method, biological information display device and biological information display method |
| JP2016193021A (en) * | 2015-03-31 | 2016-11-17 | 株式会社エクォス・リサーチ | Pulse wave detection device and pulse wave detection program |
| WO2018088358A1 (en) * | 2016-11-10 | 2018-05-17 | シャープ株式会社 | Pulse wave detection device, image analysis device, and vital sign information generating system |
| JP2019000474A (en) * | 2017-06-16 | 2019-01-10 | グローリー株式会社 | Pulse period detection device, pulse period detection method, pulse period detection program, and pulse wave detection device |
-
2019
- 2019-05-28 JP JP2019099023A patent/JP7106126B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002259968A (en) * | 2001-03-01 | 2002-09-13 | Matsushita Electric Ind Co Ltd | Color extracting method and color extracting device |
| JP2016190022A (en) * | 2015-03-30 | 2016-11-10 | 国立大学法人東北大学 | Biological information measuring device, biological information measuring method, biological information display device and biological information display method |
| JP2016193021A (en) * | 2015-03-31 | 2016-11-17 | 株式会社エクォス・リサーチ | Pulse wave detection device and pulse wave detection program |
| WO2018088358A1 (en) * | 2016-11-10 | 2018-05-17 | シャープ株式会社 | Pulse wave detection device, image analysis device, and vital sign information generating system |
| JP2019000474A (en) * | 2017-06-16 | 2019-01-10 | グローリー株式会社 | Pulse period detection device, pulse period detection method, pulse period detection program, and pulse wave detection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7106126B2 (en) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230190180A1 (en) | Enhancing pigmentation in dermoscopy images | |
| US10004410B2 (en) | System and methods for measuring physiological parameters | |
| JP4214420B2 (en) | Pupil color correction apparatus and program | |
| KR101738278B1 (en) | Emotion recognition method based on image | |
| CN111933275B (en) | Depression evaluation system based on eye movement and facial expression | |
| KR101853006B1 (en) | Recognition of Face through Detecting Nose in Depth Image | |
| US20180303351A1 (en) | Systems and methods for optimizing photoplethysmograph data | |
| KR100922653B1 (en) | Pupil color correction device and recording medium | |
| KR101752560B1 (en) | Oxygen saturation measuring method using image and computer readable storage medium of recording oxygen saturation measuring method using image | |
| CN111414785A (en) | Identification system and identification method | |
| Chatterjee et al. | Image analysis on fingertip video to obtain PPG | |
| Jensen et al. | Camera-based heart rate monitoring | |
| KR100515798B1 (en) | Robot driving method using facial gestures | |
| JP7106126B2 (en) | Autonomic nervous system activity evaluation device | |
| US20200155008A1 (en) | Biological information detecting apparatus and biological information detecting method | |
| JP2005242535A (en) | Image correction device | |
| Liu et al. | A new approach for face detection based on photoplethysmographic imaging | |
| TW201803522A (en) | Image processing method and non-transitory computer readable medium | |
| Ahmed et al. | Automatic Region of Interest Extraction from Finger Nail Images for Measuring Blood Hemoglobin Level | |
| Chen et al. | The development of a skin inspection imaging system on an Android device | |
| CN109770885A (en) | A kind of examing heartbeat fastly method based on preview frame | |
| King | Heart Rate Estimation by Video-Based Reflec-tance Photoplethysmography | |
| Kim et al. | The non-contact biometric identified bio signal measurement sensor and algorithms | |
| Rovira et al. | Tele-detection system for the automatic sensing of the state of the cardiovascular functions in situ | |
| KR20200001877A (en) | Heart rate monitoring method that can identify the user and heart rate monitoring system that can identify the user |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190618 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190807 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220706 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7106126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |