JP2021115305A - Moving image compression device, detection device, moving image compression program, and detection program - Google Patents
Moving image compression device, detection device, moving image compression program, and detection program Download PDFInfo
- Publication number
- JP2021115305A JP2021115305A JP2020011578A JP2020011578A JP2021115305A JP 2021115305 A JP2021115305 A JP 2021115305A JP 2020011578 A JP2020011578 A JP 2020011578A JP 2020011578 A JP2020011578 A JP 2020011578A JP 2021115305 A JP2021115305 A JP 2021115305A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection
- moving image
- image data
- pulse wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 247
- 230000006835 compression Effects 0.000 title claims abstract description 101
- 238000007906 compression Methods 0.000 title claims abstract description 101
- 230000008859 change Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 35
- 238000005259 measurement Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 abstract description 55
- 239000000284 extract Substances 0.000 abstract description 7
- 230000002427 irreversible effect Effects 0.000 abstract description 4
- 230000002441 reversible effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
Abstract
Description
本発明は、動画圧縮装置、検出装置、動画圧縮プログラム、及び、検出プログラムに関し、例えば、遠隔で脈波を観察するものに関する。 The present invention relates to a moving image compression device, a detecting device, a moving image compression program, and a detection program, for example, for observing a pulse wave remotely.
脈波は健康状態を確認するうえで極めて重要であり、医療現場では日常的に患者の脈波の測定が行われている。
これら医療現場では、病院まで出かけてきた患者を脈波測定室のベッドに安静に寝かせた状態で胸部や上下肢部に電極を取り付け、高価で大がかりな装置で脈波を検出して紙など媒体に記録している。
脈波を測定した後、患者は待合室で待機した後、診察室に移動して、医師と対面しながら説明を受ける。
The pulse wave is extremely important for confirming the health condition, and the pulse wave of the patient is measured on a daily basis in the medical field.
In these medical settings, electrodes are attached to the chest and upper and lower limbs while the patient who has gone to the hospital is rested on the bed in the pulse wave measurement room, and the pulse wave is detected by an expensive and large-scale device and used as a medium such as paper. It is recorded in.
After measuring the pulse wave, the patient waits in the waiting room and then moves to the examination room to receive an explanation while facing the doctor.
このように、従来の脈波診断には、患者に大きな負担がかかり、これを如何に軽減するかが課題となっていた。
これに対する解決策として、通信ネットワークを介して、患者の脈波を観察することが考えられる。
As described above, the conventional pulse wave diagnosis imposes a heavy burden on the patient, and how to reduce this has been an issue.
As a solution to this, it is conceivable to observe the patient's pulse wave via a communication network.
これを可能にする技術として、例えば、特許文献１の「脈波検出装置、脈波検出方法、及び脈波検出プログラム」がある。
この技術は、携帯端末のインカメラで利用者が自分の顔を撮影し、その画像から脈波を検出するものであり、脈波検出装置をＷｅｂサーバなどに実装可能な旨記載されている。
As a technique that makes this possible, for example, there is "Pulse wave detection device, pulse wave detection method, and pulse wave detection program" of Patent Document 1.
It is described that this technology allows a user to take a picture of his / her face with an in-camera of a mobile terminal and detect a pulse wave from the image, and that a pulse wave detection device can be mounted on a Web server or the like.
しかし、顔の映像を伝送して脈波を検出する場合、カメラで撮影した映像データ（顔データ）を圧縮するが、圧縮方法によって、映像データが潰れて脈波の抽出が困難になるという問題があった。
特に、医療現場で用いる場合は、様々な通信環境にある患者に対して主治医がリアルタイムで診断するため、脈波のデータを損なわずに映像を圧縮する技術が必要である。
However, when transmitting a face image and detecting a pulse wave, the image data (face data) taken by the camera is compressed, but the problem is that the image data is crushed and it becomes difficult to extract the pulse wave depending on the compression method. was there.
In particular, when used in the medical field, since the attending physician diagnoses patients in various communication environments in real time, a technique for compressing images without damaging pulse wave data is required.
本発明は、脈波の情報を保持しつつ、対象者を撮影した画像を圧縮することを目的とする。 An object of the present invention is to compress an image of a subject while retaining pulse wave information.
（１）請求項１に記載の発明では、脈波測定の対象者を撮影した動画を取得する動画取得手段と、前記取得した動画のフレーム画像において、前記対象者の皮膚が写っている箇所に脈波の検出領域を設定する検出領域設定手段と、前記設定した検出領域以外の非検出領域画像を所定の圧縮率で圧縮し、前記設定した検出領域に含まれる検出領域画像を非圧縮又は前記非検出領域よりも低い圧縮率で圧縮する圧縮手段と、前記圧縮した画像データの動画を出力する動画出力手段と、を具備したことを特徴とする動画圧縮装置を提供する。
（２）請求項２に記載の発明では、前記圧縮手段は、前記設定した検出領域に含まれる検出領域画像を、脈波の検出に用いる皮膚部分の物理量が脈波検出用に復元可能な圧縮率で圧縮する、ことを特徴とする請求項１に記載の動画圧縮装置を提供する。
（３）請求項３に記載の発明では、前記圧縮手段は、前記検出領域画像を可逆圧縮する、ことを特徴とする請求項１又は請求項２に記載の動画圧縮装置を提供する。
（４）請求項４に記載の発明では、前記圧縮手段で圧縮した画像データの動画を復元する復元手段と、前記復元した動画の画像データによる、前記検出領域画像に写っている対象者の皮膚の部分の物理両の変化によって脈波を検出する検出手段と、を具備したことを特徴とする請求項１、請求項２、又は請求項３に記載の動画圧縮装置を提供する。
（５）請求項５に記載の発明では、前記動画出力手段は、前記圧縮した画像データの動画を検出装置に動画送信する、ことを特徴とする請求項１から請求項４のうちの何れか１の請求項に記載の動画圧縮装置を提供する。
（６）請求項６に記載の発明では、前記動画出力手段は、前記検出領域の画像データと前記非検出領域の画像データと、を対応づけて送信することを特徴とする請求項５に記載の動画圧縮装置を提供する。
（７）請求項７に記載の発明では、請求項５、又は請求項６に記載の動画圧縮装置が送信した動画から、前記検出領域における非圧縮の検出領域画像を取得する画像取得手段と、前記取得した非圧縮の検出領域画像に写っている対象者の皮膚部分の物理量の変化によって脈波を検出する検出手段と、前記検出した脈波を出力する出力手段と、を具備したことを特徴とする検出装置を提供する。
（８）請求項８に記載の発明では、圧縮された画像データの動画を復元する復元手段を備え、前記画像取得手段は、前記取得した検出領域の画像データが圧縮されている場合には、前記復元手段で復元された前記検出領域における非圧縮の検出領域画像を取得する、ことを特徴とする請求項７に記載の検出装置を提供する。
（９）請求項９に記載の発明では、前記画像取得手段は、前記動画から、前記検出領域画像よりも高い圧縮率で圧縮した非検出領域の画像データを取得し、前記復元手段は、前記取得した非検出領域の画像データを復元し、前記復元した画像データによる非検出領域画像に、前記非圧縮の検出領域画像を組み合わせた動画表示用のフレーム画像を生成するフレーム画像生成手段と、前記生成したフレーム画像による動画を表示する表示手段と、を具備したことを特徴とする請求項７、又は請求項８に記載の検出装置を提供する。
（１０）請求項１０に記載の発明では、前記画像取得手段は、個別の前記検出領域の画像データと、前記非検出領域の画像データから、それぞれ、前記検出領域画像と、前記非検出領域画像を取得する、ことを特徴とする請求項９記載の検出装置を提供する。
（１１）請求項１１に記載の発明では、単一の画像データに含まれる検出領域の画像データと非検出領域の画像データを識別する識別手段を具備し、前記画像取得手段は、前記識別した検出領域の画像データと非検出領域の画像データから前記検出領域画像と、前記非検出領域画像を取得する、ことを特徴とする請求項９に記載の検出装置を提供する。
（１２）請求項１２に記載の発明では、脈波測定の対象者を撮影した動画を取得する動画取得機能と、前記取得した動画のフレーム画像において、前記対象者の皮膚が写っている箇所に脈波の検出領域を設定する検出領域設定機能と、前記設定した検出領域以外の非検出領域画像を所定の圧縮率で圧縮し、前記設定した検出領域に含まれる検出領域画像を非圧縮又は前記非検出領域よりも低い圧縮率で圧縮する圧縮機能と、前記圧縮した画像データの動画を出力する動画出力機能と、をコンピュータに実現させる動画圧縮プログラムを提供する。
（１３）請求項１３に記載の発明では、請求項５、又は請求項６に記載の動画圧縮装置が送信した動画から、前記検出領域における非圧縮の検出領域画像を取得する画像取得機能と、前記取得した非圧縮の検出領域画像に写っている対象者の皮膚部分の物理量の変化によって脈波を検出する検出機能と、前記検出した脈波を出力する出力機能と、をコンピュータに実現させる検出プログラムを提供する。
(1) In the invention according to claim 1, the moving image acquisition means for acquiring a moving image of a target person for pulse wave measurement and the frame image of the acquired moving image show the skin of the target person. A detection area setting means for setting a pulse wave detection area and a non-detection area image other than the set detection area are compressed at a predetermined compression rate, and the detection area image included in the set detection area is uncompressed or described above. Provided is a moving image compression device including a compression means for compressing at a compression rate lower than that of a non-detection region and a moving image output means for outputting a moving image of the compressed image data.
(2) In the invention according to
(3) In the invention according to claim 3, the compression means provides the moving image compression device according to
(4) In the invention according to claim 4, the restoration means for restoring the moving image of the image data compressed by the compression means and the skin of the subject reflected in the detection region image by the image data of the restored moving image. The moving image compression device according to claim 1,
(5) In the invention according to claim 5, any one of claims 1 to 4, wherein the moving image output means transmits a moving image of the compressed image data to a detection device. The moving image compression device according to claim 1 is provided.
(6) The invention according to claim 6, wherein the moving image output means transmits the image data of the detection area and the image data of the non-detection area in association with each other. Provides a video compression device.
(7) In the invention according to
(8) The invention according to claim 8 includes a restoration means for restoring a moving image of compressed image data, and the image acquisition means is used when the image data in the acquired detection region is compressed. The detection device according to
(9) In the invention according to claim 9, the image acquisition means acquires image data of a non-detection region compressed at a compression rate higher than that of the detection region image from the moving image, and the restoration means is said. A frame image generation means for restoring the acquired image data of the non-detection region and generating a frame image for displaying a moving image by combining the non-detection region image based on the restored image data with the uncompressed detection region image, and the above. The detection device according to
(10) In the invention according to claim 10, the image acquisition means obtains the detection region image and the non-detection region image from the individual image data of the detection region and the image data of the non-detection region, respectively. The detection device according to claim 9, wherein the detection device is obtained.
(11) The invention according to claim 11 includes identification means for discriminating between image data in a detection region and image data in a non-detection region included in a single image data, and the image acquisition means has identified the identification. The detection device according to claim 9, wherein the detection region image and the non-detection region image are acquired from the image data of the detection region and the image data of the non-detection region.
(12) In the invention according to claim 12, a moving image acquisition function for acquiring a moving image of a target person for pulse wave measurement and a position where the skin of the target person is reflected in a frame image of the acquired moving image. A detection area setting function that sets a pulse wave detection area and a non-detection area image other than the set detection area are compressed at a predetermined compression rate, and the detection area image included in the set detection area is uncompressed or described above. Provided is a moving image compression program that enables a computer to realize a compression function that compresses at a compression rate lower than that of a non-detection area and a moving image output function that outputs a moving image of the compressed image data.
(13) In the invention according to claim 13, an image acquisition function for acquiring an uncompressed detection area image in the detection area from a moving image transmitted by the moving image compression device according to claim 5 or 6. Detection that allows a computer to realize a detection function that detects a pulse wave based on a change in the physical quantity of the skin portion of the subject shown in the acquired uncompressed detection region image and an output function that outputs the detected pulse wave. Provide a program.
本発明によれば、検出領域の画像を抽出して脈波検出可能に圧縮するため、脈波の情報を保持しつつ、対象者を撮影した画像を圧縮することができる。 According to the present invention, since the image of the detection region is extracted and compressed so that the pulse wave can be detected, the image of the subject can be compressed while retaining the pulse wave information.
（１）実施形態の概要
脈波検出装置は、動画圧縮装置として機能する動画送信装置７１と検出装置８１を備えている。
動画送信装置７１は、対象者７０の顔を撮影し、その画像データから顔領域を抽出する。そして、動画送信装置７１は、顔領域の画像データを可逆圧縮し、顔以外の領域の画像データを非可逆圧縮して検出装置８１に送信する。
検出装置８１は、動画送信装置７１から顔領域の画像を受信してこれを伸張し、情報の損失のない状態で顔領域の画像を復元する。そして、検出装置８１は、復元した顔領域の画像に写っている対象者７０の皮膚の色の変化から脈波を検出する。
更に、顔以外の領域の画像データも復元し、顔領域と顔以外の領域の画像を表示装置８６に表示する。
(1) Outline of Embodiment The pulse wave detection device includes a
The moving
The
Further, the image data of the region other than the face is also restored, and the image of the face region and the region other than the face is displayed on the
実施の形態では、動画送信装置７１は、顔領域の圧縮画像データと、顔以外の領域の圧縮画像データを個別に生成する。一方、変形例では、１つの画像データで顔領域を可逆圧縮し、顔以外の領域を非可逆圧縮する。
このようにして、動画送信装置７１と検出装置８１は、脈波の検出に必要な動画の画質を担保しつつ、動画の伝送に要する帯域幅を節減することができる。
なお、顔領域の画像データについては可逆圧縮をしているが、伸張後の画像データが脈波信号を検出可能な圧縮率（脈波の検出に用いる色成分が脈波検出用に復元可能な圧縮率）であれば、顔領域の画像データを非可逆圧縮をするようにしてもよい。この場合、顔以外の領域に対する圧縮率（非可逆）は、顔領域の圧縮率（非可逆）よりも大きくすることで、より動画データの送信量を低減することが可能である。
In the embodiment, the moving
In this way, the moving
Although the image data in the face region is losslessly compressed, the compressed image data after expansion can detect the pulse wave signal (the color component used for detecting the pulse wave can be restored for pulse wave detection). If it is (compression rate), the image data in the face region may be irreversibly compressed. In this case, by making the compression rate (irreversible) for the region other than the face larger than the compression rate (irreversible) for the face region, it is possible to further reduce the transmission amount of the moving image data.
（２）実施形態の詳細
図１（ａ）は、第１実施形態に係る脈波検出システムで用いる動画送信装置７１のハードウェア的な構成を示した図である。本実施形態の脈波検出システムは、動画圧縮装置として機能する動画送信装置７１と検出装置８１を備え、動画送信装置７１は動画取得手段、検出領域設定手段、圧縮手段として機能、検出装置８１は復元手段、検出手段として機能する。
動画送信装置７１は、対象者７０の顔を動画撮影し、動画データの各フレームから顔領域を抽出し、抽出した顔領域の画像データを可逆圧縮（又は所定圧縮率以下の圧縮率で非可逆圧縮）すると共に顔以外の領域の画像データを非可逆圧縮して出力する、動画圧縮装置として機能する。また、動画送信装置７１は、更に、出力した顔画領域の圧縮画像データと顔以外の圧縮データを、皮膚の色成分の変化に基づいて脈波を検出する検出装置８１に送信することで、動画送信装置としても機能している。
(2) Details of the Embodiment FIG. 1A is a diagram showing a hardware configuration of the moving
The moving
動画送信装置７１は、脈波の検出対象である対象者７０（在宅の患者など）を動画撮影して、その映像（時系列的に連続する一連のフレーム画像）を圧縮して検出装置８１に送信するコンピュータである。
動画送信装置７１は、例えば、カメラ付きの携帯電話、ウェブカメラを備えたパーソナルコンピュータ、あるいは、情報通信機器に慣れていないユーザでも簡単に操作できるように設計した専用機などで構成されている。
The moving
The
図１（ａ）に示したように、動画送信装置７１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７４、通信制御部７５、カメラ７６、記憶部７７などから構成されている。
As shown in FIG. 1A, the moving
ＣＰＵ７２は、記憶部７７が記憶する動画送信プログラム７８やＲＯＭ７３が記憶するプログラムなどに従って、各種の情報処理や制御を行う中央処理装置である。
本実施形態では、カメラ７６が撮影した対象者７０の動画を圧縮処理して検出装置８１に送信する。
動画撮影は、対象者７０が普段過ごしている生活環境で行うことを想定しているため、日照や室内灯などによる可視光の下で行うが、災害現場など、照明が困難な環境では、赤外線を用いることも可能である。
The
In the present embodiment, the moving image of the
Since it is assumed that the video recording is performed in the living environment where the subject 70 normally spends, it is performed under visible light such as sunlight or indoor lights, but in an environment where lighting is difficult such as a disaster site, infrared rays are used. It is also possible to use.
ＲＯＭ７３は、読み取り専用メモリであって、動画送信装置７１を動作させるための基本的なプログラムやパラメータなどを記憶している。
ＲＡＭ７４は、読み書きが可能なメモリであって、ＣＰＵ７２が動作する際のワーキングメモリを提供する。
本実施形態では、動画を構成するフレーム画像（１コマの静止画像）の画像データを展開して記憶したり、これを圧縮したりなど、ＣＰＵ７２が、脈波検出のための動画のフレーム画像を検出装置８１に送信するのを支援する。
The
The
In the present embodiment, the
カメラ７６は、動画撮影カメラであって、レンズで構成された光学系と、これによって結像した像を電気信号に変換する画像素子を用いて構成されている。
検出装置８１は、皮膚の色の変化から脈波を検出するため、対象者７０の皮膚の部分であれば任意の箇所を撮影することが可能であるが、本実施形態では、顔領域を検出領域に設定するため、対象者７０は、カメラ７６で自分の顔を撮影する。
The
Since the
カメラ７６は、対象者７０の顔を所定のフレームレートで動画撮影し、これによって時系列的に連続する連続するフレーム画像を逐次生成する。
このように、動画送信装置７１は、脈波測定の対象者を撮影した動画を取得する動画取得手段を備えている。
The
As described above, the moving
カメラ７６で撮影した動画は、動画送信装置７１のＣＰＵ７２が検出装置８１に動画送信する。
本実施形態では、対象者７０の脈波を医師がリアルタイムで確認をすることを想定しているため、当該動画送信は、後述の圧縮した顔領域（検出領域）と顔以外の領域（以下、顔以外領域）の画像データを例えばストリーミング送信用にエンコードして逐次送信することにより行う。
このように、動画送信装置７１は、圧縮した検出領域の画像データを検出装置８１に動画送信する動画送信手段を備えている。
なお、動画送信装置７１から動画をフレーム毎に圧縮し、リアルタイムで検出装置８１に送信したが、動画送信装置７１で対象者７０のフレーム毎に圧縮した動画を録画しておき、圧縮した動画ファイルを一括して検出装置８１に送信するように構成することもできる。
The
In the present embodiment, since it is assumed that the doctor confirms the pulse wave of the subject 70 in real time, the moving image transmission is performed in the compressed face region (detection region) and the region other than the face (hereinafter, referred to as the face region) described later. This is performed by encoding the image data of the area other than the face) for, for example, streaming transmission and sequentially transmitting the image data.
As described above, the moving
The moving image was compressed frame by frame from the moving
通信制御部７５は、動画送信装置７１をインターネットなどの通信ネットワークに接続し、ＣＰＵ７２が画像データを検出装置８１に送信するのを仲介するインターフェースである。
The
記憶部７７は、ハードディスクやＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶媒体を用いて構成されており、ＣＰＵ７２がフレーム画像を圧縮したり、これをエンコードして送信したりするための動画送信プログラム７８やその他のプログラムを記憶している。
The
図１（ｂ）は、本実施形態に係る脈波検出システムで用いる検出装置８１のハードウェア的な構成を示した図である。
検出装置８１は、動画送信装置７１が動画送信してきた画像データを受信し、画像データの圧縮を伸張して得られる画像から対象者７０の脈波を検出するコンピュータである。
FIG. 1B is a diagram showing a hardware configuration of the
The
本実施形態では、一例として、検出装置８１を医師の診察室などに設置し、サーバ（例えば、ストリーミングサーバ）を経由して、動画送信装置７１が送信した動画を受信する構成とするが、検出装置８１をサーバ装置で構成し、担当者８０（医師など）が診察室の端末装置からブラウザを介して、サーバ装置（検出装置８１）が提供する脈波を観察する構成とすることもできる。
更に、災害現場での救助活動などでは、動画送信装置７１と検出装置８１を直接無線回線で接続することも可能である。
In the present embodiment, as an example, the
Further, in rescue activities at a disaster site, the moving
図１（ｂ）に示したように、検出装置８１は、ＣＰＵ８２、ＲＯＭ８３、ＲＡＭ８４、通信制御部８５、表示装置８６、記憶部８７などから構成されている。
ＣＰＵ８２は、記憶部８７が記憶する動画受信プログラム８８、脈波検出プログラム８９やＲＯＭ８３が記憶するプログラムなどに従って、画像の復元や脈波の検出など各種の情報処理や制御を行う中央処理装置である。
As shown in FIG. 1B, the
The
ＲＯＭ８３は、読み取り専用メモリであって、検出装置８１を動作させるための基本的なプログラムやパラメータなどを記憶している。
ＲＡＭ８４は、読み書きが可能なメモリであって、ＣＰＵ８２が動作する際のワーキングメモリを提供する。
本実施形態では、画像データの圧縮を伸張したり、脈波を検出したりなど、ＣＰＵ８２が、脈波を検出するのを支援する。
The
The
In the present embodiment, the
表示装置８６は、例えば、液晶ディスプレイで構成されており、動画送信装置７１が送信した動画や、当該動画から検出した脈波情報を表示する。
図の例では、担当者８０に対して、対象者７０のライブ映像に、脈拍数（図の例では７２）と脈波を重畳して表示している。
これによって、担当者８０は、遠隔にいる対象者７０の脈波をリアルタイムで観察し、診断することができる。
このように、検出装置８１は、検出した脈波を出力する出力手段を備えている。
The
In the example of the figure, the pulse rate (72 in the example of the figure) and the pulse wave are superimposed and displayed on the live image of the subject 70 for the person in
As a result, the person in
As described above, the
通信制御部８５は、検出装置８１をインターネットなどの通信ネットワークに接続する。
通信制御部８５は、ストリーミングサーバなどを経由して動画送信装置７１から送信される動画データを受信するのを仲介するインターフェースである。
The
The
記憶部８７は、ハードディスクやＥＥＰＲＯＭなどの記憶媒体を用いて構成されており、ＣＰＵ８２が動画データを受信してフレーム画像の圧縮を伸張するための動画受信プログラム８８や、エンコードした動画から脈波を検出する脈波検出プログラム８９などを記憶している。
The
図２は、動画送信装置７１が行う画像圧縮の方法を説明するための図である。
図２（ａ）に示した画像Ａは、動画撮影した圧縮前のフレーム画像の一例を示している。
動画送信装置７１は、フレーム画像において対象者７０の顔領域を画像認識処理によって検出し、当該検出した顔を含むように矩形の顔領域９１を設定する。
FIG. 2 is a diagram for explaining a method of image compression performed by the moving
The image A shown in FIG. 2A shows an example of an uncompressed frame image taken as a moving image.
The moving
この画像認識処理は、一般に用いられているものを使用する。後ほど検出装置８１が顔領域９１に含まれる皮膚の色の変化から脈波を検出するため、顔領域９１は、検出領域として機能している。
For this image recognition process, a commonly used one is used. Since the
なお、本実施形態では、顔領域９１を検出領域とするが、皮膚であれば脈波が検出できるため、顔領域９１以外の皮膚領域に検出領域を設定することもできる。
このように、動画送信装置７１は、動画のフレーム画像において、対象者の皮膚が写っている箇所に脈波の検出領域を設定する検出領域設定手段を備えている。
In the present embodiment, the
As described above, the moving
図２（ｂ）に示した画像Ｂは、画像Ａにおける顔領域９１の部分を示している。
動画送信装置７１は、画像Ａから顔領域９１を抽出して画像Ｂとする。そして、画像Ｂを可逆圧縮して、画像Ｂの圧縮データである圧縮画像データＢを生成する。
可逆圧縮するため、脈波の検出に用いる画像の色成分を情報量の損失なく圧縮することができ、画像Ｂの復元後に、当該画像Ｂから脈波を検出することができる。
Image B shown in FIG. 2B shows a portion of the
The moving
Since the lossless compression is performed, the color component of the image used for detecting the pulse wave can be compressed without loss of the amount of information, and the pulse wave can be detected from the image B after the restoration of the image B.
このように、動画送信装置７１は、検出領域に含まれる検出領域画像（顔領域９１）を、脈波の検出に用いる色成分が脈波検出用に復元可能な圧縮率で圧縮する圧縮手段を備えており、本実施形態では、検出領域画像を可逆圧縮する。
As described above, the moving
一方、動画送信装置７１から受信した圧縮画像データＢから、検出装置８１は、顔領域９１を情報量の損失なく完全に復元し、これに写っている顔領域９１の皮膚の色成分の変化から脈波を検出する。
On the other hand, from the compressed image data B received from the moving
このように、検出装置８１は、動画送信装置７１が送信した動画から、圧縮した検出領域の画像データを取得する画像取得手段と、当該取得した検出領域の画像データを復元する復元手段と、当該復元した画像データによる検出領域画像に写っている対象者の皮膚の色成分の変化によって脈波を検出する検出手段を備えている。
As described above, the
図２（ｃ）に示した画像Ｃは、画像Ａから画像Ｂを抽出した残りの領域（顔以外領域）の画像を示している。動画送信装置７１は、画像Ｂを抜き出した領域をマスクして（所定の値で埋めて）非可逆圧縮し、圧縮画像データＣを生成して検出装置８１に送信する。
The image C shown in FIG. 2C shows an image of the remaining region (region other than the face) obtained by extracting the image B from the image A. The moving
画像Ｃからは、脈波を検出しないため、非可逆圧縮によって圧縮率を高めて情報量が減っても脈波の検出には影響しない。
そして、画像Ｃを圧縮することにより、動画データの送信量を低減し、使用する帯域幅を節約することができる。
Since the pulse wave is not detected from the image C, even if the compression rate is increased by lossy compression and the amount of information is reduced, the detection of the pulse wave is not affected.
Then, by compressing the image C, the transmission amount of the moving image data can be reduced and the bandwidth used can be saved.
このように、動画送信装置７１の備える圧縮手段は、検出領域に含まれない非検出領域画像（顔以外領域）を、検出領域よりも高い圧縮率で非可逆圧縮し、動画送信手段は、当該非可逆圧縮した非検出領域の画像データを検出装置８１に動画送信する。
As described above, the compression means provided in the moving
これに対し、検出装置８１は、動画送信装置７１から圧縮画像データＣを受信すると、これを伸張して復元し、マスクの領域に画像Ｂをはめ込んだフレーム画像によって画像Ａによる動画を表示する。
On the other hand, when the
このように、検出装置８１が備える画像取得手段は、動画から検出領域画像よりも高い圧縮率で圧縮した非検出領域（顔以外領域）の画像データを取得し、復元手段は、当該取得した非検出領域の画像データを復元する。
更に、検出装置８１は、復元した画像データによる非検出領域画像に、復元した検出領域画像を組み合わせた動画表示用のフレーム画像を生成するフレーム画像生成手段と、当該生成したフレーム画像による動画を表示する表示手段を備えている。
As described above, the image acquisition means included in the
Further, the
以上のように、動画送信装置７１は、画像Ｂについては可逆圧縮するが、検出装置８１が脈波を検出できれば良いので、脈波信号が検出できる程度に画像Ｂを非可逆圧縮して、更に、動画データの送信量を低減することも可能である。
なお、画像Ｂ以外の領域に対する圧縮率（非可逆）は、顔領域の圧縮率（非可逆）よりも大きくすることで、より動画データの送信量を低減することが可能である。
As described above, the moving
By making the compression rate (irreversible) for the region other than the image B larger than the compression rate (lossy) for the face region, it is possible to further reduce the transmission amount of the moving image data.
図３は、動画送信装置７１が行う動画の送信処理を説明するためのフローチャートである。
以下の処理は、動画送信装置７１のＣＰＵ７２が動画送信プログラム７８に従って行うものである。
まず、ＣＰＵ７２は、カメラ７６を駆動して動画の撮影を開始する（ステップ５０５）。
そして、ＣＰＵ７２は、カメラ７６が撮影した画像Ａの画像データＡを取得してＲＡＭ７４に記憶する（ステップ５１０）。
次に、ＣＰＵ７２は、ＲＡＭ７４に記憶した画像データＡの圧縮処理を行って、圧縮画像データＢ、Ｃを生成し、ＲＡＭ７４に記憶する（ステップ５１５）。
FIG. 3 is a flowchart for explaining a moving image transmission process performed by the moving
The following processing is performed by the
First, the
Then, the
Next, the
次に、ＣＰＵ７２は、通信制御部７５を介して、ＲＡＭ７４に記憶した圧縮画像データＢ、Ｃを検出装置８１に宛てて送信する（ステップ５２０）。
この際に、ＣＰＵ７２は、圧縮画像データＢ、Ｃを組にして送信するなど、検出装置８１が両者を対応づけて、これらから画像Ａを復元できるようにする。
このように、動画送信装置７１が備える動画送信手段は、検出領域の画像データと非検出領域の画像データと、を対応づけて送信する。
Next, the
At this time, the
As described above, the moving image transmitting means included in the moving
そして、ＣＰＵ７２は、送信処理を継続する場合は（ステップ５２５；Ｙ）、ステップ５１０に戻って、動画を構成する次の画像Ａについて同様の処理を行い、送信処理を継続しない場合は（ステップ５２５；Ｎ）、送信処理を終了する。
Then, when the
図４は、ステップ５１５の画像圧縮処理を説明するためのフローチャートである。
まず、ＣＰＵ７２は、ＲＡＭ７４に記憶した画像データＡから画像Ａを生成してこれを取得する（ステップ５５０）。
次に、ＣＰＵ７２は、顔認識によって対象者７０の顔領域９１を画像Ａで検出する（ステップ５５５）。
FIG. 4 is a flowchart for explaining the image compression process of step 515.
First, the
Next, the
次に、ＣＰＵ７２は、顔領域９１の画像を画像Ｂとして抽出し、画像Ｂを構成する画像データＢを可逆圧縮して圧縮画像データＢを生成する（ステップ５６０）。
そして、ＣＰＵ７２は、生成した圧縮画像データＢをＲＡＭ７４に保存する（ステップ５６５）。
Next, the
Then, the
次に、ＣＰＵ７２は、画像Ａに対して、顔領域９１の領域をマスク処理して画像Ｃを生成し、当該画像Ｃを構成する画像データＣをＲＡＭ７４に記憶する（ステップ５７０）。
そして、ＣＰＵ７２は、ＲＡＭ７４に記憶した画像データＣを非可逆圧縮して圧縮画像データＣを生成し（ステップ５７５）、これをＲＡＭ７４に保存する（ステップ５８０）。
Next, the
Then, the
図５は、検出装置８１が行う動画の受信処理を説明するためのフローチャートである。
以下の処理は、検出装置８１のＣＰＵ８２が動画受信プログラム８８に従って行うものである。
まず、ＣＰＵ８２は、通信制御部８５を介して圧縮画像データＢと圧縮画像データＣを受信してＲＡＭ８４に記憶する（ステップ６０５）。
FIG. 5 is a flowchart for explaining the moving image reception process performed by the
The following processing is performed by the
First, the
次に、ＣＰＵ８２は、ＲＡＭ８４に記憶した圧縮画像データＢを伸張して画像データＢを復元してＲＡＭ８４に記憶する（ステップ６１０）。
そして、ＣＰＵ８２は、ＲＡＭ８４に記憶した画像データＢで構成される画像Ｂを用いて脈波を検出する（ステップ６１５）。
Next, the
Then, the
脈波の検出は、次のように行った。
まず、画像Ｂは、ＲＧＢ色空間によって構成されているのに対し、検出装置８１は、これをＨＳＶ色空間に変換して皮膚領域を検出する。これは、ＨＳＶ色空間が皮膚の検出に適しているためである。
ここで、ＨＳＶ色空間において皮膚領域を検出する際に、例えば、予めＨ成分で用意してあるユーザの皮膚の色を用いて皮膚の部分を特定することが好ましい。Ｈ成分を使用して皮膚部分を特定することで、ロバスト性が向上するためである。
このように、検出装置８１は、動画において皮膚領域をＨＳＶ空間で検出することで、背景などの外乱要素を脈波検出対象から除外して良好に脈波を検出することができる。
The pulse wave was detected as follows.
First, the image B is composed of an RGB color space, whereas the
Here, when detecting the skin region in the HSV color space, it is preferable to specify the skin portion by using, for example, the user's skin color prepared in advance with the H component. This is because the robustness is improved by identifying the skin portion using the H component.
As described above, the
次に、検出装置８１は、ＲＧＢ色空間で構成された画像データをＹＩＱ色空間に変換し、皮膚領域のＱ値（Ｑ色成分の値：皮膚部分の物理量）をフーリエ変換することにより、Ｑ値の周波数成分を検出する。Ｑ成分を用いたのは、Ｑ成分が脈波の検出に適しているからである。
そして、検出装置８１は、各フレーム画像から出力した皮膚領域のＱ値を時系列的に（フレーム画像の順に）並べたもの（Ｑ値の時間変化）を脈波の波形とし、Ｑ値の周波数成分のピークの周波数を脈拍数として、これら脈波情報をＲＡＭ８４に記憶する。
なお、これは一例であって、ＲＧＢ色空間のＧ成分を皮膚部分の物理量として脈波を検出する方法や、ＲＧＢ色空間のＲＧＢ成分を皮膚部分の物理量として主成分分析または独立成分分析を用いて脈波を検出する方法等の皮膚から脈波を検出する他の技術を用いてもよい。また、皮膚部分の物理量として、皮膚部分の色成分に代えて、皮膚部分の輝度信号から脈波を検出するようにしてもよい。
Next, the
Then, the
This is just an example, and a method of detecting a pulse wave using the G component of the RGB color space as the physical quantity of the skin part and a principal component analysis or an independent component analysis of the RGB component of the RGB color space as the physical quantity of the skin part are used. Other techniques for detecting pulse waves from the skin, such as a method for detecting pulse waves, may be used. Further, as the physical quantity of the skin portion, the pulse wave may be detected from the luminance signal of the skin portion instead of the color component of the skin portion.
次に、ＣＰＵ８２は、画像復元処理を行って、顔領域９１と、顔領域９１以外の領域の画像によって構成されたフレーム画像を生成してＲＡＭ８４に記憶する（ステップ６２０）。
このように、画像取得手段は、個別の検出領域の画像データ（画像データＢ）と、非検出領域の画像データ（画像データＣ）から、それぞれ、検出領域画像（顔領域９１の画像）と、非検出領域画像（顔以外領域の画像）を取得する。
Next, the
As described above, the image acquisition means receives the detection region image (image of the face region 91) and the detection region image (image of the face region 91) from the image data (image data B) of the individual detection region and the image data (image data C) of the non-detection region, respectively. Acquires an undetected area image (an image of an area other than the face).
次に、ＣＰＵ８２は、ステップ６１５でＲＡＭ８４に記憶した脈波情報をＲＡＭ８４に記憶したフレーム画像に重畳し、これを用いて対象者７０の映像に脈波情報が重畳された動画を表示装置８６に表示する（ステップ６２５）。
Next, the
そして、ＣＰＵ８２は、受信処理を継続する場合は（ステップ６３０；Ｙ）、ステップ６０５に戻って、次の圧縮画像データＢ、Ｃについて同様の処理を行い、受信処理を継続しない場合は（ステップ６３０；Ｎ）、受信処理を終了する。
Then, when the
図６は、ステップ６２０の画像復元処理を説明するためのフローチャートである。
ＣＰＵ８２は、ＲＡＭ８４に記憶した圧縮画像データＣを伸張して画像データＣを復元し、これによって画像Ｃを生成する（ステップ６４０）。
次に、ＣＰＵ８２は、画像Ｃのマスク部分に画像Ｂを重畳してフレーム画像を生成し（ステップ６４５）、これをＲＡＭ８４に記憶してメインルーチンにリターンする。
FIG. 6 is a flowchart for explaining the image restoration process of step 620.
The
Next, the
（３）第２実施形態
説明した第１実施形態では、画像データＡから圧縮画像データＢと圧縮画像データＣを生成して、これら個別の圧縮画像データを検出装置８１に送信したが、本変形例では、画像データＡの顔領域９１を可逆圧縮し、顔以外領域を非可逆圧縮した単一の圧縮画像データを生成して検出装置８１に送信する。
なおこの変形例においても、画像データＡの顔用域９１について、それ以外の領域よりも圧縮率が低く、伸張後の画像データが脈波信号を検出可能な圧縮率（脈波の検出に用いる色成分が脈波検出用に復元可能な圧縮率）で、顔領域９１を非可逆圧縮するようにしてもよい。
単一の画像データで２種類の圧縮を行うため、動画送信装置７１は、画像Ａを複数のセルに分割し、顔領域９１を含むセルは可逆圧縮し、顔領域９１を含まないセルは非可逆圧縮する。
(3) Second Embodiment In the first embodiment described, compressed image data B and compressed image data C are generated from image data A, and these individual compressed image data are transmitted to the
Also in this modification, the compression rate of the
In order to perform two types of compression with a single image data, the moving
図７は、本変形例に係る動画送信装置７１が行う動画の送信処理を説明するためのフローチャートである。
まず、ＣＰＵ７２は、カメラ７６を駆動して動画の撮影を開始する（ステップ６６０）。
そして、ＣＰＵ７２は、カメラ７６が撮影した画像Ａの画像データＡを取得してＲＡＭ７４に記憶する（ステップ６６５）。
次に、ＣＰＵ７２は、ＲＡＭ７４に記憶した画像データＡの圧縮処理を行って、圧縮画像データを生成し、ＲＡＭ７４に記憶する（ステップ６７０）。
FIG. 7 is a flowchart for explaining a moving image transmission process performed by the moving
First, the
Then, the
Next, the
次に、ＣＰＵ７２は、通信制御部７５を介して、ＲＡＭ７４に記憶した圧縮画像データを検出装置８１に宛てて送信する（ステップ６７５）。
そして、ＣＰＵ７２は、送信処理を継続する場合は（ステップ６８０；Ｙ）、ステップ６６５に戻って、動画を構成する次の画像Ａについて同様の処理を行い、送信処理を継続しない場合は（ステップ６８０；Ｎ）、送信処理を終了する。
Next, the
Then, when the
図８は、ステップ６７０の画像圧縮処理を説明するためのフローチャートである。
まず、ＣＰＵ７２は、ＲＡＭ７４に記憶した画像データＡから画像Ａを生成してこれを取得する（ステップ７０５）。
次に、ＣＰＵ７２は、顔認識によって対象者７０の顔領域９１を画像Ａで検出する（ステップ７１０）。
FIG. 8 is a flowchart for explaining the image compression process of step 670.
First, the
Next, the
次に、ＣＰＵ７２は、画像Ａを複数のセルに分割する（ステップ７１５）。セルの大きさが小さいと、圧縮率が低くなるため、セルの大きさは、顔領域９１の色成分が脈波を検出できる程度で、かつ、動画送信で帯域幅の消費を低減できる程度とする。
Next, the
次に、ＣＰＵ７２は、セルを所定の順番に走査する（ステップ７２０）。
そして、走査したセルが顔領域９１を含む場合（ステップ７２５；Ｙ）、ＣＰＵ７２は、当該セルを可逆圧縮し（ステップ７３０）、走査したセルが顔領域９１を含まない場合（ステップ７２５；Ｎ）、ＣＰＵ７２は、当該セルを非可逆圧縮する（ステップ７３５）。
Next, the
Then, when the scanned cell includes the face area 91 (step 725; Y), the
この際に、動画送信装置７１は、検出装置８１が画像データの復元処理を行う場合に走査したセルが顔領域９１を含むか否かを判断するための識別情報を圧縮したセルデータのヘッダに記録しておく。
At this time, the moving
このように、動画送信装置７１は、検出領域を可逆圧縮した検出領域の画像データとし、検出領域に含まれない領域を非可逆圧縮した非検出領域の画像データとする画像データ生成手段を備え、当該生成した画像データをステップ６７５（図７）で動画送信する動画送信手段を備えている。
As described above, the moving
更に、ＣＰＵ７２は、未圧縮のセルがある場合（ステップ７４０；Ｙ）、ステップ７２０に戻って次のセルを走査し、全てのセルを走査した場合は（ステップ７４０；Ｎ）、メインルーチンにリターンする。
以上の処理によって、動画送信装置７１は、顔領域９１を可逆圧縮し、顔以外領域を非可逆圧縮した単一の画像データを生成することができる。
Further, if there are uncompressed cells (step 740; Y), the
By the above processing, the moving
図９は、本変形例に係る検出装置８１が行う動画の受信処理を説明するためのフローチャートである。
まず、ＣＰＵ８２は、通信制御部８５を介して圧縮画像データを受信してＲＡＭ８４に記憶する（ステップ７５０）。
FIG. 9 is a flowchart for explaining the moving image reception process performed by the
First, the
次に、ＣＰＵ８２は、画像復元処理によって、ＲＡＭ８４に記憶した圧縮画像データを伸張して画像データを復元し、これらから画像Ａを生成してＲＡＭ８４に記憶する（ステップ７５５）。復元された画像Ａは、顔領域９１は、可逆変換の逆変換により形成され、顔以外領域は非可逆変換の逆変換により形成されている。
Next, the
次に、ＣＰＵ８２は、復元した画像Ａから顔領域９１を抽出し（ステップ７６０）、これから脈波を検出する（ステップ７６５）。なお、ＣＰＵ８２は、第１実施形態のステップ６１５（図５）で説明した方法と同様にして脈波の検出を行う。
更に、ＣＰＵ８２は、検出した脈波から脈波情報を生成して画像Ａに重畳し、これをフレーム画像として用いて動画を表示装置８６に表示する（ステップ７７０）。
Next, the
Further, the
そして、ＣＰＵ８２は、受信処理を継続する場合は（ステップ７７５；Ｙ）、ステップ７５０に戻って、次の圧縮画像データについて同様の処理を行い、受信処理を継続しない場合は（ステップ７７５；Ｎ）、受信処理を終了する。
Then, when the
図１０は、ステップ７５５の画像復元処理を説明するためのフローチャートである。
まず、ＣＰＵ８２は、ＲＡＭ８４に記憶した画像データにおいて、セルを所定の順番に走査する（ステップ８０５）。
そして、ＣＰＵ８２は、セルのヘッダによって当該セルが顔領域９１を含むか否かを判断する（ステップ８１０）。
FIG. 10 is a flowchart for explaining the image restoration process of step 755.
First, the
Then, the
走査したセルが顔領域９１を含む場合（ステップ８１０；Ｙ）、ＣＰＵ８２は、当該セルを可逆圧縮に対応した伸張によってこれを復元し（ステップ８１５）、走査したセルが顔領域９１を含まない場合（ステップ８１０；Ｎ）、ＣＰＵ８２は、当該セルを非可逆圧縮に対応した伸張によってこれを復元する（ステップ８２０）。
When the scanned cell contains the face area 91 (step 810; Y), the
このように、検出装置８１は、単一の画像データに含まれる検出領域（顔領域９１）の画像データと非検出領域（顔以外領域）の画像データを識別する識別手段を備え、検出装置８１が備える画像取得手段は、当該識別した検出領域の画像データと非検出領域の画像データから、検出領域画像と、非検出領域画像を取得する。
As described above, the
更に、ＣＰＵ８２は、未復元のセルがある場合は（ステップ８２５；Ｙ）、ステップ８０５に戻って次のセルを走査し、全てのセルを走査した場合は（ステップ８２５；Ｎ）、メインルーチンにリターンする。
Further, if there are unrestored cells (step 825; Y), the
以上に説明した各実施形態によって次のような効果を得ることができる。
（１）カメラで撮影した映像データのうち、脈波を測定するための測定領域に関わる部分の映像データは可逆圧縮し、それ以外の映像データは非可逆圧縮して伝送することができる。
（２）脈波信号を保持したまま顔領域の画像をリアルタイムで送信することができ、カメラで撮影した映像からリアルタイムでの脈波測定を遠隔で行うことができる。
（３）医療用に用いることにより在宅診療が可能となる。
（４）脈波の検出に関係のない顔以外領域も動画再生できるため、患者に対面しているような自然さで動画を見ることができる。
The following effects can be obtained by each of the embodiments described above.
(1) Of the video data captured by the camera, the video data of the portion related to the measurement area for measuring the pulse wave can be losslessly compressed, and the other video data can be irreversibly compressed and transmitted.
(2) The image of the face region can be transmitted in real time while holding the pulse wave signal, and the pulse wave can be measured remotely in real time from the image taken by the camera.
(3) Home medical care is possible by using it for medical purposes.
(4) Since the moving image can be played back in areas other than the face, which are not related to the detection of the pulse wave, the moving image can be viewed as if the patient is facing the patient.
第３実施形態
なお、以上に説明した各実施形態では、動画送信装置７１からフレーム毎に圧縮した動画を検出装置８１にリアルタイムで送信する場合について説明したが、フレーム毎に圧縮した動画をデータベース１００等の記憶装置に保存しておくようにしてもよい。フレーム毎に圧縮し記憶された動画については、保存よりも後の時点において、他の検出装置１１０や動画送信装置７１、検出装置８１で一括して読み出し、解凍後に脈波を検出する。
なお、動画送信装置７１から動画をフレーム毎に圧縮し、リアルタイムで検出装置８１に送信したが、動画送信装置７１で対象者７０のフレーム毎に圧縮した動画を録画しておき、圧縮した動画ファイルを一括して検出装置８１に送信するように構成することもできる。
Third Embodiment In each of the above-described embodiments, the case where the moving image compressed for each frame is transmitted from the moving
The moving image was compressed frame by frame from the moving
図１１は、第１（第２）実施形態と第３実施形態による処理内容を表したものである。
図１１（ａ）第１実施形態〜第３実施形態に共通する、動画圧縮装置として機能する動画送信装置７１を表している。この動画送信装置７１では、第１実施形態で説明したように、対象者７０の顔を動画撮影し、動画データの各フレームから顔領域を抽出し、抽出した顔領域の画像データを可逆圧縮（又は所定圧縮率以下の圧縮率で非可逆圧縮）すると共に顔以外の領域の画像データを非可逆圧縮して出力する。
FIG. 11 shows the processing contents according to the first (second) embodiment and the third embodiment.
FIG. 11A shows a moving
そして、第１（第２）実施形態における動画送信装置７１としては、圧縮した両画像データの出力方法、出力対象として、図１１（ｂ）に示す検出装置８１に送信する。この出力（送信）は、撮影した動画に対する画像データの圧縮う処理に対応して、リアルタイムに送信が行われている。
そして、第１（第２）実施形態において、検出装置８１は、動画送信装置７１から受信した顔画領域の圧縮画像データと顔以外の圧縮データを復元し、皮膚の色成分の変化に基づいて脈波を検出する。この検出装置８１が、復元手段、脈波検出手段として機能している。
Then, the moving
Then, in the first (second) embodiment, the
これに対して第３実施形態では、図１１（ａ）に示す動画送信装置７１は、図１１（ｃ）に示すように、異なる圧縮率で圧縮した顔領域と顔以外領域の両画像データの出力先として、データベース（ＤＢ）１００に保存する。
そして、データベース１００に保存された両画像データは、後日他の検出装置１１０によって取得され、解凍処理の後に脈波検出に使用される。すなわち、脈波を観察できる時や脈波の検出が必要な時に、医師等が他の検出装置１１０からデータベース１００に記憶された動画（圧縮された画像データ）を取得して復元し、復元した画像データによる検出領域画像に移っている対象者の皮膚の色成分の変化によって脈波を検出する。この場合、検出装置１１０が復元手段、検出手段として機能する。
On the other hand, in the third embodiment, as shown in FIG. 11 (c), the moving
Then, both image data stored in the
また第３実施形態の変形例として、図１１（ａ）、（ｄ）に示すように、動画送信装置７１は、異なる圧縮率で圧縮した顔領域と顔以外領域の両画像データの出力先として、自装置の記憶部７７（図１参照）に保存しておき、その後、記憶部７７から画像データを読み出して脈波を検出するようにしてもよい。
この場合の動画送信装置７１は、動画取得手段、検出領域設定手段、圧縮手段として機能すると共に、復元手段、検出手段としても機能している。
Further, as a modification of the third embodiment, as shown in FIGS. 11A and 11D, the moving
In this case, the moving
なお、説明した各実施形態やその変形例において、顔領域９１の可逆圧縮は、オリジナルのフレーム画像の圧縮をそのまま用いてもよい（即ち、フレーム画像から抽出した画像をそのまま用いる）。
更に、顔領域９１と顔以外領域の圧縮は、異なるアルゴリズムで行っても良い。
In each of the described embodiments and modifications thereof, the lossless compression of the
Further, the compression of the
また、説明した本実施形態の動画送信装置７１では、顔認識によって、顔を囲む矩形形状によって顔領域９１を設定する場合について説明した。
これに対する変形例として、動画送信装置７１は、皮膚の色から脈波を検出するため、皮膚を検出することにより、皮膚領域の形に合わせて顔領域９１を設定して圧縮の対象としてもよい。この場合の圧縮は、実施形態で説明した可逆圧縮、又は変形で説明した脈波検出用の色成分が脈波検出用に復元可能な圧縮率による非可逆圧縮の何れでもよい。
例えば、ＣＰＵ７２は、一般的な顔認識により画像Ａから鼻を検出して鼻領域を設定し、この鼻領域の色空間をＲＧＢ空間からＨＳＶ空間に変換し、各画素のＨ値から皮膚色データを生成する。皮膚色データを採取する領域を鼻領域としたのは、顔認識で特定が容易であり、かつ、標準的な皮膚の色が露出しているからであるが、額や頬など、他の領域から皮膚色データを採取するように構成することもできる。
そしてＣＰＵ７２は、生成した皮膚色データに基づいて、検出した鼻位置と連続する皮膚領域を含む矩形領域を顔領域９１として設定する。
Further, in the moving
As a modification to this, since the moving
For example, the
Then, the
画像Ａには、皮膚部分のほか、髪、眉毛、目、唇、背景などが写し込まれている。これら皮膚以外の部分は、脈波信号が含まれていないか、又は、脈波信号を検出するのに適していない部分であり、脈波検出処理において精度低下を来す外乱要素として作用する。
そこで、第２変形例として、動画送信装置７１は、画像Ａを色変換してＨＳＶ画像を生成し、上記変形例と同様にして皮膚色データを生成し、この皮膚色データに対応する部分を皮膚部分として画素単位で特定することで、首などの皮膚が露出している部分の全てを特定する。このように、外乱要素を除去しつつ、脈波信号が含まれる部分を最大限確保することにより、脈波検出精度を高めることができる。
そして、動画送信装置７１は、ＨＳＶ画像での皮膚部分の位置から、画像Ａにおける皮膚部分を抽出し、ＹＩＱ画像に変換する。その結果、ＹＩＱ空間における皮膚部分を顔領域９１として圧縮の対象とする。
なお、第２変形例では、画像ＡをＹＩＱ画像に変換して皮膚部分を得たが、ＨＳＶ画像の皮膚部分をＹＩＱ画像に変換した皮膚部分を顔領域９１として圧縮対象としてもよい。
In addition to the skin portion, image A includes hair, eyebrows, eyes, lips, a background, and the like. These parts other than the skin are parts that do not contain the pulse wave signal or are not suitable for detecting the pulse wave signal, and act as a disturbance element that causes a decrease in accuracy in the pulse wave detection process.
Therefore, as a second modification, the moving
Then, the moving
In the second modification, the image A is converted into a YIQ image to obtain a skin portion, but the skin portion obtained by converting the skin portion of the HSV image into a YIQ image may be used as the
７０ 対象者
７１ 動画送信装置（動画圧縮装置）
７２ ＣＰＵ
７３ ＲＯＭ
７４ ＲＡＭ
７５ 通信制御部
７６ カメラ
７７ 記憶部
７８ 動画送信プログラム
８０ 担当者
８１ 検出装置
８２ ＣＰＵ
８３ ＲＯＭ
８４ ＲＡＭ
８５ 通信制御部
８６ 表示装置
８７ 記憶部
８８ 動画受信プログラム
９１ 顔領域
１００ 記憶装置（ＤＢ）
１１０ 検出装置
70
72 CPU
73 ROM
74 RAM
75
83 ROM
84 RAM
85
110 detector
Claims (13)
前記取得した動画のフレーム画像において、前記対象者の皮膚が写っている箇所に脈波の検出領域を設定する検出領域設定手段と、
前記設定した検出領域以外の非検出領域画像を所定の圧縮率で圧縮し、前記設定した検出領域に含まれる検出領域画像を非圧縮又は前記非検出領域よりも低い圧縮率で圧縮する圧縮手段と、
前記圧縮した画像データの動画を出力する動画出力手段と、
を具備したことを特徴とする動画圧縮装置。 A video acquisition method for acquiring a video of a person to be measured for pulse wave measurement,
In the frame image of the acquired moving image, a detection area setting means for setting a pulse wave detection area at a portion where the subject's skin is reflected, and a detection area setting means.
A compression means for compressing a non-detection region image other than the set detection region at a predetermined compression rate and compressing the detection region image included in the set detection region at an uncompressed or lower compression ratio than the non-detection region. ,
A moving image output means for outputting a moving image of the compressed image data, and
A video compression device characterized by being equipped with.
ことを特徴とする請求項１に記載の動画圧縮装置。 The compression means compresses the detection region image included in the set detection region at a compression rate at which the physical quantity of the skin portion used for detecting the pulse wave can be restored for pulse wave detection.
The moving image compression device according to claim 1.
ことを特徴とする請求項１又は請求項２に記載の動画圧縮装置。 The compression means losslessly compresses the detection region image.
The moving image compression device according to claim 1 or 2, wherein the moving image compression device is characterized in that.
前記復元した動画の画像データによる、前記検出領域画像に写っている対象者の皮膚の部分の物理両の変化によって脈波を検出する検出手段と、
を具備したことを特徴とする請求項１、請求項２、又は請求項３に記載の動画圧縮装置。 A restoration means for restoring a moving image of image data compressed by the compression means, and a restoration means.
A detection means for detecting a pulse wave by a change in both physics of the skin portion of the subject shown in the detection area image based on the image data of the restored moving image.
The moving image compression device according to claim 1, claim 2, or claim 3.
ことを特徴とする請求項１から請求項４のうちの何れか１の請求項に記載の動画圧縮装置。 The moving image output means transmits a moving image of the compressed image data to the detection device.
The moving image compression device according to any one of claims 1 to 4, wherein the moving image compression device is characterized.
前記取得した非圧縮の検出領域画像に写っている対象者の皮膚部分の物理量の変化によって脈波を検出する検出手段と、
前記検出した脈波を出力する出力手段と、
を具備したことを特徴とする検出装置。 An image acquisition means for acquiring an uncompressed detection region image in the detection region from the moving image transmitted by the moving image compression device according to claim 5 or 6.
The detection means for detecting the pulse wave by the change in the physical quantity of the skin part of the subject shown in the acquired uncompressed detection area image,
An output means for outputting the detected pulse wave and
A detection device characterized in that the device is provided with.
前記画像取得手段は、前記取得した検出領域の画像データが圧縮されている場合には、前記復元手段で復元された前記検出領域における非圧縮の検出領域画像を取得する、
ことを特徴とする請求項７に記載の検出装置。 Equipped with a restoration means to restore the compressed image data video
When the image data of the acquired detection region is compressed, the image acquisition means acquires an uncompressed detection region image in the detection region restored by the restoration means.
The detection device according to claim 7.
前記復元手段は、前記取得した非検出領域の画像データを復元し、
前記復元した画像データによる非検出領域画像に、前記非圧縮の検出領域画像を組み合わせた動画表示用のフレーム画像を生成するフレーム画像生成手段と、
前記生成したフレーム画像による動画を表示する表示手段と、
を具備したことを特徴とする請求項７、又は請求項８に記載の検出装置。 The image acquisition means acquires image data of a non-detection region compressed with a compression rate higher than that of the detection region image from the moving image.
The restoration means restores the acquired image data of the non-detection area, and restores the image data.
A frame image generation means for generating a frame image for moving image display in which the uncompressed detection area image is combined with the non-detection area image based on the restored image data.
A display means for displaying a moving image based on the generated frame image, and
7. The detection device according to claim 7, wherein the detection device is provided with.
ことを特徴とする請求項９記載の検出装置。 The image acquisition means acquires the detection region image and the non-detection region image, respectively, from the individual image data of the detection region and the image data of the non-detection region.
9. The detection device according to claim 9.
前記画像取得手段は、前記識別した検出領域の画像データと非検出領域の画像データから前記検出領域画像と、前記非検出領域画像を取得する、
ことを特徴とする請求項９に記載の検出装置。 It is provided with an identification means for discriminating between the image data of the detection area and the image data of the non-detection area included in a single image data.
The image acquisition means acquires the detection region image and the non-detection region image from the image data of the identified detection region and the image data of the non-detection region.
The detection device according to claim 9.
前記取得した動画のフレーム画像において、前記対象者の皮膚が写っている箇所に脈波の検出領域を設定する検出領域設定機能と、
前記設定した検出領域以外の非検出領域画像を所定の圧縮率で圧縮し、前記設定した検出領域に含まれる検出領域画像を非圧縮又は前記非検出領域よりも低い圧縮率で圧縮する圧縮機能と、
前記圧縮した画像データの動画を出力する動画出力機能と、
をコンピュータに実現させる動画圧縮プログラム。 A video acquisition function that acquires a video of the person to be measured for pulse wave measurement,
In the frame image of the acquired moving image, a detection area setting function for setting a pulse wave detection area at a portion where the subject's skin is reflected, and a detection area setting function.
A compression function that compresses non-detection region images other than the set detection region at a predetermined compression rate, and compresses the detection region image included in the set detection region at an uncompressed or lower compression ratio than the non-detection region. ,
A video output function that outputs a video of the compressed image data, and
A video compression program that makes your computer realize.
前記取得した非圧縮の検出領域画像に写っている対象者の皮膚部分の物理量の変化によって脈波を検出する検出機能と、
前記検出した脈波を出力する出力機能と、
をコンピュータに実現させる検出プログラム。 An image acquisition function for acquiring an uncompressed detection area image in the detection area from the moving image transmitted by the moving image compression device according to claim 5 or 6.
The detection function that detects the pulse wave by the change in the physical quantity of the skin part of the subject shown in the acquired uncompressed detection area image, and
The output function that outputs the detected pulse wave and
A detection program that makes a computer realize.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020011578A JP2021115305A (en) | 2020-01-28 | 2020-01-28 | Moving image compression device, detection device, moving image compression program, and detection program |
| PCT/JP2021/003068 WO2021153680A1 (en) | 2020-01-28 | 2021-01-28 | Video compression device, detection device, video compression program, and detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020011578A JP2021115305A (en) | 2020-01-28 | 2020-01-28 | Moving image compression device, detection device, moving image compression program, and detection program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021115305A true JP2021115305A (en) | 2021-08-10 |
Family
ID=77079356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020011578A Pending JP2021115305A (en) | 2020-01-28 | 2020-01-28 | Moving image compression device, detection device, moving image compression program, and detection program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2021115305A (en) |
| WO (1) | WO2021153680A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05336374A (en) * | 1992-05-28 | 1993-12-17 | Olympus Optical Co Ltd | Image information compressing device |
| JP2014506062A (en) * | 2011-01-05 | 2014-03-06 | コーニンクレッカ フィリップス エヌ ヴェ | Video encoding and decoding device and method for storing PPG related information |
| JP2014507842A (en) * | 2011-01-05 | 2014-03-27 | コーニンクレッカ フィリップス エヌ ヴェ | Video coding and decoding device and method for storing PPG related information |
-
2020
- 2020-01-28 JP JP2020011578A patent/JP2021115305A/en active Pending
-
2021
- 2021-01-28 WO PCT/JP2021/003068 patent/WO2021153680A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05336374A (en) * | 1992-05-28 | 1993-12-17 | Olympus Optical Co Ltd | Image information compressing device |
| JP2014506062A (en) * | 2011-01-05 | 2014-03-06 | コーニンクレッカ フィリップス エヌ ヴェ | Video encoding and decoding device and method for storing PPG related information |
| JP2014507842A (en) * | 2011-01-05 | 2014-03-27 | コーニンクレッカ フィリップス エヌ ヴェ | Video coding and decoding device and method for storing PPG related information |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021153680A1 (en) | 2021-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8655068B1 (en) | Color correction system | |
| CN107169419B (en) | Non-contact human body sign detection method and device based on machine vision | |
| WO2014030439A1 (en) | Biological state-monitoring system, biological state-monitoring method, and program | |
| WO2006064635A1 (en) | Diagnosis system | |
| JP2007125151A (en) | Diagnostic system and diagnostic apparatus | |
| US10212340B2 (en) | Medical imaging system and method for obtaining medical image | |
| US11521473B2 (en) | Audio/video electronic device | |
| Nisar et al. | Contactless heart rate monitor for multiple persons in a video | |
| KR101862696B1 (en) | Biometric data display system using actual image and computer graphics image and method for displaying thereof | |
| JP2002262305A5 (en) | ||
| WO2021153680A1 (en) | Video compression device, detection device, video compression program, and detection program | |
| CN110279406B (en) | Non-contact pulse rate measuring method and device based on camera | |
| CN110321781B (en) | Signal processing method and device for non-contact measurement | |
| Dhinakaran et al. | Cloud based smart healthcare management system using blue eyes technology | |
| JP5941764B2 (en) | Content evaluation data generation system, content evaluation data generation method, and program | |
| US11012671B2 (en) | Information processing apparatus, image capturing apparatus, and information processing method | |
| CN114391862A (en) | Big data CT image report generation-based remote processing method and equipment and computer storage medium | |
| Xia et al. | Mobile cardiac pulse measurements | |
| KR20170076102A (en) | System and method for patient monitoring | |
| KR100964816B1 (en) | Apparatus and method for transmitting image data of internal organs and capsule-type endoscope thereof | |
| JP7323902B1 (en) | Image recognition processing device for biological information monitor | |
| KR20190123141A (en) | System and method for diagnosing and analyzing disease | |
| KR102473744B1 (en) | A method of diagnosing strabismus through the analysis of eyeball image from cover and uncovered test | |
| CN217907732U (en) | Detection device and medical instrument | |
| CN115018739A (en) | Portable family doctor intelligent workstation system based on digital processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210728 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230324 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230925 |