JP2021027993A - 生体画像の生理信号マッチング方法及び生理信号マッチングシステム - Google Patents
生体画像の生理信号マッチング方法及び生理信号マッチングシステム Download PDFInfo
- Publication number
- JP2021027993A JP2021027993A JP2020135885A JP2020135885A JP2021027993A JP 2021027993 A JP2021027993 A JP 2021027993A JP 2020135885 A JP2020135885 A JP 2020135885A JP 2020135885 A JP2020135885 A JP 2020135885A JP 2021027993 A JP2021027993 A JP 2021027993A
- Authority
- JP
- Japan
- Prior art keywords
- image
- module
- living body
- matching
- physiological signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000002131 composite material Substances 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000002347 injection Methods 0.000 claims description 3
- 239000007924 injection Substances 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000035479 physiological effects, processes and functions Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000002565 electrocardiography Methods 0.000 description 2
- 238000013186 photoplethysmography Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001325280 Tricardia watsonii Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009510 drug design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7285—Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0006—ECG or EEG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/0507—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves using microwaves or terahertz waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Cardiology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Electromagnetism (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Radar Systems Or Details Thereof (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】生体画像の生理信号マッチング方法及び生理信号マッチングシステムを提供する。【解決手段】本発明による生体画像の生理信号マッチング方法１０は、画像キャプチャデバイスがキャプチャした画像により生理信号のマッチングを補助し、演算装置がレーダーにより検知した生理信号中に含まれる複数のバイタルサインを画像中の各生体と正確にマッチングし、複数の生体のバイタルサインに対して持続的な追跡を行う。これにより、複数のバイタルサインをマッチングできないという従来技術の問題を克服し、複数の生体の生理信号を非接触で検知可能にする。【選択図】図１
Description
本発明は、生理信号マッチング方法に関し、更に詳しくは、生体画像の生理信号マッチング方法及び生理信号マッチングシステムに関する。
よくある生理信号の検知装置は直接接触方式で実行する物が多く、例えば、ＥＣＧ（Electrocardiography：心電図）やＰＰＧ（Photoplethysmography：光電脈波）では人体の皮膚に貼着した検知器により生理信号を精確に検知する。
しかしながら、接触型生理信号検知装置は人体に直接接触させねばならず、且つ同一の時間帯に１つのターゲットしか検知できないため、病院や飛行場で異常な心拍を検知する目的、或いは災害現場で生命を検知する等の大きな範囲で生理信号を検知する目的には使用できなかった。
対照的に、非接触型生理信号検知装置は無線信号のドップラー効果（Doppler Effect）により、送信された信号のビーム幅の範囲中に位置する複数のターゲットのバイタルサインを検知可能であるが、各バイタルサインがどの生体のものであるかを判別することはできなかった。よって、従来の非接触型生理信号検知装置の多くは１つの生体の検知しか行えず、複数の生体の生理信号を検知することはできなかった。
対照的に、非接触型生理信号検知装置は無線信号のドップラー効果（Doppler Effect）により、送信された信号のビーム幅の範囲中に位置する複数のターゲットのバイタルサインを検知可能であるが、各バイタルサインがどの生体のものであるかを判別することはできなかった。よって、従来の非接触型生理信号検知装置の多くは１つの生体の検知しか行えず、複数の生体の生理信号を検知することはできなかった。
そこで、本発明者は上記の欠点が改善可能と考え、鋭意検討を重ねた結果、合理的設計で上記の課題を効果的に改善する本発明の提案に至った。
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像及びバイタルサインの時間上での変化及び空間上での位置に基づいて演算装置の時間マッチングモジュール及び空間マッチングモジュールがバイタルサインのマッチングを行い、複数の生体のバイタルサインの検知及びマッチングを達成することである。
上記課題を解決するために、本発明のある態様の生体画像の生理信号マッチング方法は、以下の工程を含む。
演算装置により画像及び生理信号を受信し、演算装置の生体識別モジュールが画像の中の１つまたは複数の生体の数量及び位置を識別し、前記演算装置のバイタルサインキャプチャモジュールは生理信号の中から前記生体の前記数量と同じ個数のバイタルサインを抽出する工程。
前記生体が１つしか存在しない場合、前記演算装置の時間マッチングモジュールが前記生理信号の中の前記バイタルサインを前記生体とマッチングし、前記生体が複数存在する場合、前記演算装置の空間マッチングモジュールが各前記バイタルサインのエネルギーの大きさ及び各前記生体の前記位置に基づいて各前記バイタルサインを各前記生体とマッチングすることで、前記生体識別モジュールにより前記画像の中に前記生体が複数存在するか否かを判断する工程。
前記生体が１つ増加している場合、前記時間マッチングモジュールが前記生理信号中の増加した前記バイタルサインを増加した前記生体にマッチングし、前記生体が複数増加している場合、前記空間マッチングモジュールが増加した各前記バイタルサインの前記エネルギーの大きさ及び増加した各前記生体の前記距離に基づいて、増加した各前記バイタルサインを増加した各前記生体にマッチングすることで、前記生体識別モジュールが異なる時間の前記画像に前記生体が少なくとも１つは増加しているか否か判断する工程。
演算装置により画像及び生理信号を受信し、演算装置の生体識別モジュールが画像の中の１つまたは複数の生体の数量及び位置を識別し、前記演算装置のバイタルサインキャプチャモジュールは生理信号の中から前記生体の前記数量と同じ個数のバイタルサインを抽出する工程。
前記生体が１つしか存在しない場合、前記演算装置の時間マッチングモジュールが前記生理信号の中の前記バイタルサインを前記生体とマッチングし、前記生体が複数存在する場合、前記演算装置の空間マッチングモジュールが各前記バイタルサインのエネルギーの大きさ及び各前記生体の前記位置に基づいて各前記バイタルサインを各前記生体とマッチングすることで、前記生体識別モジュールにより前記画像の中に前記生体が複数存在するか否かを判断する工程。
前記生体が１つ増加している場合、前記時間マッチングモジュールが前記生理信号中の増加した前記バイタルサインを増加した前記生体にマッチングし、前記生体が複数増加している場合、前記空間マッチングモジュールが増加した各前記バイタルサインの前記エネルギーの大きさ及び増加した各前記生体の前記距離に基づいて、増加した各前記バイタルサインを増加した各前記生体にマッチングすることで、前記生体識別モジュールが異なる時間の前記画像に前記生体が少なくとも１つは増加しているか否か判断する工程。
また、上述した目的を達成するために、本発明の別の態様は、生理信号マッチングシステムである。
その生理信号マッチングシステムは、画像をキャプチャするために用いられる画像キャプチャデバイスと、生理信号を検知するために用いられるレーダーと、演算装置と、を備えている。
前記演算装置は生体識別モジュールと、バイタルサインキャプチャモジュールと、時間マッチングモジュールと、空間マッチングモジュールと、を有する。前記生体識別モジュールは前記画像キャプチャデバイスに電気的に接続して前記画像を受信し、且つ前記画像中の生体の数量及び位置を識別する。前記バイタルサインキャプチャモジュールは前記レーダー及び前記生体識別モジュールに電気的に接続して前記生理信号を受信し、且つ前記生理信号中から前記生体の前記数量と同じバイタルサインを抽出する。前記時間マッチングモジュールは前記生体識別モジュール及び前記バイタルサインキャプチャモジュールに電気的に接続して前記生体の前記位置及び前記バイタルサインを受信し、且つ前記生理信号中の前記バイタルサインを前記生体とマッチングする。前記空間マッチングモジュールは前記生体識別モジュール及び前記バイタルサインキャプチャモジュールに電気的に接続して前記生体の前記位置を受信し、且つ前記バイタルサインキャプチャモジュールにより前記バイタルサインを受信し、且つ各前記バイタルサインのエネルギーの大きさ及び各前記生体の前記位置に基づいて各前記バイタルサインを各前記生体にマッチングする。
その生理信号マッチングシステムは、画像をキャプチャするために用いられる画像キャプチャデバイスと、生理信号を検知するために用いられるレーダーと、演算装置と、を備えている。
前記演算装置は生体識別モジュールと、バイタルサインキャプチャモジュールと、時間マッチングモジュールと、空間マッチングモジュールと、を有する。前記生体識別モジュールは前記画像キャプチャデバイスに電気的に接続して前記画像を受信し、且つ前記画像中の生体の数量及び位置を識別する。前記バイタルサインキャプチャモジュールは前記レーダー及び前記生体識別モジュールに電気的に接続して前記生理信号を受信し、且つ前記生理信号中から前記生体の前記数量と同じバイタルサインを抽出する。前記時間マッチングモジュールは前記生体識別モジュール及び前記バイタルサインキャプチャモジュールに電気的に接続して前記生体の前記位置及び前記バイタルサインを受信し、且つ前記生理信号中の前記バイタルサインを前記生体とマッチングする。前記空間マッチングモジュールは前記生体識別モジュール及び前記バイタルサインキャプチャモジュールに電気的に接続して前記生体の前記位置を受信し、且つ前記バイタルサインキャプチャモジュールにより前記バイタルサインを受信し、且つ各前記バイタルサインのエネルギーの大きさ及び各前記生体の前記位置に基づいて各前記バイタルサインを各前記生体にマッチングする。
（発明の効果）
本発明は、前記画像キャプチャデバイスがキャプチャした前記画像によりレーダーが検知した前記生理信号のマッチングを補助し、前記レーダーが検知した前記バイタルサインを対応する前記生体にマッチングする。このようにして複数のバイタルサインをマッチングできないという問題を解決し、複数の生体の生理信号の非接触による検知を達成する。
本発明は、前記画像キャプチャデバイスがキャプチャした前記画像によりレーダーが検知した前記生理信号のマッチングを補助し、前記レーダーが検知した前記バイタルサインを対応する前記生体にマッチングする。このようにして複数のバイタルサインをマッチングできないという問題を解決し、複数の生体の生理信号の非接触による検知を達成する。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
本明細書及び図面の記載により、少なくとも以下の事項を明らかにする。
図１は本発明に係る生体画像の生理信号マッチング方法１０の実施例を示すフローチャートである。
生体画像の生理信号マッチング方法１０は、画像のキャプチャと生理信号の検出１１工程と、生体の識別とバイタルサインの抽出１２工程と、画像中に複数の生体が存在するか否か１３の工程と、時間マッチングモジュールをバイタルサインにペアリングする１４工程と、空間マッチングモジュールをバイタルサインにペアリングする１５工程と、バイタルサインを画像の生体に合成する１６工程と、生体が増加しているか否か１７の工程と、を含む。
生体画像の生理信号マッチング方法１０は、画像のキャプチャと生理信号の検出１１工程と、生体の識別とバイタルサインの抽出１２工程と、画像中に複数の生体が存在するか否か１３の工程と、時間マッチングモジュールをバイタルサインにペアリングする１４工程と、空間マッチングモジュールをバイタルサインにペアリングする１５工程と、バイタルサインを画像の生体に合成する１６工程と、生体が増加しているか否か１７の工程と、を含む。
図１と図２を参照する。生体画像の生理信号マッチング方法１０では、まず「画像のキャプチャと生理信号の検出」工程１１を実行し、画像キャプチャデバイス１２０が画像Ｉをキャプチャすると共にレーダー１３０が生理信号Ｖを検知する。
前記画像キャプチャデバイス１２０は深度カメラ、熱画像カメラ、または光学カメラである。前記画像キャプチャデバイス１２０がキャプチャした前記画像Ｉは時間変化する動態画像である。前記レーダー１３０としてドップラーレーダー（Doppler radar）、自己注入同期レーダー（Self-injection-locked radar）或いは超広帯域レーダー（Ultra-wideband radar）から選択し、無線電波のドップラー効果（Doppler Effect）により環境中の生体の生理信号を検知する。
本実施形態では、好ましくは、前記画像キャプチャデバイス１２０は熱画像カメラであり、キャプチャした前記画像Ｉは動態の熱画像であり、温度分布により前記画像Ｉ中のこれら前記生体の数量を判断すると同時に生体の体温を測定する。前記レーダー１３０は自己注入同期レーダーであり、生体のバイタルサインに対して非常に敏感であり、後続の前記生命信号中から複数の生体のバイタルサインを抽出するのに役立つ。
前記画像キャプチャデバイス１２０は深度カメラ、熱画像カメラ、または光学カメラである。前記画像キャプチャデバイス１２０がキャプチャした前記画像Ｉは時間変化する動態画像である。前記レーダー１３０としてドップラーレーダー（Doppler radar）、自己注入同期レーダー（Self-injection-locked radar）或いは超広帯域レーダー（Ultra-wideband radar）から選択し、無線電波のドップラー効果（Doppler Effect）により環境中の生体の生理信号を検知する。
本実施形態では、好ましくは、前記画像キャプチャデバイス１２０は熱画像カメラであり、キャプチャした前記画像Ｉは動態の熱画像であり、温度分布により前記画像Ｉ中のこれら前記生体の数量を判断すると同時に生体の体温を測定する。前記レーダー１３０は自己注入同期レーダーであり、生体のバイタルサインに対して非常に敏感であり、後続の前記生命信号中から複数の生体のバイタルサインを抽出するのに役立つ。
次いで生体画像の生理信号マッチング方法１０では、「生体の識別とバイタルサインの抽出」工程１２を実行し、演算装置１１０の生体識別モジュール１１１が前記画像１２０から前記画像Ｉを受信し、且つバイタルサインキャプチャモジュール１１２が前記レーダー１３０により前記生理信号Ｖを受信する。
前記演算装置１１０は論理演算またはプログラム制御可能なシングルチップ或いは計算機であり、各モジュールは前記演算装置１１０中の論理演算ユニット、プログラム、またはソフトウェアであるが、本発明はこれらに限られない。前記生体識別モジュール１１１は前記画像Ｉ中の生体Ｏの数量Ｎを識別すると共に各前記生体Ｏの位置Ｐを計算する。
前記画像キャプチャデバイス１２０が熱画像カメラである場合、キャプチャした前記画像Ｉは熱画像であり、前記画像Ｉの温度分布に基づいて前記画像Ｉ中の前記生体Ｏの前記数量Ｎを判定し、且つ前記画像Ｉにレーザー検知器（図示せず）を組み合わせて距離を測定し、各前記生体Ｏの前記位置Ｐを取得する。
一方、前記画像キャプチャデバイス１２０が前記深度カメラまたは光学カメラである場合、人体の骨格または顔を識別し、前記画像Ｉ中の前記生体Ｏの数量Ｎを判定する。深度カメラ及び光学カメラは複数のレンズにより複数の画像をキャプチャした後、その画像の角度を計算することで前記生体Ｏの距離を取得し、各前記生体Ｏの前記位置Ｐを測定する。
前記演算装置１１０は論理演算またはプログラム制御可能なシングルチップ或いは計算機であり、各モジュールは前記演算装置１１０中の論理演算ユニット、プログラム、またはソフトウェアであるが、本発明はこれらに限られない。前記生体識別モジュール１１１は前記画像Ｉ中の生体Ｏの数量Ｎを識別すると共に各前記生体Ｏの位置Ｐを計算する。
前記画像キャプチャデバイス１２０が熱画像カメラである場合、キャプチャした前記画像Ｉは熱画像であり、前記画像Ｉの温度分布に基づいて前記画像Ｉ中の前記生体Ｏの前記数量Ｎを判定し、且つ前記画像Ｉにレーザー検知器（図示せず）を組み合わせて距離を測定し、各前記生体Ｏの前記位置Ｐを取得する。
一方、前記画像キャプチャデバイス１２０が前記深度カメラまたは光学カメラである場合、人体の骨格または顔を識別し、前記画像Ｉ中の前記生体Ｏの数量Ｎを判定する。深度カメラ及び光学カメラは複数のレンズにより複数の画像をキャプチャした後、その画像の角度を計算することで前記生体Ｏの距離を取得し、各前記生体Ｏの前記位置Ｐを測定する。
前記バイタルサインキャプチャモジュール１１２は前記生理信号Ｖ中から前記生体Ｏの前記数量Ｎと同じバイタルサインＶｓを抽出する。
本実施形態では、前記バイタルサインキャプチャモジュール１１２は高速フーリエ変換（Fast Fourier Transform、FFT）により前記生理信号Ｖに対するスペクトル分析を行い、得られたスペクトログラムから前記生理信号Ｖの各周波数成分を分析する。最後に、各周波数成分からどれがどの各前記生体Ｏに属する前記バイタルサインＶｓであるのかを分析し、前記生理信号Ｖ中から前記バイタルサインＶｓを抽出する。
前記バイタルサインＶｓは呼吸や心拍であるが、人体毎の呼吸または心拍の振動周波数の差異は大きくないため、前記生理信号Ｖのスペクトログラム中から複数のバイタルサインを直接分析することは困難であるから、本実施例の前記バイタルサインキャプチャモジュール１１２は前記生体識別モジュール１１１が分析した前記生体Ｏの前記数量Ｎに基づいて、前記生理信号Ｖ中から前記数量Ｎと同じ個数の前記バイタルサインＶｓを抽出する。
また、工程１２において、前記生体識別モジュール１１１が前記画像Ｉ中から生体を識別していない場合、工程１１を再度実行し、前記画像キャプチャデバイス１２０により前記画像Ｉを持続的にキャプチャし、前記レーダー１３０により前記生理信号Ｖを検知する。
本実施形態では、前記バイタルサインキャプチャモジュール１１２は高速フーリエ変換（Fast Fourier Transform、FFT）により前記生理信号Ｖに対するスペクトル分析を行い、得られたスペクトログラムから前記生理信号Ｖの各周波数成分を分析する。最後に、各周波数成分からどれがどの各前記生体Ｏに属する前記バイタルサインＶｓであるのかを分析し、前記生理信号Ｖ中から前記バイタルサインＶｓを抽出する。
前記バイタルサインＶｓは呼吸や心拍であるが、人体毎の呼吸または心拍の振動周波数の差異は大きくないため、前記生理信号Ｖのスペクトログラム中から複数のバイタルサインを直接分析することは困難であるから、本実施例の前記バイタルサインキャプチャモジュール１１２は前記生体識別モジュール１１１が分析した前記生体Ｏの前記数量Ｎに基づいて、前記生理信号Ｖ中から前記数量Ｎと同じ個数の前記バイタルサインＶｓを抽出する。
また、工程１２において、前記生体識別モジュール１１１が前記画像Ｉ中から生体を識別していない場合、工程１１を再度実行し、前記画像キャプチャデバイス１２０により前記画像Ｉを持続的にキャプチャし、前記レーダー１３０により前記生理信号Ｖを検知する。
続いて生体画像の生理信号マッチング方法１０では、「画像中に複数の生体が存在するか否か」の工程１３を実行し、前記生体識別モジュール１１１が前記画像Ｉ中に複数の前記生体Ｏが存在するか否かを判断する。
前記画像Ｉに１つの前記生体Ｏしか存在しない場合は工程１４を実行し、前記演算装置１１０の時間マッチングモジュール１１３がバイタルサインをマッチングする。
前記画像Ｉ中に複数の前記生体Ｏが存在する場合は工程１５を実行し、前記演算装置１１０の空間マッチングモジュール１１４がバイタルサインをマッチングする。
前記画像Ｉに１つの前記生体Ｏしか存在しない場合は工程１４を実行し、前記演算装置１１０の時間マッチングモジュール１１３がバイタルサインをマッチングする。
前記画像Ｉ中に複数の前記生体Ｏが存在する場合は工程１５を実行し、前記演算装置１１０の空間マッチングモジュール１１４がバイタルサインをマッチングする。
図１と図２を参照する。「時間マッチングモジュールをバイタルサインにペアリングする」工程１４では、前記時間マッチングモジュール１１３が前記生体識別モジュール１１１により前記画像Ｉ及び各前記生体Ｏの前記数量Ｎを受信する。前記画像Ｉ中に１つの前記生体Ｏしか存在しない場合、前記バイタルサインキャプチャモジュール１１２は前記生理信号Ｖ中から１つの前記バイタルサインＶｓしか抽出せず、前記空間マッチングモジュール１１４に伝送し、前記時間マッチングモジュール１１３が１つの前記バイタルサインＶｓを１つの前記生体Ｏにマッチングする。
「空間マッチングモジュールをバイタルサインにペアリングする」工程１５では、前記画像Ｉ中に複数の前記生体Ｏが存在する場合、前記バイタルサインキャプチャモジュール１１２が前記生理信号Ｖ中から前記数量Ｎと同じ個数の前記バイタルサインＶｓを抽出するため、各前記バイタルサインＶｓを各前記生体Ｏに直接マッチングできない。このため、前記空間マッチングモジュール１１４は各前記バイタルサインＶｓのエネルギーの大きさ及び各前記生体Ｏの前記位置Ｐに基づいて各前記バイタルサインＶｓを各前記生体Ｏにマッチングする。
本実施形態では、各前記バイタルサインＶｓは前記レーダー１３０が無線信号を各前記生体Ｏに発信し、各前記生体Ｏが反射した信号を受信することにより検知し、前記レーダー１３０から遠い位置にある前記生体Ｏほど対応するバイタルサインＶｓのエネルギー反応が小さくなるため、前記空間マッチングモジュール１１４は前記バイタルサインＶｓをエネルギーの大きなものから小さなものにかけて前記位置Ｐが近い各前記生体Ｏから遠い各前記生体Ｏへと順にマッチングしてゆく。
本実施形態では、各前記バイタルサインＶｓは前記レーダー１３０が無線信号を各前記生体Ｏに発信し、各前記生体Ｏが反射した信号を受信することにより検知し、前記レーダー１３０から遠い位置にある前記生体Ｏほど対応するバイタルサインＶｓのエネルギー反応が小さくなるため、前記空間マッチングモジュール１１４は前記バイタルサインＶｓをエネルギーの大きなものから小さなものにかけて前記位置Ｐが近い各前記生体Ｏから遠い各前記生体Ｏへと順にマッチングしてゆく。
図１と図２を参照する。生体画像の生理信号マッチング方法１０では、工程１４または１５が完了した後に「バイタルサインを画像の生体に合成する」工程１６を実行し、前記演算装置１１０の画像合成モジュール１１５が前記時間マッチングモジュール１１３または前記空間マッチングモジュール１１４がすでにマッチングした前記バイタルサインＶｓを前記画像Ｉの前記生体Ｏに合成し、且つその合成画像ＣＩを出力する。
図３はあるタイプの前記合成画像ＣＩであり、前記空間マッチングモジュール１１４が各前記生体Ｏをナンバリングし、且つ右側のラベルに各々ナンバリングされる前記生体Ｏが前記バイタルサインＶｓに対応する。
図４は他のタイプの前記合成画像ＣＩであり、各前記バイタルサインＶｓをマッチングする前記生体Ｏに直接ラベリングする。
前記合成画像ＣＩの表示タイプは監視装置の大きさ及び使用者の需要によって決定し、本発明にはその制限はない。
図３はあるタイプの前記合成画像ＣＩであり、前記空間マッチングモジュール１１４が各前記生体Ｏをナンバリングし、且つ右側のラベルに各々ナンバリングされる前記生体Ｏが前記バイタルサインＶｓに対応する。
図４は他のタイプの前記合成画像ＣＩであり、各前記バイタルサインＶｓをマッチングする前記生体Ｏに直接ラベリングする。
前記合成画像ＣＩの表示タイプは監視装置の大きさ及び使用者の需要によって決定し、本発明にはその制限はない。
図１と図２を参照する。「生体が増加しているか否か」の工程１７では、前記画像キャプチャモジュール１２０が前記画像Ｉを持続的にキャプチャし、前記レーダー１３０が前記生理信号Ｖを検知し、且つ前記生体識別モジュール１１１が異なる時間の前記画像Ｉに前記生体Ｏが少なくとも１つは増加しているか否かを判断する。
前記生体識別モジュール１１１が前記画像Ｉに前記生体Ｏが１つ増加していると判断し、前記生体Ｏの前記数量が変わらないまたは前記生体Ｏが減少した場合に工程１４を実行し、前記時間マッチングモジュール１１３がバイタルサインをマッチングする。前記画像Ｉ中に前記生体Ｏが複数増加している場合は工程１５を実行し、前記空間マッチングモジュール１１５がバイタルサインをマッチングする。
前記画像Ｉ中に生体が存在しない場合は工程１１を実行し、前記バイタルサインＶｓを前記画像Ｉ中の前記生体Ｏに再度マッチングする。
前記生体識別モジュール１１１が前記画像Ｉに前記生体Ｏが１つ増加していると判断し、前記生体Ｏの前記数量が変わらないまたは前記生体Ｏが減少した場合に工程１４を実行し、前記時間マッチングモジュール１１３がバイタルサインをマッチングする。前記画像Ｉ中に前記生体Ｏが複数増加している場合は工程１５を実行し、前記空間マッチングモジュール１１５がバイタルサインをマッチングする。
前記画像Ｉ中に生体が存在しない場合は工程１１を実行し、前記バイタルサインＶｓを前記画像Ｉ中の前記生体Ｏに再度マッチングする。
図１を参照する。工程１７では前記画像Ｉ中に前記生体Ｏが少なくとも１つ増加している場合、前記バイタルサインキャプチャモジュール１１２は前記生理信号Ｖ中から他の少なくとも１つの前記バイタルサインＶｓを抽出し、複数の前記バイタルサインＶｓを有する。よって、工程１４または１５を実行する前にどの前記バイタルサインＶｓが元の前記生体ＢのバイタルサインＶｓであるかを判定し、且つどの前記バイタルサインＶｓが増加した前記生体ＢのバイタルサインＶｓであるかを判定する必要がある。
本実施形態では、前記バイタルサインキャプチャモジュール１１２が前記生体Ｂの増加後に抽出したこれら前記バイタルサインＶｓと前記生体Ｂの増加前に抽出した前記バイタルサインＶｓとの間の差値を計算し、且つ前記差値に基づいて前記生理信号Ｖ中の増加した前記バイタルサインＶｓを判断する。
各前記生体Ｏのバイタルサインは短時間に大きく変化しないため、本実施形態では、前記バイタルサインキャプチャモジュール１１２は、前記差値が最小の前記バイタルサインＶｓを元の前記バイタルサインＶｓであると判断し、残りの前記バイタルサインＶｓは増加した前記バイタルサインＶｓであると判断する。
一例を挙げると、本来前記バイタルサインキャプチャモジュール１１２が前記生理信号Ｖ中から抽出した１つの心拍数が８３回／分であり、前記生体の増加後に前記バイタルサインキャプチャモジュール１１２が前記生理信号Ｖ中から８４回／分、８８回／分、及び７８回／分である心拍数を３つ抽出した場合、各前記差値はそれぞれ１、５、及び５となり、前記バイタルサインキャプチャモジュール１１２は８４回／分の心拍数を元の前記バイタルサインＶｓであると判定し、８８回／分及び７８回／分の心拍数を増加した前記バイタルサインＶｓであると判定する。
本実施形態では、前記バイタルサインキャプチャモジュール１１２が前記生体Ｂの増加後に抽出したこれら前記バイタルサインＶｓと前記生体Ｂの増加前に抽出した前記バイタルサインＶｓとの間の差値を計算し、且つ前記差値に基づいて前記生理信号Ｖ中の増加した前記バイタルサインＶｓを判断する。
各前記生体Ｏのバイタルサインは短時間に大きく変化しないため、本実施形態では、前記バイタルサインキャプチャモジュール１１２は、前記差値が最小の前記バイタルサインＶｓを元の前記バイタルサインＶｓであると判断し、残りの前記バイタルサインＶｓは増加した前記バイタルサインＶｓであると判断する。
一例を挙げると、本来前記バイタルサインキャプチャモジュール１１２が前記生理信号Ｖ中から抽出した１つの心拍数が８３回／分であり、前記生体の増加後に前記バイタルサインキャプチャモジュール１１２が前記生理信号Ｖ中から８４回／分、８８回／分、及び７８回／分である心拍数を３つ抽出した場合、各前記差値はそれぞれ１、５、及び５となり、前記バイタルサインキャプチャモジュール１１２は８４回／分の心拍数を元の前記バイタルサインＶｓであると判定し、８８回／分及び７８回／分の心拍数を増加した前記バイタルサインＶｓであると判定する。
図１と図２を参照する。「時間マッチングモジュールをバイタルサインにペアリングする」工程１４では、前記生体Ｏが１つしか増加していない場合、前記バイタルサインキャプチャモジュール１１２は前記生理信号Ｖ中から１つの増加した前記バイタルサインＶｓを抽出するため、前記時間マッチングモジュール１１３が前記生理信号Ｖsを増加した前記生体Ｂにマッチングし、前記生理信号Ｖ中の元の前記バイタルサインＶｓは継続的に元の前記生体Ｂに分配する。
前記生体Ｏの前記数量が変化していないまたは減少した場合、前記生体識別モジュール１１１は前記生理信号Ｖから増加した前記バイタルサインＶｓを抽出しないため、前記時間マッチングモジュール１１３は元々のマッチングを維持し、各前記バイタルサインＶｓを各前記生体Ｏに分配する。
前記生体Ｏの前記数量が変化していないまたは減少した場合、前記生体識別モジュール１１１は前記生理信号Ｖから増加した前記バイタルサインＶｓを抽出しないため、前記時間マッチングモジュール１１３は元々のマッチングを維持し、各前記バイタルサインＶｓを各前記生体Ｏに分配する。
図１と図２を参照する。「空間マッチングモジュールをバイタルサインにペアリングする」工程１５では、前記生体Ｏが複数増加した場合、前記バイタルサインキャプチャモジュール１１２は前記生理信号Ｖ中から複数の増加した前記バイタルサインＶｓを抽出し、前記空間マッチングモジュール１１４が増加した各前記バイタルサインＶｓのエネルギーの大きさ及び増加した各前記生体Ｏの前記距離に基づいて増加した各前記バイタルサインＶｓを増加した各前記生体Ｏにマッチングする。
同様に、前記空間マッチングモジュール１１４はエネルギーの大きいものから小さいものにかけてその増加した前記バイタルサインＶｓを増加した各前記生体Ｏの前記位置Ｐが近いものから遠いものへと順にマッチングし、前記生理信号Ｖ中の元の前記バイタルサインＶｓは継続的に元の前記生体Ｏに分配する。
工程１４または１５では、増加した前記バイタルサインを増加した前記生体にマッチングした後に工程１６を実行し、前記演算装置１１０の前記画像合成モジュール１１５がすでにマッチングした前記バイタルサインＶｓを前記画像Ｉの前記生体Ｏに合成し、且つ前記合成画像ＣＩを出力する。
同様に、前記空間マッチングモジュール１１４はエネルギーの大きいものから小さいものにかけてその増加した前記バイタルサインＶｓを増加した各前記生体Ｏの前記位置Ｐが近いものから遠いものへと順にマッチングし、前記生理信号Ｖ中の元の前記バイタルサインＶｓは継続的に元の前記生体Ｏに分配する。
工程１４または１５では、増加した前記バイタルサインを増加した前記生体にマッチングした後に工程１６を実行し、前記演算装置１１０の前記画像合成モジュール１１５がすでにマッチングした前記バイタルサインＶｓを前記画像Ｉの前記生体Ｏに合成し、且つ前記合成画像ＣＩを出力する。
図５を参照する。他の実施形態では、前記生理信号Ｖを検知する前記レーダー１３０が高指向性アンテナ或いはビームフォーミング（Beamforming）のアンテナアレイを有する場合、無線信号のビーム幅が、前記画像キャプチャデバイス１２０がキャプチャした前記画像の全範囲をカバーせず、前記アンテナを回転するかアンテナアレイのビーム方向を改変することで異なる位置を指向するようにし、範囲中の全ての前記生体を検知するようにする。
図５に示されるように、前記画像キャプチャデバイス１２０が前記生体Ａ、Ｂ、及びＣを同時に含む画像をキャプチャしたが、前記レーダー１３０の無線信号のビーム幅が１つの領域１、２、３、４、または５しかカバーできない場合、まず前記画像キャプチャデバイス１２０がキャプチャした前記画像を５つの領域に区分する。
前記生体識別モジュール１１１が前記領域中の１つの前記生体Ｏしか識別しなかった場合、前記レーダー１３０の無線信号を前記領域で検知した前記生理信号Ｖに照準を合わせ、前記バイタルサインキャプチャモジュール１１２が前記生理信号Ｖにより１つの前記バイタルサインＶｓを抽出し、且つ前記時間マッチングモジュール１１３によりこの領域で検知した前記バイタルサインＶｓを前記生体に直接分配する。
例えば、前記生体識別モジュール１１１が前記領域３中で１つの生体Ｂのみを識別した場合、前記レーダー１３０の無線信号を領域３に指向して前記生理信号Ｖを検知し、前記バイタルサインキャプチャ装置１１２が前記生理信号Ｖ中から１つの前記バイタルサインＶｓを抽出する。これにより、前記時間マッチングモジュール１１３が１つの前記バイタルサインＶｓを１つの前記生体にマッチングする。
但し、前記生体識別モジュール１１１が１つの領域中で複数の生体Ｂを識別した場合、前記空間マッチングモジュール１１４が各前記バイタルサインのエネルギーの大きさに基づいて各前記バイタルサインをマッチングする。
図５に示されるように、前記画像キャプチャデバイス１２０が前記生体Ａ、Ｂ、及びＣを同時に含む画像をキャプチャしたが、前記レーダー１３０の無線信号のビーム幅が１つの領域１、２、３、４、または５しかカバーできない場合、まず前記画像キャプチャデバイス１２０がキャプチャした前記画像を５つの領域に区分する。
前記生体識別モジュール１１１が前記領域中の１つの前記生体Ｏしか識別しなかった場合、前記レーダー１３０の無線信号を前記領域で検知した前記生理信号Ｖに照準を合わせ、前記バイタルサインキャプチャモジュール１１２が前記生理信号Ｖにより１つの前記バイタルサインＶｓを抽出し、且つ前記時間マッチングモジュール１１３によりこの領域で検知した前記バイタルサインＶｓを前記生体に直接分配する。
例えば、前記生体識別モジュール１１１が前記領域３中で１つの生体Ｂのみを識別した場合、前記レーダー１３０の無線信号を領域３に指向して前記生理信号Ｖを検知し、前記バイタルサインキャプチャ装置１１２が前記生理信号Ｖ中から１つの前記バイタルサインＶｓを抽出する。これにより、前記時間マッチングモジュール１１３が１つの前記バイタルサインＶｓを１つの前記生体にマッチングする。
但し、前記生体識別モジュール１１１が１つの領域中で複数の生体Ｂを識別した場合、前記空間マッチングモジュール１１４が各前記バイタルサインのエネルギーの大きさに基づいて各前記バイタルサインをマッチングする。
図６は本発明の実施例の画像カメラによりキャプチャした実際の熱画像、及び自己注入同期レーダーによりバイタルサインを検知し、且つ画像合成を行って取得した前記合成画像ＣＩを示す図である。
図６（ａ）の前記画像Ｉ中に１人の人間が進入した。但しまだバイタルサインのマッチングが完了しておらず、バイタルサインを標示していない。
次いで、図６（ｂ）を参照すると、バイタルサインのマッチングが完了した際に、バイタルサインを人間の位置に直接標示する。
その後、図６（ｃ）を参照すると、前記画像Ｉ中に他のもう１人の人間が進入したが、増加したもう１人の人間のバイタルサインのマッチングがまだ完了していない。
最後に、図６（ｄ）を参照すると、バイタルサインのマッチングが完了した後、２人の人間のバイタルサインの標示が完了し、複数の生体のバイタルサインのマッチングを達成する。
図６（ａ）の前記画像Ｉ中に１人の人間が進入した。但しまだバイタルサインのマッチングが完了しておらず、バイタルサインを標示していない。
次いで、図６（ｂ）を参照すると、バイタルサインのマッチングが完了した際に、バイタルサインを人間の位置に直接標示する。
その後、図６（ｃ）を参照すると、前記画像Ｉ中に他のもう１人の人間が進入したが、増加したもう１人の人間のバイタルサインのマッチングがまだ完了していない。
最後に、図６（ｄ）を参照すると、バイタルサインのマッチングが完了した後、２人の人間のバイタルサインの標示が完了し、複数の生体のバイタルサインのマッチングを達成する。
本発明は前記画像キャプチャデバイス１２０がキャプチャした前記画像Ｉにより前記レーダー１３０が検知した前記生理信号Ｖのマッチングを補助し、前記レーダー１３０が検知した前記バイタルサインＶｓを対応する前記生体Ｏにマッチングし、複数のバイタルサインＶｓをマッチングできないという問題を克服し、複数の生体の生理信号の非接触による検知を達成する。
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。
１０ 生体画像の生理信号マッチング方法
１１ 画像のキャプチャと生理信号の検出
１２ 生体の識別とバイタルサインの抽出
１３ 画像中に複数の生体が存在するか否か
１４ 時間マッチングモジュールをバイタルサインにペアリングする
１５ 空間マッチングモジュールをバイタルサインにペアリングする
１６ バイタルサインを生体画像に合成する
１７ 生体が増加しているか否か
１１０ 演算装置
１１１ 生体識別モジュール
１１２ バイタルサインキャプチャモジュール
１１３ 時間マッチングモジュール
１１４ 空間マッチングモジュール
１１５ 画像合成モジュール
１２０ 画像キャプチャデバイス
１３０ レーダー
Ｉ 画像
Ｏ 生体
Ｐ 位置
Ｖ 生理信号
Ｖｓ バイタルサイン
ＣＩ 合成画像
１１ 画像のキャプチャと生理信号の検出
１２ 生体の識別とバイタルサインの抽出
１３ 画像中に複数の生体が存在するか否か
１４ 時間マッチングモジュールをバイタルサインにペアリングする
１５ 空間マッチングモジュールをバイタルサインにペアリングする
１６ バイタルサインを生体画像に合成する
１７ 生体が増加しているか否か
１１０ 演算装置
１１１ 生体識別モジュール
１１２ バイタルサインキャプチャモジュール
１１３ 時間マッチングモジュール
１１４ 空間マッチングモジュール
１１５ 画像合成モジュール
１２０ 画像キャプチャデバイス
１３０ レーダー
Ｉ 画像
Ｏ 生体
Ｐ 位置
Ｖ 生理信号
Ｖｓ バイタルサイン
ＣＩ 合成画像
Claims (10)
- 演算装置により画像及び生理信号を受信し、前記演算装置の生体識別モジュールは前記画像の中の１つまたは複数の生体の数量及び位置を識別し、前記演算装置のバイタルサインキャプチャモジュールは前記生理信号の中から前記生体の前記数量と同じ個数の前記バイタルサインを抽出する工程と、
前記生体が１つしか存在しない場合、前記演算装置の時間マッチングモジュールが前記生理信号の中の前記バイタルサインを前記生体とマッチングし、前記生体が複数存在する場合、前記演算装置の空間マッチングモジュールが各前記バイタルサインのエネルギーの大きさ及び各前記生体の前記位置に基づいて各前記バイタルサインを各前記生体とマッチングすることで、前記生体識別モジュールにより前記画像の中に前記生体が複数存在するか否かを判断する工程と、
前記生体が１つ増加している場合、前記時間マッチングモジュールが前記生理信号の中の増加した前記バイタルサインを増加した前記生体にマッチングし、前記生体が複数増加している場合、前記空間マッチングモジュールが増加した各前記バイタルサインの前記エネルギーの大きさ及び増加した各前記生体との距離に基づいて、増加した各前記バイタルサインを増加した各前記生体にマッチングすることで、前記生体識別モジュールが異なる時間の前記画像に前記生体が少なくとも１つは増加しているか否か判断する工程と、を含むことを特徴とする生体画像の生理信号マッチング方法。 - 前記画像中に前記生体が少なくとも１つ増加している場合、前記バイタルサインキャプチャモジュールが前記生体の増加後にキャプチャした各前記バイタルサインと前記生体の増加前にキャプチャした前記バイタルサインとの間の差値を計算し、前記差値に基づいて前記生理信号中で増加した前記バイタルサインを判断することを特徴とする請求項１に記載の生体画像の生理信号マッチング方法。
- 前記バイタルサインキャプチャモジュールは前記差値が最小の前記バイタルサインを前記生体が増加する前から存在する元の前記バイタルサインと判断し、残りの前記バイタルサインを増加した前記バイタルサインと判断することを特徴とする請求項２に記載の生体画像の生理信号マッチング方法。
- 前記画像は画像キャプチャデバイスがキャプチャして取得したものであり、前記画像キャプチャデバイスとして深度カメラ、熱画像カメラ、または光学カメラが選択されることを特徴とする請求項１に記載の生体画像の生理信号マッチング方法。
- 前記生理信号はレーダーが検知して取得したものであり、前記レーダーとしてドップラーレーダー、自己注入同期レーダー、または超広帯域レーダーが選択されることを特徴とする請求項１に記載の生体画像の生理信号マッチング方法。
- 前記演算装置の前記空間マッチングモジュールが検知した各前記バイタルサインの角度及び前記画像中で各前記生体が位置する領域に基づいて各前記バイタルサインを各前記生体にマッチングする工程を更に含むことを特徴とする請求項１に記載の生体画像の生理信号マッチング方法。
- 前記生理信号は指向性アンテナまたはビームフォーミングアンテナアレイを有するレーダーが検知して取得することを特徴とする請求項６に記載の生体画像の生理信号マッチング方法。
- 前記演算装置の画像合成モジュールはすでにマッチングした前記バイタルサインを生体画像に合成し、且つ前記画像合成モジュールはその合成画像を出力することを特徴とする請求項１に記載の生体画像の生理信号マッチング方法。
- 画像をキャプチャするための画像キャプチャデバイスと、
生理信号を検知するためのレーダーと、
生体識別モジュールと、バイタルサインキャプチャモジュールと、時間マッチングモジュールと、空間マッチングモジュールと、を有し、前記生体識別モジュールは前記画像キャプチャデバイスに電気的に接続して前記画像を受信し、前記画像中の生体の数量及び位置を用いて識別し、前記バイタルサインキャプチャモジュールは前記レーダー及び前記生体識別モジュールに電気的に接続して前記生理信号を受信し、前記バイタルサインキャプチャモジュールは前記生理信号の中から前記生体の前記数量と同じ個数のバイタルサインを抽出し、前記時間マッチングモジュールは前記生体識別モジュール及び前記バイタルサインキャプチャモジュールに電気的に接続して前記生体の前記位置及び前記バイタルサインを受信し、前記時間マッチングモジュールは前記生理信号の中の前記バイタルサインを前記生体にマッチングし、前記空間マッチングモジュールは前記生体識別モジュール及び前記バイタルサインキャプチャモジュールに電気的に接続して前記生体の前記位置を受信し、且つ前記バイタルサインキャプチャモジュールにより前記バイタルサインを受信し、前記空間マッチングモジュールは各前記バイタルサインのエネルギーの大きさ及び各前記生体の前記位置に基づいて各前記バイタルサインを各前記生体にマッチングする演算装置と、を備えていることを特徴とする生理信号マッチングシステム。 - 前記演算装置は画像合成モジュールを更に有し、前記画像合成モジュールは前記時間マッチングモジュール及び前記空間マッチングモジュールに電気的に接続し、前記画像合成モジュールはすでにマッチングした前記バイタルサインを生体画像に合成し、且つその合成画像を出力することを特徴とする請求項９に記載の生理信号マッチングシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108128454A TWI738034B (zh) | 2019-08-12 | 2019-08-12 | 影像之生物體的生理訊號配對方法及生理訊號配對系統 |
| TW108128454 | 2019-08-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021027993A true JP2021027993A (ja) | 2021-02-25 |
Family
ID=74568126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020135885A Pending JP2021027993A (ja) | 2019-08-12 | 2020-08-11 | 生体画像の生理信号マッチング方法及び生理信号マッチングシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210045697A1 (ja) |
| JP (1) | JP2021027993A (ja) |
| CN (1) | CN112394352A (ja) |
| TW (1) | TWI738034B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022234785A1 (ja) * | 2021-05-07 | 2022-11-10 | フィンガルリンク株式会社 | 生体状態測定装置、生体状態測定方法、プログラム及び生体状態測定システム |
| WO2023080018A1 (ja) * | 2021-11-04 | 2023-05-11 | オムロン株式会社 | 生体情報処理装置、生体情報処理方法およびプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11796668B2 (en) * | 2021-03-30 | 2023-10-24 | Ionetworks Inc. | Radar detection and identification device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003235813A (ja) * | 2002-12-19 | 2003-08-26 | Matsushita Electric Ind Co Ltd | 監視装置 |
| JP2016106734A (ja) * | 2014-12-03 | 2016-06-20 | 富士通株式会社 | 身体情報取得装置、身体情報取得方法、およびプログラム |
| JP2018075406A (ja) * | 2012-10-05 | 2018-05-17 | トランスロボティックス，インク． | 高分解能距離感知のためのシステム及び方法、並びにその適用 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4559770B2 (ja) * | 2004-04-20 | 2010-10-13 | 株式会社東芝 | 超音波診断装置および超音波診断方法 |
| KR100748585B1 (ko) * | 2005-07-15 | 2007-08-13 | 주식회사 메디슨 | 부가정보를 이용하여 영상을 구성하는 초음파 시스템 |
| US11039747B2 (en) * | 2015-05-27 | 2021-06-22 | Vita-Course Technologies Co., Ltd. | Signal obtaining method and system |
| US11702066B2 (en) * | 2017-03-01 | 2023-07-18 | Qualcomm Incorporated | Systems and methods for operating a vehicle based on sensor data |
| TWM569679U (zh) * | 2018-07-13 | 2018-11-11 | 昇雷科技股份有限公司 | Physiological signal detection robot |
-
2019
- 2019-08-12 TW TW108128454A patent/TWI738034B/zh active
- 2019-09-26 CN CN201910918372.5A patent/CN112394352A/zh active Pending
-
2020
- 2020-01-13 US US16/740,577 patent/US20210045697A1/en not_active Abandoned
- 2020-08-11 JP JP2020135885A patent/JP2021027993A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003235813A (ja) * | 2002-12-19 | 2003-08-26 | Matsushita Electric Ind Co Ltd | 監視装置 |
| JP2018075406A (ja) * | 2012-10-05 | 2018-05-17 | トランスロボティックス，インク． | 高分解能距離感知のためのシステム及び方法、並びにその適用 |
| JP2016106734A (ja) * | 2014-12-03 | 2016-06-20 | 富士通株式会社 | 身体情報取得装置、身体情報取得方法、およびプログラム |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022234785A1 (ja) * | 2021-05-07 | 2022-11-10 | フィンガルリンク株式会社 | 生体状態測定装置、生体状態測定方法、プログラム及び生体状態測定システム |
| JP2022172781A (ja) * | 2021-05-07 | 2022-11-17 | フィンガルリンク株式会社 | 生体状態測定装置、生体状態測定方法、プログラム及び生体状態測定システム |
| JP7373754B2 (ja) | 2021-05-07 | 2023-11-06 | フィンガルリンク株式会社 | 生体状態測定装置、生体状態測定方法、プログラム及び生体状態測定システム |
| WO2023080018A1 (ja) * | 2021-11-04 | 2023-05-11 | オムロン株式会社 | 生体情報処理装置、生体情報処理方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112394352A (zh) | 2021-02-23 |
| TWI738034B (zh) | 2021-09-01 |
| TW202107487A (zh) | 2021-02-16 |
| US20210045697A1 (en) | 2021-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021027993A (ja) | 生体画像の生理信号マッチング方法及び生理信号マッチングシステム | |
| Wang et al. | Quantitative gait measurement with pulse-Doppler radar for passive in-home gait assessment | |
| EP3534781B1 (en) | Device, method and computer program for determining the core body temperature of a subject | |
| CN104755018B (zh) | 用于提取生理信息的设备和方法 | |
| EP2879571B1 (en) | Device and method for extracting physiological information | |
| US11776146B2 (en) | Edge handling methods for associated depth sensing camera devices, systems, and methods | |
| CN103126655B (zh) | 一种非约束目标的非接触式脉搏波采集系统及采集方法 | |
| US20150131879A1 (en) | Apparatus based on image for detecting heart rate activity and method thereof | |
| US11222437B2 (en) | Methods and systems for in-bed pose estimation | |
| US20190104980A1 (en) | Non-contact apparatus and method for capturing skin surface image data | |
| KR101310464B1 (ko) | 생체 정보 감시 시스템 및 그 시스템을 이용한 생체 정보 감시 방법 | |
| KR20180070878A (ko) | 초음파 프로브의 주석 정보를 제공하는 방법 및 초음파 시스템 | |
| Gupta et al. | Automatic contact-less monitoring of breathing rate and heart rate utilizing the fusion of mmWave radar and camera steering system | |
| Conte et al. | Performance analysis for human crowd monitoring to control covid-19 disease by drone surveillance | |
| Sun et al. | Vital-CUBE: a non-contact vital sign monitoring system using medical radar for ubiquitous home healthcare | |
| US11317810B2 (en) | Devices and methods for noninvasive physiological analysis | |
| WO2012032215A1 (en) | Thermography method and system | |
| EP4265178A1 (en) | Non-contact sensing of vital signs | |
| CN109419498A (zh) | 一种多功能人体感知系统 | |
| Kopeliovich et al. | Optimal facial areas for webcam-based photoplethysmography | |
| US20190316966A1 (en) | Image processing device and image processing method | |
| Bauder et al. | Development of a Multi-Functional Remote Health Monitoring System | |
| Pan | Vital signs monitoring based on UWB radar | |
| CN111343906A (zh) | 测量装置、计算机实现方法、程序以及一种或多种计算机可读存储介质 | |
| EP4335357A1 (en) | System and method for imaging a body of a person |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210903 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20211210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220823 |