JP2018027282A - 生体情報に連動するスマートボードシステム及びその方法 - Google Patents

生体情報に連動するスマートボードシステム及びその方法 Download PDF

Info

Publication number
JP2018027282A
JP2018027282A JP2016171815A JP2016171815A JP2018027282A JP 2018027282 A JP2018027282 A JP 2018027282A JP 2016171815 A JP2016171815 A JP 2016171815A JP 2016171815 A JP2016171815 A JP 2016171815A JP 2018027282 A JP2018027282 A JP 2018027282A
Authority
JP
Japan
Prior art keywords
user
information
electrocardiogram
smart board
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016171815A
Other languages
English (en)
Inventor
キム,ヨンテ
Young Tae Kim
キム,ヨンソグ
Yong Seog Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai IT Japan Corp
Hyundai Bioscience Co Ltd
Original Assignee
Hyundai IT Japan Corp
Hyundai IT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai IT Japan Corp, Hyundai IT Corp filed Critical Hyundai IT Japan Corp
Publication of JP2018027282A publication Critical patent/JP2018027282A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Tourism & Hospitality (AREA)
  • Physiology (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Child & Adolescent Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】生体情報に連動するスマートボードシステムを提供する。【解決手段】心電図データベースを具備した監視サーバーと連動し、ユーザーの健康状態を心電図センサーを用いてチェックし、前記の少なくとも一人のユーザーの健康状態情報を生成し、それをユーザー状態監視サーバーに伝送する少なくとも一つスマートボード、及び前記の少なくとも一つスマートボードから受信した前記のユーザーの健康状態情報を分析し、ユーザーの健康状態を監視するユーザー状態監視サーバー、を含む。【効果】スマートボードユーザーの疲労度を測定するメカニズムとして話者と聴衆の状況別に適正なイベントを行う効果がある。また、本発明によると、ユーザーはスマートボードの使用の際、心電図情報を病院に伝送して遠隔地の医者と診療相談を受けられる効果がある。【選択図】図1

Description

本発明はスマートボードに関し、詳しくは、生体情報を基にスマートボードを制御するシステム及びその方法に関するものである。
大型ディスプレー技術の発展に伴い、既存の黒板やビームプロジェクターの代わりに電子黒板が広く使われている。教育環境においては電子黒板を用い、効率の良い学習を行い、ビジネスの現場ではプレゼンテーションなどの様々なコンテンツを表す用途して活用されている。
最近、IT技術と医療情報技術の発達により、それらを融合した技術が生活現場と産業現場の物に適用されている。このようなIT医療融合技術は、診療の領域を病院内に留まらず、家庭、学校、会社に至るまで時空間の制限がなく、いつでもどこでも医療サービスに接続可能になった。
疲労度測定には光電式容積脈波計を用いて測定された脈波から瞬間の心拍数を分離した後、心拍の微細な変化率、すなわち、時間の変化による心拍動の周期的な変化を表す心拍変異度の信号処理技術を用い、交感及び副交感神経の均衡の具合を定量的に分析し、それによりストレスの程度と自律神経の均衡状態および心血管の機能を同時に検査する装備が広く使われている。また、心拍変異度、疲労の程度のようなデータを測定し、その測定したデータを使い、測定対象についての評価及び診断を行う診断装置が広く使われている。
しかし、従来には疲労度についての誤差が大きく、集中力を向上させる手段を提示することは困難であった。
本発明は、前記のような従来の技術を認識し案出されたものとして、スマートボードのユーザーが自ら疲労度を測定し、話者と聴衆の健康状態に伴う適切なイベントを行うことを目的とする。
本発明は、また、ユーザーが心電図の情報を病院に伝送し、遠隔地の医者との診療相談が可能な生体情報に連動したスマートボードとそれのコントロール方法を提供することを目的とする。
上記の技術的な課題を解決するための本発明の生体情報に連動するスマートボードシステムは、
心電図のデータベースを備えた監視サーバーと連動してユーザーの健康状態を心電図センサーを用いてチェックし、
前記の少なくとも一人のユーザーの健康状態情報を生成し、
それをユーザー状態監視サーバーに伝送する少なくとも一つのスマートボード;及び
前記の少なくとも一つのスマートボードから受信した前記のユーザーの健康状態を分析して、
ユーザーの健康状態を監視するユーザー状態監視サーバー;を含む。
好適には、前記のユーザー状態監視サーバーは病院に具備され、前記のスマートボードが送信した心電図データベースを保存し、ユーザーは前記のスマートボードを用い、遠隔地の医者と画像通信ができる事を特徴とする。
本発明に伴う生体情報に連動するスマートボードは、生体情報のデータベースを具備したユーザー状態監視サーバーと連動するスマートボードにおいて、
生体情報を用いユーザーの心電図を測定する生体情報認識部;
前記の生体情報認識部のユーザーの心電図情報を受信し、それに対応するイベントを出力する出力部;
前記の生体情報認識部から前記のユーザーの心電図情報を入力してもらい、それを分析し、前記のユーザーの疲労度情報と健康状態情報を生成し、それを前記のユーザー状態監視サーバーに伝送するように通信部をコントロールする制御部;
及び、前記の制御部の制御信号により、前記のユーザーの疲労度情報と健康情報を前記のユーザーの状態監視サーバーと送受信する通信部;を含む。
好適には、前記の生体情報認識部は、周期的にユーザーの健康状態をチェックし、前記のユーザーの心電図をセンシングし、前期ユーザーの心電図情報を生成する測定モジュール;
前記のユーザーの心電図情報と疲労度の設定値が保存されたストレージモジュール;
及び、前記のユーザーの心電図情報と疲労度の設定値との差を抽出する演算モジュールを含む。
好適には、前記の演算モジュールは、前記のユーザーの心電図情報を分析し、前記のユーザーの心電図状態が疲労度の設定値とデータの差が基準値より大きい場合、ユーザーの健康状態が危険状態と判断することを特徴とする。
好適には、前記の疲労度の設定値は、最初の心電図の測定結果を用いて計算することを特徴とする。
好適には、前記のユーザーの健康状態が危険状態と判断される場合、前記の出力部はユーザーの心電図情報と疲労度の設定値とのデータの差に対応する視覚及び音響的な効果を外部に表示することを特徴とする。
本発明による生体情報に基づく生体疲労度の測定方法は、心電図に基づく疲労度測定装置を具備した生体情報に連動するスマートボードの生体疲労度の測定方法において、
当該ユーザーの心電図の波形を入力してもらい、ノイズを除去する段階;
各波形の基本形態を決めた後、ユーザーによる全体の波形の基本形態を決める段階;
波形の基本形態の変化を判断し、該当する波形を分類する段階;
波形が分類されると該当する波形の特徴を抽出する段階;
抽出された特徴を基に、ユーザーの心電図情報と疲労度の設定値を比較する段階;
前記のユーザーの心電図情報と前記疲労度の設定値のデータ差を抽出する段階;
及び、前記データの差に対応するイベントを出力する段階を含む。
好適には、前記の抽出された特徴を基に、ユーザーの心電図情報と疲労度の設定値を比較する段階は、最初の心電図の測定結果を疲労度の設定値として決める段階をより含む。
好適には、前記データの差に対応するイベントを出力する段階は、抽出された差が危険状態に該当する場合、病院の救急救命室に連絡し、病院のサーバーにユーザーの心電図情報が伝送される段階をより含む。
本発明によると、スマートボートのユーザーが自ら疲労度を測定することにより話者と聴衆の健康状態による適切なイベントを行う効果がある。
また、本発明によると、スマートボードの使用の際、ユーザーの心電図情報を病院に伝送し、遠隔地の医者と診療相談が出来る効果がある。
本明細書に添付される次の図面は、本発明の好適な実施例を例示することであって、後述する発明の詳細な説明と共に、本発明の技術思想をより理解させる役割を果たすもので、本発明はそのような図面に記載された事項にだけ限定して解釈してはいけない。
本明細書の一例による生体情報に連動するスマートボードのシステム構成図である。 本明細書の一例によるスマートボードの構成を概略的に図示したブロック図である。 本明細書の一例による生体情報に基づく、生体疲労度の測定方法を示すフローチャートである。 本明細書の一例によるスマートボードの生体情報認識によるイベント信号がディスプレー部に表示される例示図である。
以下では、図面を参考し、本発明の好適な実施例を詳細に説明する。
以下の説明及び添付された図面において実質的に同一の構成要素は、各々同一の符号として示すことにより、重複説明を省略する。また、本発明を説明するに当り、関連するお知らせ機能或いは構成についての具体的な説明が本発明の要旨を理解するのに必要以上妨げになると判断した場合は、それについての詳細な説明は省略する。
以下、添付された図面を参考し、本明細書に開示した実施例を詳細に説明するが、図面符号に関係なく同一である或いは類似な構成要素は同一の参考番号を与え、それについて重複する説明は省略する。また、本明細書に開示した実施例を説明するに当り、関連する公知技術ついての具体的な説明が本明細書に開示した実施例の要旨を理解するのに必要以上妨げになると判断した場合は、その詳細な説明を省略する。また、添付された図面は、本明細書に開示された実施例を分かりやすくするためであって、添付された図面により本明細書に開示した技術的思想に制限されなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むこととして理解されるべきである。
本明細書において説明されるスマートボードは、携帯電話、スマートフォン(SMART PHONE)、ノート型パソコン(LAPTOP COMPUTER),スマートボード、デジタル放送用の端末機、PDA(PERSONAL DIGITAL ASSISTANTS)、PMP(PORTABLE MULTIMEDIA PLAYER)、ナビゲーション、スレートPC(SLATE PC)、タブレットPC(TABLET PC)、ウルトラブック(ULTRABOOK)、ウエアラブルデバイス(WEARABLE DEVICE)、例えば、ウォッチ型端末機(SMARTWATCH)、グラス型端末機(SMART GLASS)、HMD(HEAD MOUNTED DISPLAY)などが含まれる。
図2は、本明細書に一例によるスマートボードの構成を概略的に図示したブロック図である。
上記のスマートボード(100)は、通信部(110)、入力部(120)、生体情報認識部(130)、センシング部(140)、出力部(150)、インターフェース部(160)、メモリー(170)、制御部(180)及び電源供給部(190)などを含むことができる。図2に図示された構成要素はスマートボードを具現するに当たり、必須的なものではなく、本明細書において説明されるスマートボードは、以上で並べた構成要素より多い、または少ない構成要素を持つことができる。
より詳細には、前記の構成要素の内、通信部(110)は、スマートボード(100)と通信システムの間、スマートボード(100)と他のスマートボード(100)の間、または、スマートボード(100)と外部サーバーとの間の無線通信を可能にする一つ以上のモジュールを含むことができる。また、前記の通信部(110)は、スマートボード(100)を一つ以上のネットワークにつなぐ一つ以上のモジュールを含むことができる。
このような通信部(110)は、放送受信モジュール(111)、移動通信モジュール(112)、無線インターネットモジュール(113)、近距離通信モジュール(114)、位置情報モジュール(115)の内、少なくとも一つを含むことができる。
入力部(120)は、映像信号の入力のためのカメラ(121)または映像入力部、オーディオ信号の入力のためのマイクロフォーン(MICROPHONE,122)、またはオーディオ入力部、ユーザーからの情報を入力してもらうためのユーザー入力部(123、例えば、タッチキー(TOUCH KEY)、プッシュキー(MECHANICAL KEY)など)を含むことができる。
入力部(120)から集めた音声データやイメージデータは分析され、ユーザーの制御命令として処理することができる。
生体情報認識部(130)は、測定モジュール(131)、ストレージモジュール(132)、演算モジュール(133)として構成される。生体情報認識部(130)は、生体認識技術を用い、人間の生理学的、または行動上の特性を基に、個人の特徴を認証の手段として活用する技術を活用する。生体認識に活用される認証手段としては、心電図だけでなく、指紋、網膜、虹彩、顔面、手、静脈、声、署名、DNAなどがある。
測定モジュール(131)は、当該ユーザーの心電図の波形を入力してもらう。また、測定モジュール(131)は、認識されたユーザーの心電図の波形の基底線の雑音を除去する。
ストレージモジュール(132)は、測定モジュール(131)から入力したユーザーの心電図の波形を保存する。初期ユーザーの心電図の波形を普段状態の疲労度の設定値として保存する。
演算モジュール(133)は、測定モジュール(131)から入力された心電図の波形の基本形態を決めた後、ユーザーによる全体の波形の基本形態を決める。演算モジュール(133)は、心電図の波形の基本形態の変化を判断し、該当する波形を分類する。
演算モジュール(133)は、心電図の波形が分類されると、ユーザー認識のため、該当する心電図の波形の特徴を抽出する。演算モジュール(133)は、前記抽出された特徴を基に、既に決められているコードのよりユーザーを認識できる認識情報を生成する。
演算モジュール(133)は、認識情報を基に、ユーザー認識を行う。演算モジュール(133)は、認識されたユーザーの心電図の波形をストレージモジュール(132)に保存した心電図のデータと比較する。演算モジュール(133)は、初期の心電図の測定値を平常状態の疲労度の設定値として設定し、その後の心電図の測定値を疲労度の設定値と比較する。演算モジュール(133)は、心電図の測定値と疲労度の設定値を比較したデータの差を制御部(180)に送信すると制御部(180)は、データの差に該当するイベント効果を出力するように出力部(150)をコントロールする。
演算モジュール(133)は、検索された命令語を制御部(180)に送信し、制御部(180)が検索された命令語により出力部(150)をコントロールする。
センシング部(140)は、スマートボード内の情報、スマートボードを囲む周囲環境の情報及びユーザーの情報の内、少なくとも一つをセンシングするための一つ以上のセンサーを含むことができる。例えば、センシング部(140)は、生体認識センサー(141、BIOMETRIC INFORMATION SENSOR)、近接センサー(142、PROXIMITY SENSOR)、照度センサー(143、ILLUMINATION SENSOR)、タッチセンサー(TOUCH SENSOR)、加速度センサー(ACCELERATION SENNSOR)、磁気センサー(MAGNETIC SENSOR) 、重力センサー(G-SENSOR)、ジャイロスコープセンサー(GYROSCOPE SENSOR)、モーションセンサー(MOTION SENNSOR)、RGBセンサー、赤外線センサー(IRセンサー:INFRARED SENSOR)、指紋認識センサー(FINGER SCAN SENSOR)、超音波センサー(ULTRASONIC SENSOR)、光センサー(OPTICAL SENSOR、例えば、カメラ(121参考))、マイクロホン(MICROPHONE、122参考)、バッテリーゲージ(BATTERY GAUGE)、環境センサー(例えば、気圧計、湿度計、温度計、放射能感知センサー、熱感知センサー、ガス感知センサーなど)、化学センサー(例えば、電子鼻、ヘルスケアセンサーなど)の内、少なくとも一つを含むことができる。
一方、本明細書に開示されたスマートボードは、このようなセンサーの中で少なくとも二つ以上のセンサーからセンシングされる情報を組み合わせて活用することもできる。
出力部(150)は、視覚、聴覚または触覚などと関連した出力を発生させるためのもので、ディスプレー部(151)、音響出力部(152)、ハプティクスモジュール(153)、光出力部(154)の内、少なくとも一つを含むことができる。ディスプレー部(151)は、タッチセンサーと相互レイヤー構造を成すか一体型として形成されることによって、タッチスクリーンを具現できる。このようなタッチスクリーンは、スマートボード(100)とユーザーとの間の入力インターフェースを提供するユーザー入力部(123)として機能すると同時に、スマートボード(100)とユーザーとの間の出力インターフェースを提供することができる。
インターフェース部(160)は、スマートボード(100)に連結される様々な種類の外部の機器との通路の役割を果たす。このようなインターフェース部(160)は、有・無線ヘッドホンポート(PORT)、外部充電式ポート(PORT)、有・無線データポート(PORT)、メモリーカード(MEMORY CARD)ポート(PORT)、識別モジュールが具備された装置を連結するポート(PORT)、オーディオI/O(INPUT/OUTPUT)ポート(PORT)、ビデオI/O(INPUT/OUTPUT)ポート(PORT)、イヤホンポート(PORT)の内、少なくとも一つを含むことができる。スマートボード(100)においては、前記のインターフェース部(160)に外部機器が連結されることに対応し、連結された外部機器と関連した適切な制御を行うことができる。
また、メモリー(170)は、スマートボード(100)の多様な機能を支援するデータを保存する。メモリー(170)は、スマートボード(100)から駆動される多数の応用プログラム(APPLICATION PROGRAMまたはアプリケーション(APPLICATION))、スマートボード(100)の動作のためのデータ、命令語を保存することができる。このような応用プログラムの内、少なくとも一部は、無線通信を通して外部のサーバーからダウンロードすることができる。また、このような応用プログラムの内少なくとも一部は、スマートボード(100)の基本的な機能(例えば、電話着信、発信機能、メッセージの受信、発信機能)のため、出庫当時からスマートボード(100)上に存在することができる。一方、応用プログラムは、メモリー(170)に保存され、スマートボード(100)上に設置され、制御部(180)により前記のスマートボードの動作(または機能)が行われるよう、駆動することができる。
制御部(180)は、前記の応用プログラムと関連する動作以外にも、通常的にスマートボード(100)の全般的な動作を制御する。制御部(180)は以上で調べた構成要素を通して入力または出力される信号、データ、情報などを処理したり、メモリー(170)に保存された応用プログラムを駆動することによって、ユーザーに適切な情報または機能を提供または処理できる。
また、制御部(180)は、メモリー(170)に保存された応用プログラムを駆動するため、図2と共に調べた構成要素の内、少なくとも一部をコントロールすることができる。さらに、制御部(180)は、前記の応用プログラムの駆動のため、スマートボード(100)に含まれた構成要素の内、少なくとも二つ以上を互いに組み合わせて動作できる。
電源供給部(190)は、制御部(180)の制御の下に、外部の電源、内部の電源の印加を受け、スマートボード(100)に含まれた各構成要素に電源を供給する。このような電源供給部(190)はバッテリーを含み、前記のバッテリーは内蔵型または取り替えの可能な形のバッテリーとして使える。
前記の各構成要素の内少なくとも一部は、以下で説明する多様な実施例によるスマートボードの動作、コントロール、または制御方法を具現するため互いに協力して動作することができる。また、前記のスマートボードの動作、コントロール、または制御方法は、前記のメモリー(170)に保存された少なくとも一つの応用プログラムの駆動により、スマートボード上に具現できる。
一方、センシング部(140)は、スマートボード内の情報、スマートボードを囲む周囲の環境情報及びユーザー情報の内、少なくとも一つをセンシングし、それに対応するセンシング信号を発生させる。制御部(180)は、このようなセンシング信号に基づき、
スマートボード(100)の駆動または動作を制御したり、スマートボード(100)に設置された応用プログラムと関連したデータの処理、機能または動作を行うことができる。センシング部(140)に含まれる多様なセンサーの内、代表的なものに対して、より詳細に調べてみる。
近接センサー(141)は、所定の検出面に接近する物体、あるいは近くに存在する物体の有無を電磁界の力または赤外線などを用い、機械的な接続なしに検出するセンサーを称する。このような近接センサー(142)は、以上で調べたスクリーンにより囲まれるスマートボードの内部領域または前記のタッチスクリーンの近くに近接センサー(141)が配置される。
近接センサー(141)の例としては、透過型光電センサー、直接反射型光電センサー、ミラー反射型光電センサー、高周波発信型近接センサー、静電容量型近接センサー、磁気型近接センサー、赤外線近接センサーなどがある。タッチスクリーンが静電式の場合は、近接センサー(141)は、伝導性を持つ物体の近接による電界の変化で前記の物体の近接を検出するように構成できる。この場合、タッチスクリーン(またはタッチセンサー)自体が近接センサーとして分類することができる。
一方、説明の便利のため、タッチスクリーン上に物体が接続しないまま近接され、前記の物体が前記のタッチスクリーン上に位置することが認識できるようにする行為を「近接タッチ(PROXIMITY TOUCH)」と命名し、前記タッチスクリーン上に物体が実際に接続される行為を「接続タッチ(CONTACT TOUCH)」と命名する。前記のタッチスクリーン上に物体が近接タッチされる位置というのは、前記の物体が近接タッチされる時、前記の物体が前記のタッチスクリーンに対して垂直に対応する位置を意味する。前記の近接センサー(142)は、近接タッチと、近接タッチパターン(例えば、近接タッチの距離、近接タッチの方向、近接タッチの速度、近接タッチの時間、近接タッチの位置、近接タッチの移動状態など)を感知することができる。一方、制御部(180)は、このように、近接センサー(141)を通して感知された近接タッチ動作及び近接タッチのパターンに相応するデータ(または情報)を処理し、さらに、処理されたデータに対応する視覚的な情報をタッチスクリーン上に出力することができる。また、制御部(180)は、タッチスクリーン上の同一の地点に対するタッチが、近接タッチであるかまたは、接続タッチであるかによって、互いに違う動作またはデータ(または情報)が処理されるように、スマートボード(100)をコントロールすることができる。
タッチセンサーは、抵抗膜方式、静電容量方式、赤外線方式、超音波方式、磁気場方式など様々なタッチ方式の内、少なくとも一つを用い、タッチスクリーン(またはディスプレー部(151))に加わるタッチ(またはタッチ入力)を感知する。
一例として、タッチセンサーは、タッチスクリーンの特定部位に加わる圧力または特定部位に発生する静電容量などの変化を電気的な入力信号として変換するように構成される。タッチセンサーは、タッチスクリーン上にタッチを加えるタッチの対象体がタッチセンサー上にタッチされる位置、面積、タッチする際の圧力、タッチの際の静電容量などを検出できるよう、構成することができる。ここで、タッチの対象体は、前記のタッチセンサーにタッチを印加する物体として、例えば、指、タッチペンまたはスタイラスペン(STYLUS PEN)、ポインターなどが使える。
このように、タッチセンサーに対するタッチ入力がある場合、それに対応する信号は、タッチ制御器に送られる。タッチ制御器は、その信号を処理した後、対応するデーターを制御部(180)に伝送する。それで、制御部(180)は、ディスプレー部(151)のある領域にタッチしたかが分かる。
ここで、タッチ制御器は、制御部(180)と別途の構成要素である場合もあって、制御部(180)その自体であることもできる。
一方、制御部(180)は、タッチスクリーン(またはタッチスクリーン以外に具備されたタッチキー)をタッチする、タッチ対象体の種類のよって、互いに違うコントロールを行ったり、同一のコントロールを行うことができる。タッチ対象体の種類のよって、互いに違うコントロールを行うかまたは同一のコントロールを行うかは、現在スマートボード(100)の動作状態または実行中の応用プログラムによって決められる。
一方、前述したタッチセンサー及び近接センサーは、独立的にまたは組み合わせて、タッチスクリーンに対するショット(またはタップ)タッチ(SHORT TOUCH)、ロングタッチ(LONG TOUCH)、マルチタッチ(MULTI TOUCH)、ドラックタッチ(DRAG TOUCH)、フリックタッチ(FLICK TOUCH)、ピンチインタッチ(PINCH-IN TOUCH)、ピンチアウトタッチ(PINCH-OUT TOUCH)、スワイプタッチ(SWYPE TOUCH)、ホバリングタッチ(HOVERING TOUCH)などのような、多様な方式のタッチをセンシングすることができる。
超音波センサーは、超音波を用い、感知対象の位置情報を認識できる。一方、制御部(180)は、光センサーと複数の超音波センサーから感知される情報を通じて、波動発生源の位置を算出することが可能である。波動発生源の位置は、光が超音波よりはるかに速い性質、すなわち、光が光センサーに到達する時間が超音波が超音波センサーに到達する時間よりはるかに速いことを利用し、算出することができる。より詳細には、光を基準信号として超音波が到達する時間との時間差を用いて、波動の発生源の位置が算出できる。
一方、A/V入力部(120)の構成として調べた、カメラ(121)は、カメラセンサー(例えば、CCD,CMOSなど)、フォトセンサー(またはイメージセンサー)及びレーザーセンサーの内、少なくとも一つを含む。
カメラ(121)とレーザーセンサーは互いに組み合わされ、3次元の立体映像についての感知対象のタッチを感知できる。フォトセンサーはディスプレー素子に積層されるが、このようなフォトセンサーは、タッチスクリーンに近接した感知対象の動きをスキャニングするようにできている。より詳細には、フォトセンサーは行・列にPHOTO DIODEとTR(TRANSISTOR)を実装して、PHOTO DIODEに印加される光の量によって変化する電気的な信号を使い、フォトセンサー上に置かれる内容物をスキャンする。すなわち、フォトセンサーは、光の変化量による感知対象の座標の計算を行い、それによって、感知対象の位置情報が獲得できる。
ディスプレー部(151)は、スマートボード(100)から処理される情報を表示(出力)する。例えば、ディスプレー部(151)は、スマートボード(100)から駆動される応用プログラムの実行画面の情報、またはこのような実行画面情報によるUI(USER INTERFACE)、 GUI(GRAPHIC USER INTERFACE)情報を表示できる。
また、前記のディスプレー部(151)は、立体映像を表示する立体ディスプレー部として構成することができる。前記の立体ディスプレー部には、ステレオスコピック方式(眼鏡方式)、オートステレオスコピック方式(無眼鏡方式)、プロジェクション方式(ホログラフィック方式)などの3次元ディスプレー方式が適用される。
図3は、生体情報に基づく生体疲労度の測定方法を示したフローチャートである。
図3を参考すると、生体情報に基づく生体疲労度の測定方法は、心電図に基づく疲労度の測定装置を具備した生体情報に連動するスマートボードの生体疲労度の測定方法において、当該ユーザーの心電図の波形を入力してもらい、ノイズを除去する段階(S310);
波形の基本形態を決めた後、ユーザーによる全体の波形の基本形態を決める段階(S320);
波形の基本形の変化を判断して該当する波形を分類する段階(S330);
波形が分類されると該当する波形の特徴を抽出する段階(S340);
抽出された特徴を基にユーザーの心電図情報と疲労度の設定値を比較する段階(S350);
前記のユーザーの心電図情報と前記の疲労度の設定値のデーターの差を抽出する段階(S360);及び
前記データの差に対応するイベントを出力する段階(S370)を含む。
図4は、本明細書によるスマートボードの生体情報認識によるイベント信号がディスプレー部に表示される例示図である。
図4を参考すると、本発明の一例において、生体情報認識部(130)の測定モジュール(131)がユーザー(300)の心電図を測定し、それを演算モジュール(133)に送信すると、生体情報認識部(130)から設定値に対応する疲労度を計算し、制御部(180)は、出力部(150)をコントロールし、疲労度の結果値に対応するイベント(1,2)を発生する。初期の心電図の測定値を疲労度の設定値として設定する。イベント(1,2)は、ディスプレー部(151)にアイコンの形で出力することもでき、音響出力モジュール(152)の音響として出力することもできる。疲労度の結果値が疲労度の設定値より小さいと普段の状態のイベント(1)が出力され、疲労度の結果値が疲労度の設定値より大きいと疲労状態のイベント(2)が出力される。万が一、複数のスマートボードがWANまたはINTERNETを使ってネットワークとして構成されている場合、画像チャット画面にユーザーの画面や絵文字が普段状態のイベント(1)であるか、または疲労状態のイベント(2)であるかを確認して遠隔地の相手のチャットまたは業務状態を確認することができる。
図4に図示されたイベントの形態及び含まれたアイコンの数及び種類は一つの例示に過ぎず、出力部(150)の機能を実現するため様々なモジュールの作用によるアイコン、音響だけでなく、香、拡張現実、ホログラムなど様々な方法を使うことができる。
本明細書は、前記の構成の精神及び必須的な特徴から離れない範囲内で、他の特定した形態に具体化できることは当業者には自明なことである。前記の詳細な説明は全ての面において制限的に解釈されてはいけなく、例示的なものとして考慮すべきである。本明細書の範囲は添付された請求項の合理的な解釈により決定されるべきであり、本明細書の等価的な範囲内でのすべての変更は本発明の範囲に含まれる。
100:スマートボード
110:通信部
120:入力部
130:生体情報認識部
140:センシング部
150:出力部
160:インターフェース部
170:メモリー
180:制御部
190:電源供給部
200:サーバー
300:ユーザー

Claims (10)

  1. 心電図データベースを備えた監視サーバーに連動してユーザーの健康状態を心電図センサーを用いてチェックし、前記の少なくとも一人のユーザーの健康状態情報を生成し、それをユーザーの状態を監視するサーバーに伝送する少なくとも一つスマートボード;及び
    前記の少なくとも一つのスマートボードから受信した前記のユーザーの健康状態情報を分析し、ユーザーの健康状態を監視するユーザー状態監視サーバー;を含む生体情報に連動するスマートボードシステム。
  2. 前記のユーザー状態監視サーバーは、病院に具備され、前記のスマートボードが送信した心電図データベースを保存し、ユーザーは前記のスマートボードを用い、遠隔地の医者と画像通信が可能なことを特徴とする、請求項1に記載の生体情報に連動するスマートボードシステム。
  3. 生体情報のデータベースを具備したユーザー状態監視サーバーに連動するスマートボードにおいて、
    生体情報を用いてユーザーの心電図を測定する生体情報認識部;
    前記の生体情報認識部のユーザーの心電図情報を受信し、それに対応するイベントを出力する出力部;
    前記の生体情報認識部から前記のユーザーの心電図情報を入力してもらい、それを分析し、前記のユーザーの疲労度情報と健康状態情報を生成し、それを前記のユーザー状態監視サーバーに伝送するように通信部をコントロールする制御部;及び
    前記の制御部の制御信号により、前記のユーザーの疲労度情報と健康情報を前記のユーザー状態監視サーバーと送受信する通信部;を含むことを特徴とする生体情報に連動するスマートボード。
  4. 前記の生体情報認識部は、
    周期的にユーザーの健康状態をチェックする動作を行い、前記のユーザーの心電図をセンシングして、前記のユーザーの心電図情報を生成する測定モジュール;
    前記のユーザーの心電図情報と疲労度の設定値が保存されたストレージモジュール:及び
    前記のユーザーの心電図情報と疲労度の設定値との差を抽出する演算モジュールを含むことを特徴とする請求項3に記載の生体情報に連動するスマートボード。
  5. 前記の演算モジュールは、前記のユーザーの心電図情報を分析し、前記のユーザーの心電図状態が疲労度の設定値とデータの差が基準値より大きい場合、ユーザーの健康状態が危険状態と判断することを特徴する請求項4に記載の生体情報に連動するスマートボード。
  6. 前記の疲労度の設定値は、最初の心電図の測定結果を用い、計算されることを特徴とする、 請求項5に記載の生体情報に連動するスマートボード。
  7. 前記のユーザーの健康状態が危険状態と判断される場合、前記の出力部はユーザーの心電図情報と疲労度の設定値とのデータの差に対応する視覚及び音響的な効果を外部に表示してくれることを特徴とする請求項5に記載の生体情報に連動するスマートボード。
  8. 心電図に基づく疲労度の測定装置を具備した生体情報に連動するスマートボードの生体疲労度の測定方法において、
    当該ユーザーの心電図の波形を入力してもらい、ノイズを除去する段階;
    各波形の基本形態を決めた後、ユーザーによる全体の波形の基本形態を決める段階;
    波形の基本形態の変化を判断して該当する波形を分類する段階;
    波形が分類されると、該当する波形の特徴を抽出する段階;
    抽出された特徴を基にユーザーの心電図情報と疲労度の設定値を比較する段階;
    前記のユーザーの心電図情報と前記の疲労度の設定値のデータの差を抽出する段階;及び
    前記のデータの差に対応するイベントを出力する段階を含む生体情報に基づく生体疲労度の測定方法。
  9. 前記の抽出された特徴を基に、ユーザーの心電図情報と疲労度の設定値を比較する段階は、最初の心電図の測定結果を疲労度の設定値として設定する段階をより含むことを特徴とする請求項8に記載の生体情報に基づく生体疲労度の測定方法。
  10. 前記のデータの差に対応するイベントを出力する段階は、抽出された差が危険状態に該当する場合、病院の緊急救命室につなぎ、病院のサーバーにユーザーの心電図情報が伝送される段階をより含むことを特徴とする請求項8に記載の生体情報に基づく生体疲労度の測定方法。












JP2016171815A 2016-08-19 2016-09-02 生体情報に連動するスマートボードシステム及びその方法 Pending JP2018027282A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0105184 2016-08-19
KR1020160105184A KR20180020594A (ko) 2016-08-19 2016-08-19 생체정보 연동형 스마트보드 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
JP2018027282A true JP2018027282A (ja) 2018-02-22

Family

ID=61196628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016171815A Pending JP2018027282A (ja) 2016-08-19 2016-09-02 生体情報に連動するスマートボードシステム及びその方法

Country Status (3)

Country Link
JP (1) JP2018027282A (ja)
KR (1) KR20180020594A (ja)
WO (1) WO2018034386A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113303806A (zh) * 2021-04-24 2021-08-27 华中科技大学同济医学院附属协和医院 一种无线全息显示心电监护系统及监护方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006110340A (ja) * 2004-10-12 2006-04-27 Samsung Electronics Co Ltd 健康状態によるアバター映像の生成方法及び装置
JP2013047940A (ja) * 2011-07-22 2013-03-07 Toshiba Corp 医用画像制御システム及び携帯端末
JP2014213071A (ja) * 2013-04-26 2014-11-17 株式会社東芝 電子機器および通信制御方法
WO2015037281A1 (ja) * 2013-09-11 2015-03-19 株式会社日立システムズ 疲労・ストレス検診システム
US20150119654A1 (en) * 2013-10-25 2015-04-30 Qualcomm Incorporated System and method for obtaining bodily function measurements using a mobile device
US20150119725A1 (en) * 2013-10-25 2015-04-30 Qualcomm Incorporated System and method for obtaining bodily function measurements using a mobile device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100366158B1 (ko) * 2002-07-12 2002-12-31 (주)디지털컴닥터 자가검진장치와 이를 이용한 원격진단 시스템 및 진단 방법
WO2011052183A1 (ja) * 2009-10-29 2011-05-05 パナソニック株式会社 生体疲労評価装置及び生体疲労評価方法
KR20110069356A (ko) * 2009-12-17 2011-06-23 주식회사 이-클리오 고령친화형 헬스케어서비스 시스템
KR20140037325A (ko) * 2012-09-17 2014-03-27 가천대학교 산학협력단 생체신호 측정기와 스마트 디바이스를 사용한 심전도 데이터 기반의 원격진료 시스템 및 방법
KR20160038114A (ko) * 2014-09-29 2016-04-07 주식회사 비앤알테크널러지 유비쿼터스 헬스케어를 위한 스마트 측정 시스템 및 그 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006110340A (ja) * 2004-10-12 2006-04-27 Samsung Electronics Co Ltd 健康状態によるアバター映像の生成方法及び装置
JP2013047940A (ja) * 2011-07-22 2013-03-07 Toshiba Corp 医用画像制御システム及び携帯端末
JP2014213071A (ja) * 2013-04-26 2014-11-17 株式会社東芝 電子機器および通信制御方法
WO2015037281A1 (ja) * 2013-09-11 2015-03-19 株式会社日立システムズ 疲労・ストレス検診システム
US20150119654A1 (en) * 2013-10-25 2015-04-30 Qualcomm Incorporated System and method for obtaining bodily function measurements using a mobile device
US20150119725A1 (en) * 2013-10-25 2015-04-30 Qualcomm Incorporated System and method for obtaining bodily function measurements using a mobile device

Also Published As

Publication number Publication date
WO2018034386A1 (ko) 2018-02-22
KR20180020594A (ko) 2018-02-28

Similar Documents

Publication Publication Date Title
Xu et al. Earbuddy: Enabling on-face interaction via wireless earbuds
US11829720B2 (en) Analysis and validation of language models
KR102354415B1 (ko) 전자 장치 및 전자 장치 제어 방법
JP6566906B2 (ja) ハプティックcaptcha
US11323658B2 (en) Display apparatus and control methods thereof
US9075462B2 (en) Finger-specific input on touchscreen devices
EP3757718A1 (en) Wearable devices for courier processing and methods of use thereof
KR102055677B1 (ko) 이동 로봇 및 그 제어방법
US11670144B2 (en) User interfaces for indicating distance
CN104321718A (zh) 用于人类自然命令控制的多模态行为感知
KR102546510B1 (ko) 복수의 입력 간에 매핑된 정보 제공 방법 및 이를 지원하는 전자 장치
US11360550B2 (en) IMU for touch detection
US9548012B1 (en) Adaptive ergonomic keyboard
CN104516499A (zh) 利用用户接口的事件的设备和方法
EP3991013A1 (en) Method, computer program and head-mounted device for triggering an action, method and computer program for a computing device and computing device
US20230229241A1 (en) Intention-based user interface control for electronic devices
JP2018027282A (ja) 生体情報に連動するスマートボードシステム及びその方法
KR102353919B1 (ko) 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법
CN106873779B (zh) 一种手势识别装置及手势识别方法
Bhowmik Natural and intuitive user interfaces with perceptual computing technologies
Srinivas et al. A survey report on mobile eye-based Human-Computer Interaction
US11317293B2 (en) Methods for authenticating a user of an electronic device
JP2022008717A (ja) 音声と動作認識に基づいたスマートボードを制御する方法およびその方法を使用した仮想レーザーポインター
Forson Gesture Based Interaction: Leap Motion
Santos Designing wearable interfaces for blind people

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180410