JP2021128725A - リアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラム - Google Patents
リアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラム Download PDFInfo
- Publication number
- JP2021128725A JP2021128725A JP2020024766A JP2020024766A JP2021128725A JP 2021128725 A JP2021128725 A JP 2021128725A JP 2020024766 A JP2020024766 A JP 2020024766A JP 2020024766 A JP2020024766 A JP 2020024766A JP 2021128725 A JP2021128725 A JP 2021128725A
- Authority
- JP
- Japan
- Prior art keywords
- data
- real
- moving image
- detection system
- data detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 claims description 88
- 238000012937 correction Methods 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 16
- 239000013589 supplement Substances 0.000 claims description 13
- 230000004931 aggregating effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 76
- 238000012545 processing Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 230000036772 blood pressure Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000036760 body temperature Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 230000036541 health Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000035487 diastolic blood pressure Effects 0.000 description 3
- 230000035488 systolic blood pressure Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000010454 slate Substances 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】 リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、端末100に対象物200を周囲から動画像で撮影する撮影モジュール111と、撮影した動画像を基に、対象物200を認識する対象物認識モジュール121と、撮影した動画像と認識した対象物200を基に、対象物に表示されている表示データを検出するデータ検出モジュール122と、を備える。
【選択図】図1
Description
リアルタイムでデータを検出するリアルタイムデータ検出システムであって、
対象物を周囲から動画像で撮影する撮影手段と、
前記撮影した動画像を基に、前記対象物を認識する対象物認識手段と、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データを検出するデータ検出手段と、
を備えることを特徴とするリアルタイムデータ検出システムを提供する。
前記対象物認識手段において、前記対象物の認識が不可能な場合、前記撮影手段により動画像を再度取得して前記対象物の認識に必要なデータを補完し、
前記データ検出手段において、前記対象物の表示データの検出が不可能な場合、前記撮影手段により動画像を再度取得して前記表示データの検出に必要なデータを補完することを特徴とするリアルタイムデータ検出システムを提供する。
前記対象物認識手段は、前記対象物の3次元的な形状を認識することにより、前記対象物の種類を認識し、
前記データ検出手段は、前記対象物の表示データの表示エリアを認識し、
前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正する歪み補正手段と、
前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去する反射光除去手段と、
を備えることを特徴とするリアルタイムデータ検出システムを提供する。
前記認識した対象物を登録する対象物登録手段と、
前記対象物に前記検出した表示データの文字列を紐づけて保存するデータ保存手段と、
を備えることを特徴とするリアルタイムデータ検出システムを提供する。
前記対象物認識手段は、データ種別識別子を認識してデータの種別を特定し、
前記データ保存手段は、前記対象物に前記検出した表示データの文字列を紐づけて保存する際に、併せてデータの種別を保存することを特徴とするリアルタイムデータ検出システムを提供する。
リアルタイムでデータを検出するリアルタイムデータ検出方法において、
対象物を周囲から動画像で撮影するステップと、
前記撮影した動画像を基に、前記対象物を認識するステップと、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データを検出するステップと、
を備えることを特徴とするリアルタイムデータ検出方法を提供する。
リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、
対象物を周囲から動画像で撮影するステップ、
前記撮影した動画像を基に、前記対象物を認識するステップ、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データを検出するステップ、
を備えることを特徴とするプログラムを提供する。
図1は、本発明の好適な実施形態の概要図である。この図1に基づいて、本発明の概要を説明する。リアルタイムデータ検出システムは、端末100、対象物200から構成される。また、ここでは患者の体温や血圧等のバイタルデータを蓄積していくリアルタイムデータ検出システムを例として説明するが、取り扱うデータは、バイタルデータに限定されることはない。
図3は、本発明の構成と、端末100の機能ブロックと各機能の関係を示す図である。端末100は、撮影部110、制御部120、記憶部130、通信部140、入力部150、出力部160から構成される。なお、図3において、端末100の数は一つに限らず複数であってもよい。また、対象物200の数は二つに限らず、一つであっても三つ以上であってもよい。ここでは、体温計の対象物200Aと、血圧計の対象物200Bの二つを図示している。対象物200Aと対象物200Bは、対象者300のバイタルデータを測定したものであるとする。対象者300は、患者、被介護者、バイタルデータを管理したいリアルタイムデータ検出システムの利用者等であるものとする。また、利用者400は、医師、看護師、介護士、作業療法士、理学療法士、診療助手、受付担当者、対象者300自身等であり、端末100を操作するリアルタイムデータ検出システムの利用者である。
図4は、歪み補正処理、反射光除去処理、対象物登録処理、データ保存処理を行う場合の本発明の構成と、端末100の機能ブロックと各機能の関係を示す図である。ここでは、歪み補正処理、反射光除去処理、対象物登録処理、データ保存処理のすべてを行う構成を図示しているが、図3の構成に加えて、それぞれの処理を単体で組み込んでもよい。端末100の構成は、図3の構成に加えて、制御部120が記憶部130と協働して歪み補正モジュール123と反射光除去モジュール124を実現する。また、同じく制御部120は、記憶部130と通信部140と協働して、対象物登録モジュール125とデータ保存モジュール126を実現する。端末100は、通信網500を介して、データベース600との通信が可能であるとする。データベース600は、リアルタイムデータ検出システムに必要なデータを保存可能なデータベースである。ここでは、データベースとして説明するが、外部のサーバやクラウドサービス、又は仮想装置の記憶部であってもよい。通信網500は、インターネット等の公衆通信網でも専用通信網でもよく、端末100とサーバデータベース600間の通信を可能とする。対象者300は、個人の識別が可能な2次元バーコード等のデータ種別識別子700を所持してもよい。データ種別識別子700は、対象者300の識別のために利用者400が所持・使用してもよい。また、対象物200に対して、データ種別識別子を付加してもよい。ここでは、対象物200Aのデータ種別識別子700A、対象物200Bのデータ種別識別子700Bとする。
図5は、表示データ検出処理のフローチャート図である。図2のステップS108の「表示データの検出」に相当する。
図6は、登録処理のフローチャート図である。機器データと対象者データを、予めデータベース600に登録しておく場合の処理である。
図11は、対象物200の別の一例である。対象物200を機器に限らず、カルテ等の紙面としてもよい。また、同様の内容を表示したディスプレイの撮影画像や、撮影部110を使用しないキャプチャ画像であってもよい。その場合、文字列として数値を検出するだけでなく、値を算出することとしてもよい。図11において、例えば「(1)視覚的アナログスケール」では、手書きのバツ印が何パーセントの位置に書き込まれたかを、0から100までの線分の長さと、検出したバツ印の位置から求めることが可能である。また、「(2)数値評価スケール」や「(3)表情尺度スケール」等で、手書きの丸印の位置から該当する数値を検出することとしてもよい。このように、リアルタイムデータ検出システムの対象をIoT機器に限らず、別の撮影手段を用いることで、機器との通信が不要となり、紙媒体の情報についても、同様に測定データを蓄積することが可能となる。
リアルタイムでデータを検出するリアルタイムデータ検出システムであって、
対象物を周囲から動画像で撮影する撮影手段と、
前記撮影した動画像を基に、前記対象物の3次元的な形状を認識することにより、前記対象物の種類を認識する前記対象物を認識する対象物認識手段と、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出するデータ検出手段と、
前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正する歪み補正手段と、
前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去する反射光除去手段と、
を備えることを特徴とするリアルタイムデータ検出システムを提供する。
前記認識した対象物を登録する対象物登録手段と、
前記対象物に前記検出した表示データの文字列を紐づけて保存するデータ保存手段と、
を備えることを特徴とするリアルタイムデータ検出システムを提供する。
前記対象物認識手段は、データ種別識別子を認識してデータの種別を特定し、
前記データ保存手段は、前記対象物に前記検出した表示データの文字列を紐づけて保存する際に、併せてデータの種別を保存することを特徴とするリアルタイムデータ検出システムを提供する。
リアルタイムでデータを検出するリアルタイムデータ検出方法において、
対象物を周囲から動画像で撮影するステップと、
前記撮影した動画像を基に、前記対象物の3次元的な形状を認識することにより、前記対象物の種類を認識するステップと、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出するステップと、
前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正するステップと、
前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去するステップと、
を備えることを特徴とするリアルタイムデータ検出方法を提供する。
リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、
対象物を周囲から動画像で撮影するステップ、
前記撮影した動画像を基に、前記対象物の3次元的な形状を認識することにより、前記対象物の種類を認識するステップ、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出するステップ、
前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正するステップ、
前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去するステップ、
を備えることを特徴とするプログラムを提供する。
Claims (7)
- リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、
対象物を周囲から動画像で撮影する撮影手段と、
前記撮影した動画像を基に、前記対象物を認識する対象物認識手段と、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データを検出するデータ検出手段と、
を備えることを特徴とするリアルタイムデータ検出システム。 - 前記対象物認識手段において、前記対象物の認識が不可能な場合、前記撮影手段により動画像を再度取得して前記対象物の認識に必要なデータを補完し、
前記データ検出手段において、前記対象物の表示データの検出が不可能な場合、前記撮影手段により動画像を再度取得して前記表示データの検出に必要なデータを補完することを特徴とする請求項1に記載のリアルタイムデータ検出システム。 - 前記対象物認識手段は、前記対象物の3次元的な形状を認識することにより、前記対象物の種類を認識し、
前記データ検出手段は、前記対象物の表示データの表示エリアを認識し、
前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正する歪み補正手段と、
前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去する反射光除去手段と、
を備えることを特徴とする請求項1又は請求項2に記載のリアルタイムデータ検出システム。 - 前記認識した対象物を登録する対象物登録手段と、
前記対象物に前記検出した表示データの文字列を紐づけて保存するデータ保存手段と、
を備えることを特徴とする請求項1から請求項3の何れか一項に記載のリアルタイムデータ検出システム。 - 前記対象物認識手段は、データ種別識別子を認識してデータの種別を特定し、
前記データ保存手段は、前記対象物に前記検出した表示データの文字列を紐づけて保存する際に、併せてデータの種別を保存することを特徴とする請求項4に記載のリアルタイムデータ検出システム。 - リアルタイムでデータを検出するリアルタイムデータ検出方法において、
対象物を周囲から動画像で撮影するステップと、
前記撮影した動画像を基に、前記対象物を認識するステップと、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データを検出するステップと、
を備えることを特徴とするリアルタイムデータ検出方法。 - リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、
対象物を周囲から動画像で撮影するステップ、
前記撮影した動画像を基に、前記対象物を認識するステップ、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データを検出するステップ、
を備えることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020024766A JP6915111B1 (ja) | 2020-02-17 | 2020-02-17 | リアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020024766A JP6915111B1 (ja) | 2020-02-17 | 2020-02-17 | リアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6915111B1 JP6915111B1 (ja) | 2021-08-04 |
JP2021128725A true JP2021128725A (ja) | 2021-09-02 |
Family
ID=77057517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020024766A Active JP6915111B1 (ja) | 2020-02-17 | 2020-02-17 | リアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6915111B1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3035916U (ja) * | 1996-09-19 | 1997-04-08 | 原子力システム株式会社 | プラント監視装置 |
JP2005271137A (ja) * | 2004-03-24 | 2005-10-06 | Sony Corp | ロボット装置及びその制御方法 |
-
2020
- 2020-02-17 JP JP2020024766A patent/JP6915111B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3035916U (ja) * | 1996-09-19 | 1997-04-08 | 原子力システム株式会社 | プラント監視装置 |
JP2005271137A (ja) * | 2004-03-24 | 2005-10-06 | Sony Corp | ロボット装置及びその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6915111B1 (ja) | 2021-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9842255B2 (en) | Calculation device and calculation method | |
US10366487B2 (en) | Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium | |
US9953216B2 (en) | Systems and methods for performing actions in response to user gestures in captured images | |
US11386717B2 (en) | Fingerprint inputting method and related device | |
JP2020507836A (ja) | 重複撮像を予測した手術アイテムの追跡 | |
US9449221B2 (en) | System and method for determining the characteristics of human personality and providing real-time recommendations | |
TW201734712A (zh) | 信息展示方法、裝置及系統 | |
AU2015201759A1 (en) | Electronic apparatus for providing health status information, method of controlling the same, and computer readable storage medium | |
EP3666177A1 (en) | Electronic device and method for determining degree of conjunctival hyperemia by using same | |
US9536132B2 (en) | Facilitating image capture and image review by visually impaired users | |
JP2015079498A (ja) | 閲覧行動の記録方法および装置 | |
US8948451B2 (en) | Information presentation device, information presentation method, information presentation system, information registration device, information registration method, information registration system, and program | |
CN109274891B (zh) | 一种图像处理方法、装置及其存储介质 | |
JP5601142B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
CN104205031A (zh) | 图片缩放方法及设备 | |
JP6915611B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20220000851A (ko) | 딥러닝 기술을 활용한 피부과 시술 추천 시스템 및 방법 | |
JP6915111B1 (ja) | リアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラム | |
JP6323548B2 (ja) | 撮影補助システム、撮像装置、情報処理装置、撮影補助プログラム及び撮影補助方法 | |
US20230368552A1 (en) | Drug identification device, drug identification method and program, drug identification system, drug loading table, illumination device, imaging assistance device, trained model, and learning device | |
CN109785941B (zh) | 一种医生的推荐方法和装置 | |
Almuzaini et al. | A review on medication identification techniques for visually impaired patients | |
JP2014026411A (ja) | ヘルスケアシステム及びそのサーバ | |
CN110634545A (zh) | 一种个人病例在线保存方法及系统 | |
JP2016012174A (ja) | 摂取量推定装置、摂取量推定方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6915111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |