JP2016512623A - Context-sensitive application / event launch for people with various cognitive levels - Google Patents

Context-sensitive application / event launch for people with various cognitive levels Download PDF


Publication number
JP2016512623A JP2015550716A JP2015550716A JP2016512623A JP 2016512623 A JP2016512623 A JP 2016512623A JP 2015550716 A JP2015550716 A JP 2015550716A JP 2015550716 A JP2015550716 A JP 2015550716A JP 2016512623 A JP2016512623 A JP 2016512623A
Prior art keywords
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Application number
Other languages
Japanese (ja)
ジャンカ ジャン‐クロード
ジャンカ ジャン‐クロード
テシェイラ リカルド
テシェイラ リカルド
ワン マイク
ワン マイク
コー デイビッド
コー デイビッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp of North America
Original Assignee
Matsushita Electric Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US13/730,327 priority Critical
Priority to US13/730,327 priority patent/US8803690B2/en
Priority to US13/729,960 priority patent/US9208661B2/en
Priority to US13/729,960 priority
Priority to US14/096,475 priority patent/US9335904B2/en
Priority to US14/096,475 priority
Application filed by Matsushita Electric Corp of America filed Critical Matsushita Electric Corp of America
Priority to PCT/US2013/077400 priority patent/WO2014105782A1/en
Publication of JP2016512623A publication Critical patent/JP2016512623A/en
Pending legal-status Critical Current




認知能力または運動能力が低下した患者が使用するように設計された患者機器は、家族または看護スタッフが使用して患者のユーザ経験をカスタマイズするように設計されたネットワークベースのポータルと統合する。家族は、ポータルを用いて、ユーザインタフェースのカスタマイズ事項ならびに患者機器上で実行されるコンテンツおよびアプリケーションをプッシュする。家族はまた、ポータルを介して遠隔で患者機器を制御できる。患者機器は、カスタマイズ可能なインタフェース要素のセットに関する使用データならびにプッシュされたコンテンツおよびアプリケーションに関する使用データを収集する。これらのデータは、ポータルへのフィードバックとして送信され、どのユーザインタフェース機能、コンテンツおよびアプリケーションが使用されているか、ならびに、どのユーザインタフェース機能、コンテンツおよびアプリケーションが使用されていないかを、ポータルが家族に示すことを可能にする。ポータルを介して収集された合計データは、ユーザインタフェース機能の選択を助けるように使用されるランキング点数を生成する。【選択図】図1Patient devices designed for use by patients with reduced cognitive or motor skills integrate with a network-based portal designed for use by family members or nursing staff to customize the patient's user experience. The family uses the portal to push user interface customizations and content and applications running on the patient device. Families can also control patient devices remotely via a portal. The patient device collects usage data for a set of customizable interface elements as well as usage data for pushed content and applications. These data are sent as feedback to the portal and the portal indicates to the family which user interface features, content and applications are being used, and which user interface features, content and applications are not being used Make it possible. The total data collected through the portal generates ranking scores that are used to help select user interface features. [Selection] Figure 1


本開示は、認知能力または運動能力が低下した人が、来たるべきイベントを管理し、近親者との繋がりを維持するのを援助するための、コンピュータで実装されたシステムに関する。   The present disclosure relates to a computer-implemented system for assisting a person with reduced cognitive or motor skills in managing upcoming events and maintaining ties with close relatives.

初期から軽度のアルツハイマー病または痴呆症の人々は、記憶喪失および複雑な機器を作動できないことの両方で苦しんでいる。これらの人々は、イベントまたはアクティビティを逸すること、もしくはその他の時刻依存型の案件を忘れることをいつも心配している。その結果、これらの人々はいつも、自分自身に宛てた夥しい量のメモを書く。それらのメモが溜まると、結果として、別の混乱が生じる。どのメモが重要なのか、それらが何時重要になるのかを忘れてしまうからである。   People with early to mild Alzheimer's disease or dementia suffer from both memory loss and inability to operate complex equipment. These people are always worried about missing events or activities or forgetting other time-sensitive matters. As a result, these people always write a large amount of notes addressed to themselves. The accumulation of those notes results in another confusion. You forget which notes are important and when they are important.

スマートフォンやタブレット機器などの携帯機器が普及するにつれ、認知能力または運動能力が低下した人が重要なイベントを思い出すための一助として、これらの機器を利用することが考えられる。しかし、このことは、一見したところほど決して単純でない。認知能力が低下した人は、これらの携帯機器と対話することが非常に困難であり得る。第1に、認知能力が低下しているので、機器上で実行される特定のユーザインタフェース機能またはアプリケーションの使用方法を理解できないかもしれない。第2に、よくあることだが、認知能力が低下した人は身体的障害も有しており、機器上のユーザインタフェース機能を操作することが困難かもしれない。   As mobile devices such as smartphones and tablet devices become widespread, it may be possible to use these devices as an aid for those who have reduced cognitive or athletic ability to remember important events. But this is not as simple as it might seem. Persons with reduced cognitive ability can be very difficult to interact with these mobile devices. First, because cognitive ability is reduced, it may not be understood how to use a particular user interface function or application that runs on the device. Second, as is often the case, people with reduced cognitive abilities also have physical disabilities and may be difficult to operate user interface functions on the device.

さらに悪いことには、特定の人物の認知能力または運動能力に十分に適したユーザインタフェースを設計しようとすると、万人に適用可能なソリューションが得られなくなる。さらに、残念ながらよくあることだが、人の能力は時間の経過とともに低下する。例えば、現時点で完全に適応したユーザインタフェースであっても、6ヵ月後にはユーザのニーズを満たすことができないかもしれない。   To make matters worse, trying to design a user interface that is well suited to the cognitive or athletic ability of a particular person will not provide a solution that is applicable to everyone. In addition, unfortunately, as often happens, a person's ability declines over time. For example, even a fully adapted user interface at the present time may not be able to meet the user's needs after six months.

家族は助けることを願っているが、彼らもまたユーザインタフェースの複雑さに苦戦するかもしれない。家族は年老いてゆく愛する人に有用な携帯機器をあげたと思うかもしれないが、その機器が実際に助けになっているかどうかを知る手段はほとんど無い。本当によくあることだが、携帯機器は老人にとってあまりに馴染みの無いものであり且つ複雑すぎて有用ではないので、老人の部屋に使われずに置いてあることがよくある。機器が用いられていないことを家族が最終的に知っても、家族はその状況を変えるための効果的な手段を持っていない。典型的な家族は、認知障害者または運動障害者のためのユーザインタフェース設計の専門家ではないからである。   The family hopes to help, but they may also struggle with the complexity of the user interface. You may think that your family has given you a portable device that is useful to an aging loved one, but there is little way to know if the device is actually helping. As is often the case, mobile devices are often unfamiliar to the elderly and are too complex and useful, so they are often left unused in the elderly's room. Even if the family eventually knows that the device is not in use, the family has no effective means to change the situation. This is because typical families are not experts in designing user interfaces for people with cognitive or motor disabilities.

このセクションは、開示内容の概要を提供するものであり、開示内容の全範囲またはその特徴の全てを包括的に提供するものではない。   This section provides an overview of the disclosure and does not provide a comprehensive scope of the disclosure or all of its features.

本開示は、上記問題に対して、統合型患者機器(例えば、携帯機器)とネットワークベースのポータルとを組合せた形態のソリューションを提供するものである。患者機器は、認知能力または運動能力が低下した患者が使用するように設計されている。患者機器は、家族または看護スタッフが使用して患者のユーザ経験をカスタマイズするように設計されたネットワークベースのポータルと統合されている。家族または看護スタッフは、ポータルを使用して、ユーザインタフェースのカスタマイズ事項ならびに患者機器上で実行されるコンテンツおよびアプリケーションをプッシュする。家族または看護スタッフは、ポータルを介して遠隔で患者機器を制御することもできる。   The present disclosure provides a solution in the form of a combination of an integrated patient device (for example, a mobile device) and a network-based portal for the above problem. Patient devices are designed for use by patients with reduced cognitive or motor skills. Patient equipment is integrated with a network-based portal designed to be used by family members or nursing staff to customize the patient's user experience. Family or nursing staff use portals to push user interface customizations and content and applications that run on patient devices. Family or nursing staff can also control patient devices remotely via a portal.

患者機器は、カスタマイズ可能なインタフェース要素のセットについての使用データおよびプッシュされたコンテンツおよびアプリケーションについての使用データを収集する。これらのデータはフィードバックとしてポータルに送信され、それによりポータルは、家族または看護スタッフに対して、どのユーザインタフェース機能、コンテンツおよびアプリケーションが用いられたか、用いられなかったかを見せることができる。ポータルを介して収集された合計データは、ユーザインタフェース機能の選択を助けるために使用されるランキングのメトリック(点数)を生成する。   The patient device collects usage data for a set of customizable interface elements and usage data for pushed content and applications. These data are sent as feedback to the portal, which allows the portal to show which user interface functions, content and applications were used or not used to the family or nursing staff. The total data collected through the portal generates ranking metrics that are used to help select user interface features.

ポータルは、ユーザインタフェース(UI)要素の統合データベースまたはキットを含み、このデータベースまたはキットから家族または看護スタッフが選択して、特定の患者のために特別に設計された、カスタマイズされたユーザインタフェースおよびユーザ経験を作成してもよい。統合データベース内に格納されている場合、各UI要素には、その特定の患者に対するそのUI要素の分かりやすさおよび使いやすさをランク付けする、少なくとも一つの認知能力点数または運動能力点数が関連付けられている。   The portal includes an integrated database or kit of user interface (UI) elements, from which a family or nursing staff selects and customizes a customized user interface and user specifically designed for a particular patient You may create an experience. When stored in a consolidated database, each UI element is associated with at least one cognitive or motor ability score that ranks the intelligibility and usability of that UI element for that particular patient. ing.

家族が特定のアプリケーションのユーザインタフェースや、患者機器自体のグローバルな動作さえもカスタマイズしたい場合、その家族は、各UI要素のこれら認知能力点数および運動能力点数を比較して、その特定の患者のために最適なものを選択することができる。   If a family wants to customize the user interface for a particular application or even the global behavior of the patient device itself, the family can compare these cognitive and motor skills scores of each UI element for that particular patient. The most suitable one can be selected.

患者が機器を使用すると、使用された各UI要素およびいつ使用されたかに関する実際の使用データが収集される。これらのデータから、フィードバック信号がポータルに送信され、これにより、ポータルコンピュータは、この使用データを考慮に入れて、実際に患者に使用された(または使用されなかった)さまざまなUI要素にどのような使用点数を与えるかを決定することができる。ポータルコンピュータはまた、患者機器を使用している患者の全母集団を示す、複雑さの合計統計値および点数を生成するクラウドベースのアグリゲーションコンピュータと使用統計値を共有するようにプログラムされている。好ましくは、これらの使用統計値は、患者のプライバシーが確保されるよう患者特有の情報を明らかにすることなく、クラウドベースのアグリゲーションコンピュータと共有される。   As the patient uses the device, actual usage data regarding each UI element used and when it was used is collected. From these data, a feedback signal is sent to the portal, which allows the portal computer to take into account this usage data and how various UI elements were actually used (or not used) by the patient. It is possible to decide whether to give the number of used points. The portal computer is also programmed to share usage statistics with a cloud-based aggregation computer that generates total complexity statistics and scores that represent the entire population of patients using the patient equipment. Preferably, these usage statistics are shared with the cloud-based aggregation computer without revealing patient-specific information to ensure patient privacy.

必要に応じて、統合データベースは、機器に対してプッシュされるコンテンツのさまざまな異なる選択に関連付けて、同様の適合性点数を格納するように構成されてもよい。この場合、もし60分の長い動画が機器に対してプッシュされたのに患者が2分間しか見なかったならば、その使用データはこの特定の患者についてのコンテンツの適合性レベルが低いことを反映しており、よって、低適合性点数がそのコンテンツに割り当てられる。この低適合性点数は、選択されて患者機器に対してプッシュされたコンテンツが患者にはあまりに「難しい」かまたは興味が無いのかもしれない、ということを家族または看護スタッフに示している。   If desired, the consolidated database may be configured to store similar fitness scores in association with various different selections of content pushed to the device. In this case, if a 60 minute long video was pushed to the device but the patient saw only 2 minutes, the usage data reflects a low level of content suitability for this particular patient Thus, a low fitness score is assigned to the content. This low fitness score indicates to the family or nursing staff that the content selected and pushed to the patient device may be too “difficult” or not interesting to the patient.

同様に、統合データベースは、機器上で実行すべく機器に対してプッシュされるアプリケーションのさまざまな異なる選択に関連付けて、同様の適合性点数を格納するように構成されてもよい。例えば、インスタントメッセージングアプリケーションが患者機器に対してプッシュされたものの、使用点数がこのアプリケーションが一度も使用されていないことを示す場合、低適合性点数が割り当てられる。この低適合性点数は、選択されて患者機器に対してプッシュされたインスタントメッセージングアプリケーションがこの特定の患者にはあまりに「難しい」かまたは興味が無いのかもしれない、ということを家族または看護スタッフに示している。   Similarly, the consolidated database may be configured to store similar fitness scores in association with various different selections of applications that are pushed to the device for execution on the device. For example, if an instant messaging application is pushed to a patient device, but the usage score indicates that the application has never been used, a low fitness score is assigned. This low fitness score indicates to family members or nursing staff that the instant messaging application that is selected and pushed to the patient device may be too “difficult” or not interesting to this particular patient. Show.

従って、1つの局面によれば、本開示は、認知能力または運動能力が低下した人を援助するための、コンピュータで実装されたシステムを記載している。このシステムは、ディスプレイと、ディスプレイに接続されたプロセッサと、ポータルコンピュータと通信するための通信ポートとを有する患者機器を含む。患者機器のプロセッサは、患者機器に対してプッシュされた選択されたユーザインタフェース要素の患者による使用に関して、フィードバックデータをポータルコンピュータに提供するようにプログラムされている。   Thus, according to one aspect, the present disclosure describes a computer-implemented system for assisting a person with reduced cognitive or motor skills. The system includes a patient device having a display, a processor connected to the display, and a communication port for communicating with a portal computer. The processor of the patient device is programmed to provide feedback data to the portal computer regarding use by the patient of selected user interface elements pushed to the patient device.

ポータルコンピュータは、プロセッサと付随するメモリとを有し、前記付随するメモリは、能力点数を各ユーザインタフェース要素に関連付ける予め規定されたデータ構造に応じた、複数のユーザインタフェース要素を格納する付随するメモリ。ポータルコンピュータは、複数のユーザインタフェース要素を、ポータルコンピュータのユーザに対して、能力点数に基づいた提示配置で提示するようにプログラムされている。ポータルコンピュータは、さらに、第1のユーザが、上記配置で提示されたユーザインタフェース要素から少なくとも1つのインタフェース要素を選択し、その後、選択したユーザインタフェース要素を患者機器に対してプッシュできるように、プログラムされている。   The portal computer has a processor and associated memory, the associated memory storing a plurality of user interface elements according to a predefined data structure that associates a capability score with each user interface element. . The portal computer is programmed to present a plurality of user interface elements to the portal computer user in a presentation arrangement based on the ability score. The portal computer is further programmed to allow the first user to select at least one interface element from the user interface elements presented in the arrangement and then push the selected user interface element to the patient device. Has been.

更なる利用可能な分野は、本明細書の記載事項から明らかになる。この概要の説明および具体例は、説明の目的のみを意図したものであり、本開示の範囲を限定すること意図したものではない。   Further areas of applicability will become apparent from the description herein. This summary description and specific examples are intended for purposes of illustration only and are not intended to limit the scope of the present disclosure.

本願明細書に記載した図面は、選択された実施形態を説明するためのものに過ぎず、全ての考え得る実施態様を記載したものではなく、また、本開示の範囲を限定しようとするものでもない。   The drawings described herein are merely illustrative of selected embodiments and do not describe all possible embodiments and are intended to limit the scope of the present disclosure. Absent.

図1は、システムアーキテクチャの概要を示す図であって、ユーザと、表示装置と、サーバ型システムと、ネットワークとを示す図である。FIG. 1 is a diagram showing an outline of a system architecture, and shows a user, a display device, a server type system, and a network. 図2は、表示装置に表示されたメッセージ画面の一例を示す図である。FIG. 2 is a diagram illustrating an example of a message screen displayed on the display device. 図3は、リマインダを受領確認した後に表示装置に表示されたメッセージ画面の一例を示す図である。FIG. 3 is a diagram illustrating an example of a message screen displayed on the display device after confirming receipt of the reminder. 図4は、全システム内のどこにシステムロジックを配置するべきかについての別のアプローチの例を示す図である。FIG. 4 is a diagram illustrating an example of another approach as to where system logic should be placed in the overall system. 図5は、システムにより用いられる例示的なデータベース要素を示す図である。FIG. 5 is a diagram illustrating exemplary database elements used by the system. 図6は、表示装置のための簡略化されたロジックフローの一例を示す図である。FIG. 6 is a diagram illustrating an example of a simplified logic flow for a display device. 図7は、特定の表示装置のための、グループメッセージおよび異なる種類のユーザの関係を示す図である。FIG. 7 is a diagram illustrating the relationship between group messages and different types of users for a particular display device. 図8は、表示装置についてグループユーザとマスターユーザとの関係をセットアップするためのプロセスの一例を示す図である。FIG. 8 is a diagram illustrating an example of a process for setting up a relationship between a group user and a master user for a display device. 図9は、リマインダの受領確認を説明するために、システムの部分集合を示す図である。FIG. 9 is a diagram showing a subset of the system in order to explain the receipt confirmation of the reminder. 図10は、表示装置のための例示的なハードウェアブロック図を示す図である。FIG. 10 is a diagram illustrating an exemplary hardware block diagram for a display device. 図11は、リマインダメッセージの作成および/または編集をおこなうためのユーザインタフェースの一例を示す図である。FIG. 11 is a diagram illustrating an example of a user interface for creating and / or editing a reminder message. 図12は、特定の表示装置について全てのアクティブなリマインダおよびメッセージをレビューするためにマスターユーザが見るユーザインタフェースの一例を示す図である。FIG. 12 is a diagram illustrating an example of a user interface that a master user sees to review all active reminders and messages for a particular display device. 図13は、特定の表示装置について全てのアクティブなリマインダおよびメッセージをレビューするためにレギュラーユーザが見るユーザインタフェースの一例を示す図である。FIG. 13 is a diagram illustrating an example of a user interface that a regular user sees to review all active reminders and messages for a particular display device. 図14は、スマートフォンおよびその他のモバイル機器に合わせてフォーマットされた同様のユーザインタフェースの一例を示す図である。FIG. 14 is a diagram illustrating an example of a similar user interface formatted for smartphones and other mobile devices. 図15は、グループリマインダおよびメッセージを閲覧するためにグループユーザが見るユーザインタフェースの一例を示す図である。FIG. 15 is a diagram illustrating an example of a user interface viewed by a group user to view group reminders and messages. 図16は、インスタントメッセージの作成または編集をおこなうためのユーザインタフェースの一例を示す図である。FIG. 16 is a diagram illustrating an example of a user interface for creating or editing an instant message. 図17は、特定の表示装置についてパラメータを管理するためのユーザインタフェースの一例を示す図である。FIG. 17 is a diagram illustrating an example of a user interface for managing parameters for a specific display device. 図18は、既存のプリセットリマインダを示すユーザインタフェースの一例を示す図である。FIG. 18 is a diagram illustrating an example of a user interface indicating an existing preset reminder. 図19は、プリセットリマインダを選択するためのユーザインタフェースの一例を示す図である。FIG. 19 is a diagram illustrating an example of a user interface for selecting a preset reminder. 図20は、表示装置の調子をどのように監視できるかを示す図である。FIG. 20 is a diagram illustrating how the state of the display device can be monitored. 図21は、ディスプレイおよびマスターユーザの構成を示す図である。FIG. 21 is a diagram showing the configuration of the display and the master user. 図22は、数例のリマインダメッセージを表示している表示装置の一例を示す図である。FIG. 22 is a diagram illustrating an example of a display device displaying several examples of reminder messages. 図23は、イベントまたはアプリケーションが開示されたシステムを用いてどのように自動的に起動されるかについての基礎的要素を示す実体図である。FIG. 23 is an entity diagram showing the basic elements of how an event or application is automatically launched using the disclosed system. 図24は、認知能力がイベントまたはアプリケーションの起動においてどのように要因となるかを説明する高レベルフローチャートである。FIG. 24 is a high-level flowchart illustrating how cognitive ability is a factor in event or application activation. 図25は、どのようにコンテクストが収集されて、システム内の各種要素によって使用されるかを説明するフローチャートである。FIG. 25 is a flowchart illustrating how context is collected and used by various elements in the system. 図26は、システムによって実施される開始イベントフローを説明するフローチャートである。FIG. 26 is a flowchart for explaining a start event flow executed by the system. 図27は、システムによって実施されるイベント起動フローを説明するフローチャートである。FIG. 27 is a flowchart for explaining an event activation flow executed by the system. 図28は、システムの例示的な使用を示す使用事例図である。FIG. 28 is a use case diagram illustrating an exemplary use of the system. 図29は、システムの対話レベルが認知能力に基づき且つ好みおよび技術コンテクスト情報に基づいてどのようにカスタマイズされるかを示す対話図である。FIG. 29 is an interaction diagram showing how the interaction level of the system is customized based on cognitive abilities and based on preference and technical context information. 図30は、システムによってコンピュータメモリ内に維持されたデータ構造が認知能力に反映される場合、認知能力がシステムによってどのようにモデル化されるかを示す図である。FIG. 30 is a diagram illustrating how cognitive ability is modeled by the system when the data structure maintained in the computer memory by the system is reflected in the cognitive ability. 図31は、タブレットベースのウェブ実現型システムの一実施形態を示すブロック図である。FIG. 31 is a block diagram illustrating one embodiment of a tablet-based web-enabled system. 図32は、いくつかの例示的なアプリケーション/イベントが起動された画面表示の一例を示す図である。FIG. 32 is a diagram illustrating an example of a screen display in which some exemplary applications / events are activated. 図33は、コンピュータで実装されたシステムならびにその関連データベースおよびデータ構造を示すブロック図である。FIG. 33 is a block diagram illustrating a computer-implemented system and its associated database and data structure. 図34は、患者機器およびネットワークベースのポータルコンピュータがどのように統合されているかを示すブロック図である。FIG. 34 is a block diagram illustrating how patient devices and network-based portal computers are integrated. 図35は、例示的なカレンダーアプリケーションを備えた、患者機器の例示的なディスプレイ画面を示す図である。FIG. 35 is a diagram illustrating an exemplary display screen of a patient device with an exemplary calendar application. カスタマイズ事項がどのように患者機器に対してプッシュされるか、ならびに、使用データがどのように収集されるかを示す、ユーザインタフェースおよびデータ構造の図である。FIG. 2 is a user interface and data structure diagram showing how customizations are pushed to patient equipment and how usage data is collected. カスタマイズ事項がどのように患者機器に対してプッシュされるか、ならびに、使用データがどのように収集されるかを示す、ユーザインタフェースおよびデータ構造の図である。FIG. 2 is a user interface and data structure diagram showing how customizations are pushed to patient equipment and how usage data is collected. 患者機器からの使用フィードバックがどのように表示されるかを示す、ポータルコンピュータによって生成される比較ディスプレイを示す図である。FIG. 6 shows a comparison display generated by a portal computer showing how usage feedback from patient equipment is displayed. 患者機器からの使用フィードバックがどのように表示されるかを示す、ポータルコンピュータによって生成される比較ディスプレイを示す図である。FIG. 6 shows a comparison display generated by a portal computer showing how usage feedback from patient equipment is displayed. 図38は、患者機器の設定がカスタマイズされる、ポータルコンピュータによって生成される例示的なディスプレイ画面を示す図である。FIG. 38 is a diagram illustrating an exemplary display screen generated by a portal computer in which patient device settings are customized. 図39は、患者機器の設定がカスタマイズされ、患者機器に対してプッシュするアプリケーションが選択される、ポータルコンピュータによって生成される例示的なディスプレイ画面を示す図である。FIG. 39 is a diagram illustrating an exemplary display screen generated by a portal computer where patient device settings are customized and an application to push to the patient device is selected. 図40は、選択されたデジタルコンテンツが追加されるように患者機器用のアプリケーション(例えば、音楽アプリケーションおよび動画アプリケーション)の設定がカスタマイズされる、ポータルコンピュータによって生成される例示的なディスプレイ画面を示す図である。FIG. 40 illustrates an exemplary display screen generated by a portal computer in which settings for applications for patient devices (eg, music and video applications) are customized so that selected digital content is added. It is. 図41は、患者機器用の音声―動画チャットアプリケーション(例えば、Skype)の設定がポータルコンピュータからカスタマイズされる、ポータルコンピュータによって生成される例示的なディスプレイ画面を示す図である。FIG. 41 is a diagram illustrating an exemplary display screen generated by a portal computer in which settings for an audio-video chat application (eg, Skype) for a patient device are customized from the portal computer. アプリケーションまたはUI要素に関連付けて能力点数を表示するための2つの異なる実施形態を示す図であって、この表示は、患者機器使用時の患者の経験をカスタマイズするのに使用するために、ポータルコンピュータのディスプレイ上に提示される。FIG. 2 illustrates two different embodiments for displaying capability scores in association with an application or UI element, the display being used by a portal computer for use in customizing a patient's experience when using patient equipment. Presented on the display. アプリケーションまたはUI要素に関連付けて能力点数を表示するための2つの異なる実施形態を示す図であって、この表示は、患者機器使用時の患者の経験をカスタマイズするのに使用するために、ポータルコンピュータのディスプレイ上に提示される。FIG. 2 illustrates two different embodiments for displaying capability scores in association with an application or UI element, the display being used by a portal computer for use in customizing a patient's experience when using patient equipment. Presented on the display. 図43は、患者機器のソフトウェアアーキテクチャを説明する図である。FIG. 43 is a diagram for explaining the software architecture of a patient device. 図44は、ポータル機器がどのようにしてメッセージングにより患者機器のAPIと通信するかを示す、ポータル機器のソフトウェアアーキテクチャを説明する図である。FIG. 44 is a diagram illustrating the portal device software architecture showing how the portal device communicates with the patient device API via messaging. 図45は、クラッシュ報告がどのように処理されるかを示す、ポータル機器のソフトウェアアーキテクチャを説明する図である。FIG. 45 is a diagram illustrating the software architecture of the portal device showing how crash reports are processed. 図46は、アップデータブロードキャストレシーバを示す、ポータル機器のソフトウェアアーキテクチャを説明する図である。FIG. 46 is a diagram for explaining the software architecture of the portal device showing the updater broadcast receiver. 図47は、ラッパーアクティビティスタートを示す、ポータル機器のソフトウェアアーキテクチャを説明する図である。FIG. 47 is a diagram for explaining the software architecture of the portal device showing the wrapper activity start. 図48は、ラッパーアクティビティダウンローダを示す、ポータル機器のソフトウェアアーキテクチャを説明する図である。FIG. 48 is a diagram illustrating the software architecture of the portal device, showing the wrapper activity downloader. 図49は、ラッパーアクティビティクラッシュを示す、ポータル機器のソフトウェアアーキテクチャを説明する図である。FIG. 49 is a diagram for explaining the software architecture of the portal device, showing a wrapper activity crash. 図50は、バンドル設定の更新を示す、ポータル機器のソフトウェアアーキテクチャを説明する図である。FIG. 50 is a diagram for explaining the software architecture of the portal device showing the update of the bundle setting.

Overview The system of the present disclosure provides a reminder message that is displayed by a person at a remote location or a local location (eg, a friend, family member, administrator) at an appropriate time by appropriate messaging on a relatively simple display device. Allows you to create. This display device does not require the viewer to interact with any control elements, so that Alzheimer's people do not need to learn how to operate it. The only interaction required by this display device takes place in a single initialization step and upon receipt of an optional reminder that requires only pressing one button.

システムは、インターネットおよび/またはローカルエリアネットワーク(LAN)等のネットワークを介して動作する。人々(友人、家族、管理者)は、任意の近年のブラウザを介してシステムと繋がる。そして、システムは、ネットワークを介して表示装置と対話する。   The system operates over a network, such as the Internet and / or a local area network (LAN). People (friends, family, administrators) connect to the system via any modern browser. The system then interacts with the display device via the network.

システムは、複数の表示装置および複数のアカウントを含み、リマインダメッセージを作成する能力を、複数の人に与えることができる。マスターアカウントは、他のアカウントからのメッセージを編集する能力や、その他の権限をも与えられている。援助生活ホーム等の状況の場合、グループ管理者アカウントが、表示装置のグループに、または1台の表示装置に、メッセージを送信することができる。しかし、特定の表示装置に直接関連付けられたアカウントは、必要に応じて、そのようなグループメッセージを隠すことができる。   The system includes multiple display devices and multiple accounts, and can give multiple people the ability to create reminder messages. Master accounts are also given the ability to edit messages from other accounts and other privileges. In the case of a situation such as a helping home, a group manager account can send a message to a group of display devices or to a single display device. However, an account directly associated with a particular display device can hide such group messages if desired.

1台の特定の表示装置に関連付けられたアカウント所有者は、グループメッセージを含む互いのリマインダを見ることができるので、友人および家族は、そのリマインダが宛てられた人物の予定されたまたは現在のアクティビティについて知ることができる。しかし、プライバシー保護のため、閲覧の許可が与えられない限り、グループアカウント所有者は自分たち自身のグループメッセージしか見ることができない。   Account owners associated with a particular display device can see each other's reminders, including group messages, so friends and family members can see the scheduled or current activity of the person to whom the reminder is addressed To know about. However, to protect privacy, group account owners can only see their own group messages unless they have permission to view them.

メッセージングは、前もって設定することができ、それらが言及しているイベントを基準として適切な時刻に表示させることができる。音声を含むメッセージングの内容および詳細さのレベルは、対象イベントにどれくらい近いかに応じて変化する。一旦そのイベントが始まると、イベントが終了するまでメッセージングが続き、その後、このメッセージングの内容は、イベント終了時点を基準として現在はどの時点であるかに応じて変化する。   Messaging can be set up in advance and can be displayed at the appropriate time relative to the events they mention. The content and level of detail of messaging, including voice, varies depending on how close it is to the event of interest. Once the event begins, messaging continues until the event ends, after which the content of this messaging changes depending on what time it is currently in relation to the event end time.

リマインダは、特定の間隔(1日毎〜1年毎)で自動的に繰り返されて、さまざまな状況およびイベントを含むようにプログラムされ得る。   Reminders can be programmed to automatically repeat at specific intervals (every day to every year) to include various situations and events.

リマインダは、必要に応じて、閲覧者が受領確認することを要求し得る。複数の受領確認リクエストを同時にアクティブにし得る。このようなリマインダが受領確認されない場合、遠隔ユーザ(友人、家族および管理者)は、ステータスの確認および/またはショートメッセージサービスまたは電子メールによる警告の受信を行い得る。   The reminder may require the viewer to confirm receipt as needed. Multiple acknowledgment requests can be active at the same time. If such reminders are not acknowledged, remote users (friends, family and administrators) may check status and / or receive alerts via short message service or email.

タイピングを減らせるように、プリセットリマインダが設けられている。アカウント所有者は、システムが定義したプリセットメッセージを使用するか、または、将来使用するために自分自身のメッセージを作成することができる。アカウントユーザは、プリセットメッセージをカスタマイズすることができる。   A preset reminder is provided to reduce typing. Account owners can use system defined preset messages or create their own messages for future use. Account users can customize preset messages.

メッセージは、いかなる特定のイベントにも結び付けられていない「インスタントメッセージ」であってもよい。このようなインスタントメッセージは、比較的短い時間表示され、且つ、閲覧者がそのメッセージを見るためにいかなるアクションも要求しない。   The message may be an “instant message” that is not tied to any particular event. Such instant messages are displayed for a relatively short time and do not require any action by the viewer to view the message.

機器の障害、電力喪失、または通信不通などの潜在的な障害状況を回避するため、システムは、各表示装置の調子を監視し、そのような障害について、適切なアカウント所有者および/または管理者に警告することができる。   In order to avoid potential failure situations such as equipment failure, power loss, or loss of communication, the system monitors the health of each display device and, for such failures, the appropriate account owner and / or administrator. Can be warned.

ある局面において、本システムは、患者の認知能力、すなわち、第三者による完全な管理状態から、共同管理状態(shared control)、そして自立的活動状態の患者に至る範囲、に応じたハイブリッドな介護援助を、自動的且つ自然な様態で提供することを旨とする。システムの第三者制御は、ローカルまたは遠隔であり得る。更に、システム自体は、認知能力の更なる向上または低下に基づいて、提供される対話のレベルを患者に適応させていく。   In one aspect, the system can provide hybrid care depending on the patient's cognitive ability, ranging from fully managed by a third party, to shared control, and to a patient in autonomous activity. The aim is to provide assistance in an automatic and natural manner. Third party control of the system can be local or remote. In addition, the system itself adapts the level of interaction provided to the patient based on further improvements or declines in cognitive ability.

A. 第三者(例えば、家族)によって、イベント/アプリを準備/セットする。
B. イベントコンテクストの推定。コンテクストは、開始しようとするイベントに応じて、いくつかの形態(医学的形態、状況的形態など)をとり得る。
C. コンテクストの現在の状況およびその者の認知能力とのマッチングに基づくイベントの起動。
Thus, the system operates to automatically and naturally adapt event triggering (eg, application / event activation on the display) based on the following core functions:
A. Prepare / set events / apps by a third party (eg family).
B. Estimating event context. The context can take several forms (medical form, contextual form, etc.) depending on the event to be initiated.
C. Triggering events based on matching the context's current situation and the person's cognitive ability.

・ アプリケーションは、邪魔にならない様態(例えば、患者が眠っていない場合には音声メッセージ)で、自動的に開始できる。
・ 起動およびアプリケーションとの対話は、患者の認知能力にあわせてカスタマイズできる。
・ 患者は、アプリケーション/イベントをどのように起動するかを知る必要なく、多数のサービス(例えば、家族の画像、テレビ会議または動画リマインダ、音楽観賞)を楽しむことができる。
・ 患者の個人的な好みを考慮してシステムのサービスをカスタマイズすることができる。
・ ソリューションは、明示的な対話(イベント/アプリケーションを準備する第三者の観点からみた場合)に対する暗黙的な対話(患者の観点からみた場合)を含む。
・ 我々のソリューションは、いつアプリケーション/イベントを起動するか、ならびに、どのようにアプリケーション/イベントを起動するかに関する。
In addition to the core functionality described above, the system further provides a number of additional benefits, including:
The application can start automatically in an unobtrusive manner (for example, a voice message if the patient is not sleeping).
• Activation and application interaction can be customized to the patient's cognitive abilities.
The patient can enjoy a number of services (eg family images, video conferencing or video reminders, music appreciation) without having to know how to launch the application / event.
• System services can be customized to take into account patient personal preferences.
• The solution includes an implicit interaction (from the patient's perspective) to an explicit interaction (from the perspective of the third party preparing the event / application).
Our solution relates to when to launch an application / event and how to launch the application / event.

With reference to the detailed description accompanying drawings, an example embodiment in more detail.

図1は、システムアーキテクチャの概要を示す図であって、1組の異なる種類の遠隔ユーザと、サーバシステムと、1組の表示装置(以下、単に「ディスプレイ」または「複数のディスプレイ」とも呼ぶ)とを示している。各ユーザ100、110は、ネットワーク130を介してシステムと対話する。ネットワーク130は、複数のワイドエリアネットワーク(インターネット等)またはローカルエリアネットワークを組み合わせたものであり得る。各ユーザは、特定のディスプレイ140と関連付けられている。図中、マスターユーザA100および関連するノーマルユーザ110は、ディスプレイAと対話する。さらに、ディスプレイB等と関連付けられた別の組のユーザが存在する。   FIG. 1 is a diagram showing an outline of a system architecture, which is a set of different types of remote users, a server system, and a set of display devices (hereinafter also simply referred to as “displays” or “multiple displays”). It shows. Each user 100, 110 interacts with the system via the network 130. The network 130 may be a combination of multiple wide area networks (such as the Internet) or a local area network. Each user is associated with a particular display 140. In the figure, master user A 100 and associated normal user 110 interact with display A. In addition, there is another set of users associated with the display B or the like.

o 新しいイベントリマインダおよびメッセージを作成すること。
o 自身が作成したイベントリマインダおよびメッセージ、もしくは管理下のディスプレイに属する他のマスターユーザまたはノーマルユーザが作成したイベントリマインダおよびメッセージを編集すること。
o 当該ディスプレイについて、新しいマスターユーザまたはノーマルユーザを作成すること。
o グループイベントが当該ディスプレイ上で有効化されるかどうかを制御すること(グループユーザを参照)。
o 当該ディスプレイに送信された特定のグループイベントリマインダを隠すまたは見せること。このイベントがマスターユーザ(またはノーマルユーザ)が計画した他のイベントとコンフリクトする場合、グループイベントリマインダを隠すことが必要かもしれない。
o 当該ディスプレイに対して作成したイベントリマインダおよびメッセージは、誰が作成したものであっても見ることができる。
o 他の人が使用することもできるプリセットイベントリマインダを作成および編集すること。
o ディスプレイの詳細(名前、位置、タイムゾーンなど)を変更すること。
o 自身のユーザ詳細(名前、ユーザー名、電子メールアドレスおよびパスワード等)を変更すること。
The user account is centered on the display. There is at least one master user 100 associated with each display. The master user has ultimate control over how the display will look. The master user can do the following:
o Create new event reminders and messages.
o Edit event reminders and messages created by you, or event reminders and messages created by other master or normal users belonging to the managed display.
o Create a new master or normal user for the display.
o Control whether group events are enabled on the display (see group users).
o Hide or show certain group event reminders sent to the display. If this event conflicts with other events planned by the master user (or normal user), it may be necessary to hide the group event reminder.
o Event reminders and messages created for the display can be viewed by anyone who created them.
o Create and edit preset event reminders that others can use.
o Change display details (name, location, time zone, etc.).
o Change your own user details (name, username, email address and password, etc.).

・ 自分自身が作成したイベントリマインダおよびメッセージを編集すること。
・ 当該ディスプレイに送信された特定のグループイベントリマインダを隠すまたは見せること。
・ 当該ディスプレイに対して作成したイベントリマインダおよびメッセージは、誰が作成したものであっても見ることができる。
・ 他の人が使用することもできるプリセットイベントリマインダを作成および編集すること。
・ 自分自身のユーザ詳細(名前、ユーザー名、電子メールアドレスおよびパスワード等)を変更すること。
A normal or regular user 110 can place messages on this display, but has less authority:
• Edit event reminders and messages that you create yourself.
• Hide or show certain group event reminders sent to the display.
-Event reminders and messages created for the display can be viewed by anyone who created them.
• Create and edit preset event reminders that others can use.
• Change your own user details (name, username, email address, password, etc.).

・ 電子メール招待状を送信することによって、マスターユーザをこのグループに加入するよう招待すること。このような招待を送信するために、グループユーザは、マスターユーザの「ユーザー名」を求める必要がある。グループに加入する旨の電子メール招待状を受信したマスターユーザは、リンクをクリックして招待を受けなければならない。マスターユーザは、グループイベントのいずれかまたは全てをディスプレイ上に表示させないように無効化する権限を依然保有している。
・ このグループユーザからのグループイベントを受け入れるように有効化された全てのディスプレイに送信されるグループイベントリマインダおよびインスタントメッセージを作成および編集すること。
・ イベントリマインダまたはインスタントメッセージが(全てのディスプレイではなく)1台のディスプレイのみに送信されることを指定すること。
・ グループユーザは、特定のアイテムを公開する許可を与えない限りにおいて、いずれのディスプレイでも、マスターユーザおよびノーマルユーザによって作成されたイベントリマインダおよびメッセージを見ることができない
・ 自分自身のユーザ詳細(名前、ユーザー名、電子メールアドレスおよびパスワード等)を変更すること。
Group user 120 may be associated with multiple displays. FIG. 1 shows only one group user, and describes a situation where three displays (A, B, C) to which this group user has access are arranged in a specific facility. The master user can do the following:
• Invite a master user to join this group by sending an email invitation. In order to send such an invitation, the group user needs to ask for the “user name” of the master user. A master user who has received an email invitation to join a group must click on the link to receive an invitation. The master user still has the authority to disable any or all of the group events from being displayed on the display.
Create and edit group event reminders and instant messages that are sent to all displays enabled to accept group events from this group user.
Specify that event reminders or instant messages are sent to only one display (not all displays).
• Group users cannot see event reminders and messages created by master and normal users on either display unless they are given permission to publish specific items.
• Change your own user details (name, username, email address, password, etc.).

サーバ150は、各ユーザによるシステムへのアクセスおよび各ディスプレイの更新を含む、システムの管理を行う。1台のサーバ150が世界中に点在する多数のユーザおよびディスプレイのセットを管理できるので、図1は可能なことのうち部分集合のみを示す。データベース160は、全てのユーザ、ディスプレイおよびメッセージに関する情報の全てを格納している。パスワードおよび電子メールアドレス等の取り扱いに注意を要する情報は、暗号化した状態に保たれている。   The server 150 manages the system including access to the system by each user and update of each display. Since a single server 150 can manage a large set of users and displays scattered throughout the world, FIG. 1 shows only a subset of what is possible. Database 160 stores all information about all users, displays and messages. Information that requires attention in handling such as passwords and e-mail addresses is kept encrypted.

典型的な動作において、ユーザは、ウェブブラウザまたは専用のアプリケーションを介してシステムと対話して、リマインダを作成する。このリマインダはデータベースに格納され、その後、サーバが、どのリマインダが適切な時刻に各特定のディスプレイに送信されるべきかを決定する。ユーザは、適宜編集を行うことおよびメッセージを隠すことを含む、全てのリマインダおよびメッセージのステータスを閲覧することができる。   In typical operation, a user interacts with the system via a web browser or a dedicated application to create a reminder. This reminder is stored in a database, after which the server determines which reminders should be sent to each particular display at the appropriate time. The user can view the status of all reminders and messages, including editing as appropriate and hiding messages.

ディスプレイは、それらが送信されるというメッセージを表示するのみである。それらは、必要に応じて、これらのメッセージの若干の管理を行って、動作中に必要な通信量を最小化することができる。これらのディスプレイは、必要に応じて、要求された場合に、メッセージに応答する簡単な手段(例えば、ディスプレイにタッチする、言葉で返事する等)を閲覧者に提供してもよく、この応答はサーバに送り返される。   The display only displays a message that they will be sent. They can manage some of these messages as needed to minimize the amount of traffic required during operation. These displays may optionally provide viewers with a simple means of responding to messages when requested (eg, touching the display, replying in words, etc.). Sent back to the server.

図2は、ディスプレイ上に表示され得る典型的な種類のメッセージのセットを示す。人がアルツハイマー病にかかっている場合、複雑なメッセージおよびグラフィックスは混乱につながり得るので、メッセージングは、シンプルで、直接的で、且つ状況に対して適切である必要がある。   FIG. 2 shows a typical set of messages that can be displayed on a display. If a person has Alzheimer's disease, messaging needs to be simple, direct and appropriate to the situation, since complex messages and graphics can lead to confusion.

ディスプレイ200の最上段は、現在の日付および時刻のみを示す。「朝」または「夕方」等、その日の時間帯も表示される。時刻および日付は、ネットワークから自動的に取得される。ディスプレイがあるタイムゾーンに存在する間に、ユーザが他のタイムゾーンに居るということが起こり得るので、ディスプレイのタイムゾーンは、ディスプレイのマスターユーザによってなされる選択1710により決定される。   The top row of the display 200 shows only the current date and time. The time zone of the day such as “morning” or “evening” is also displayed. Time and date are automatically obtained from the network. Since it can happen that the user is in another time zone while the display is in one time zone, the time zone of the display is determined by a selection 1710 made by the master user of the display.

本図面では、人は左から右へと読み進めるものだと仮定しているので、サンプルディスプレイにおいて、イベントまたはリマインダの「タイトル」210は左側に表示される。もちろん、文化が異なればこのルールも異なり得、どのようにディスプレイを配置するかについての調整は、それぞれの国に適応され得る。   In this drawing, it is assumed that a person is reading from left to right, so the event or reminder “title” 210 is displayed on the left side in the sample display. Of course, this rule can be different for different cultures, and adjustments to how the display is arranged can be adapted to each country.

メッセージのタイトルは、入力メニュー1100内のタイトルの長さを限定することにより、わざと短くしてある。   The title of the message is intentionally shortened by limiting the length of the title in the input menu 1100.

メッセージタイトル(およびメッセージングの他の部分)を表示するために用いるサイズおよびフォントカラーは、対象イベントにどれくらい近いかに応じて変化する。イベントの開始(および、イベントが任意の長さを有する場合は、イベントの終了)に近づくにつれ、フォントが徐々に大きくなり、フォントカラーはより緊急性の高い色へと変化する。   The size and font color used to display the message title (and other parts of the messaging) will vary depending on how close it is to the event of interest. As the start of the event (and the end of the event if the event has an arbitrary length) is approached, the font gradually increases and the font color changes to a more urgent color.

メッセージタイトルが短か過ぎる場合もあり得るので、第2行目210は、メッセージまたは指示を追加することができる。この第2行目はオプションであり、時刻がイベントにより近くなるまで非表示にすることができる。第2行目を遅れて表示させることは、あまり早くにあまりに多くの情報を表示することは読み手を混乱させるだけである、という仮定に基づいたものである。   Since the message title may be too short, the second line 210 can add a message or instruction. This second line is optional and can be hidden until the time is closer to the event. The late display of the second line is based on the assumption that displaying too much information too quickly only confuses the reader.

付加的なメッセージング240、250をリマインダに追加して、イベントがいつ行われることになっているのかについての手掛かりを与える。補足的なタイミングメッセージの文言は、シンプルな口語体で作成される。「約2時間後に」のような文言で同じ意味を伝達できる場合、イベントが「2011年4月10日午前11時30分」に開始される予定であると言うのは、読み手にとってあまりに混乱させるものであろう。このようなタイミングメッセージングがどのように働くかについてのアルゴリズムは、かなり複雑であり得、且つ、閲覧者の文化様式および言語様式に合わせて調整する必要がある。いつもそうであるように、メッセージングは最小に維持される必要がある。しかし、与えられる情報が少なすぎる場合、それもまた問題であり得る。   Additional messaging 240, 250 is added to the reminder to give a clue as to when the event is to take place. Supplemental timing message text is created in a simple colloquial style. It would be too confusing for the reader to say that the event is scheduled to start "11:30 am on April 10, 2011" if the same meaning can be communicated with a phrase such as "about 2 hours later" It will be a thing. The algorithm for how such timing messaging works can be quite complex and needs to be tailored to the viewer's cultural and language style. As always, messaging needs to be kept to a minimum. But if too little information is given, it can also be a problem.

図22は、より多くのメッセージングの例が動作中のディスプレイに表示されている様子を示す。   FIG. 22 shows how more messaging examples are displayed on the active display.

サンプルメッセージ「朝の薬」は、応答(この場合、「OKボタン」220を押すこと)を求めている。応答方法についての指示は、言葉または他の手段で与えられ得る。この図では、OKボタンは単にディスプレイ上のグラフィックであり、システムは、タッチ感応型ディスプレイ1015システムを用いて、このボタンを押したことを感知する。後述するように、応答のステータスを監視することができる。   The sample message “morning medicine” is asking for a response (in this case, pressing the “OK button” 220). Instructions about how to respond can be given in words or other means. In this figure, the OK button is simply a graphic on the display, and the system uses the touch sensitive display 1015 system to sense that this button has been pressed. As will be described later, the status of the response can be monitored.

図3は、図1と同様のサンプルディスプレイを示す。但し、OKボタンが、チェックされたボックスのアイコン320と置き換えられた1点で異なっている。このアイコン(または同様の種類のインジケータ)は、メッセージが実行されたことを閲覧者に伝える。人は時々、薬の服用など、定期的に行っている何かを既に実行したことを忘れることがある。チェックされたボックスのアイコンは、リマインダの別の形として機能する。   FIG. 3 shows a sample display similar to FIG. However, the OK button is different in that it is replaced with a checked box icon 320. This icon (or similar type of indicator) tells the viewer that the message has been executed. Sometimes people forget that they have already done something that they regularly do, such as taking medication. The checked box icon serves as another form of reminder.

図4は、システムのロジックを分配する2つの方法を示す。   FIG. 4 shows two ways to distribute the logic of the system.

上段のバージョンは、サーバ側400、410にほぼ全てのロジックを配置しており、ディスプレイ430は、インターネット420に接続されたブラウザ等のシンクライアントと同程度である。そのような配置は、新型のタブレットコンピュータ等の市販製品をディスプレイに使用することができることを意味している。   In the upper version, almost all logic is arranged on the server side 400, 410, and the display 430 is comparable to a thin client such as a browser connected to the Internet 420. Such an arrangement means that a commercial product such as a new tablet computer can be used for the display.

この配置では、タブレットコンピュータは、基本的に、ブラウザディスプレイとして使用される。さまざまなウェブページにおけるHTMLおよびPHPコマンドは、何を表示すべきか、ならびに、いつそれを表示すべきかを決定する。   In this arrangement, the tablet computer is basically used as a browser display. HTML and PHP commands on various web pages determine what to display and when to display it.

ネットワーク時間を読み、次のオートリダイレクトコマンド(header( 'Location: page_url.php' ) )を計算することにより、毎分の開始直後または他の選択された時刻に行われるディスプレイのリフレッシュがウェブページ内にプログラムされる。リフレッシュ毎に、ディスプレイは、表示された時刻を更新し、新しいメッセージを取得し、現在アクティブなリマインダメッセージの文言およびフォントを更新することができる。要求された場合には、HTML5内に見つかったコマンドまたはその代替物により、音声を再生し得る。   By reading the network time and calculating the next auto-redirect command (header ('Location: page_url.php')), a display refresh that takes place immediately after the start of every minute or at some other selected time is within the web page To be programmed. With each refresh, the display can update the displayed time, get a new message, and update the wording and font of the currently active reminder message. If requested, the voice may be played by a command found in HTML5 or an alternative.

下段のバージョンは、メッセージングロジックの一部をクライアント側440に配置する。将来のイベントに関する情報は、ディスプレイのローカルデータベース460に格納され得る。その後、ディスプレイのシステム内に配置されたアルゴリズムは、サーバのシステムと通信する必要なく、所与の時刻に何を表示すべきかを決定し得る。ディスプレイは、依然、メッセージの更新を取得するために周期的にサーバと通信する必要があるが、そのような通信の頻度はより低くなり得る。システムのロジックの大部分、特にマスター、ノーマル、グループのインターフェーシング、アカウント管理および全般的なシステム管理のための部分は、依然、サーバ450内に配置されている。   The lower version places part of the messaging logic on the client side 440. Information about future events may be stored in the display's local database 460. An algorithm located in the display system can then determine what to display at a given time without having to communicate with the server system. The display still needs to communicate with the server periodically to get message updates, but the frequency of such communications can be lower. Most of the logic of the system, particularly the master, normal, group interfacing, account management and general system management parts, is still located in the server 450.

実施は多数の方法をもってなされ得る。一方のバージョンにおいて、ソフトウェアコードは、AJAX等の言語を用いて、ディスプレイのブラウザに効果的にダウンロードされ得る。   Implementation can be done in a number of ways. In one version, the software code can be effectively downloaded to a display browser using a language such as AJAX.

他のバージョンとして、ディスプレイは、存在する場合には、不揮発性メモリに常駐するソフトウェアアプリケーションを含み得る。このソフトウェアは、ディスプレイが最初にオンにされた時に自動的に実行されるようにされ得る。このことは、電力の遮断および通信の遮断が自動的に対処され得ることを意味している。   As another version, the display may include a software application that, if present, resides in non-volatile memory. This software can be made to run automatically when the display is first turned on. This means that power interruption and communication interruption can be handled automatically.

図5は、システムで使用した典型的なデータベース500テーブルのカテゴリを示す。動作の間、サーバに格納されたアルゴリズムは、各ディスプレイ、ユーザおよび状況をどのように扱うかを決定するために、以下のデータベーステーブルにアクセスする。   FIG. 5 shows typical database 500 table categories used in the system. During operation, the algorithm stored on the server accesses the following database tables to determine how to handle each display, user and situation.

ディスプレイ505のためのテーブルは、ディスプレイに関連付けられた名前およびタイムゾーン等、各単体のディスプレイに関する情報を含む。ユーザ510のためのテーブルは、名前、コンタクト情報、パスワードおよびユーザーアカウントの種類を含む、各ユーザに関する情報を含んでいる。このテーブルに現れるユーザは、1台のディスプレイまたは1組のディスプレイ(グループユーザである場合)に関連付けられている。メッセージテーブル515は、個々のメッセージの各々がいつどのように表示されるべきかに関する情報、誰がそのメッセージを作成したのかに関する情報、およびメッセージの種類に関する情報を含む、全てのメッセージを保持している。これら3つのテーブルは、システムにより使用されるデータベースの中核を含む。   The table for display 505 includes information about each single display, such as the name and time zone associated with the display. The table for user 510 contains information about each user, including name, contact information, password, and user account type. Users appearing in this table are associated with a display or set of displays (if they are group users). Message table 515 holds all messages, including information about when and how each individual message should be displayed, information about who created the message, and information about the type of message. . These three tables contain the core of the database used by the system.

中核的なテーブルに加えて、重要な補足的なテーブルが多数存在する。ディスプレイチェックテーブル520は、各ディスプレイの調子を格納するために使用される。プリセットテーブルは、タイピングをある程度減らすために使用され得る、予め定義されたメッセージを格納する。これらのプリセットメッセージは、メッセージテーブルに格納されたレギュラーメッセージと同じ情報のほとんどの部分を含む。グループリクエストテーブルは、グループユーザがマスターユーザに対しておこなったグループへの加入を求めるリクエストを格納するために使用される。グループハイドテーブルは、特定のグループメッセージが特定のディスプレイ上に表示されるべきかどうかを決定する情報を格納するために使用される。OKボタンテーブルは、そのような応答を要求する各メッセージについて、応答のステータスを格納する。命令テーブルは、ユーザインタフェースのための、ローカライズされた(異なる言語の)命令および文言を格納するために使用される。画像テーブルは、特定のメッセージに関連付けられ得る画像を格納するために使用される。音声テーブルは、特定のメッセージまたは状況に関連付けられ得る適切なフォーマットの音声ファイルを格納するために使用される。   In addition to the core table, there are a number of important supplemental tables. The display check table 520 is used to store the tone of each display. The preset table stores predefined messages that can be used to reduce typing to some extent. These preset messages contain most of the same information as the regular messages stored in the message table. The group request table is used for storing a request for joining a group made by a group user to a master user. The group hide table is used to store information that determines whether a particular group message should be displayed on a particular display. The OK button table stores the response status for each message requesting such a response. The instruction table is used to store localized (different language) instructions and language for the user interface. The image table is used to store images that can be associated with a particular message. The audio table is used to store an appropriately formatted audio file that can be associated with a particular message or situation.

図6は、まず、アルゴリズムおよびデータベーステーブルがどのように協働して全てのディスプレイを管理するかを示す。   FIG. 6 first shows how the algorithm and database table work together to manage all displays.

周期的にデータベース600を参照して、現在どのメッセージがアクティブであるかが確認される(610)。メッセージテーブル内のエントリが、現在のタイムゾーン、日付および時刻650に基づいてメッセージを表示すべきであることを示している場合、そのメッセージはアクティブである。   Periodically, the database 600 is consulted to determine which message is currently active (610). A message is active if an entry in the message table indicates that the message should be displayed based on the current time zone, date and time 650.

次に、特定のメッセージがグループユーザから来た場合、グループハイドテーブルにアクセスして(615)、このメッセージをこの特定のディスプレイ上に表示すべきかどうかを判定する。   Next, if a particular message comes from a group user, the group hide table is accessed (615) to determine if this message should be displayed on this particular display.

次に、OKボタンテーブルにアクセスして(620)、この特定の時刻に応答が要求されるかどうかを判定する。メッセージは、イベントが始まる前の所定時間まで応答を要求せずに表示され得る。したがって、例えば、閲覧者は、イベントが近づいてきていることを知ることができる。しかし、イベントがちょうど行われようとするまでは、閲覧者からの応答は要求されない。   Next, the OK button table is accessed (620) to determine if a response is requested at this particular time. The message may be displayed without requesting a response until a predetermined time before the event begins. Therefore, for example, the viewer can know that the event is approaching. However, no response from the viewer is required until the event is about to take place.

次に、メッセージテーブルおよび他のテーブルに格納されたパラメータに基づき、正確な文言およびフォントの選択がコンパイルされる(625)。各状況にあわせていかにメッセージングを調整するかは、科学と言うより芸術の領域と言ってもよいぐらいだが、本開示の重要な要素は、そのような調整がシステムと一体になっている点にある。   Next, based on the parameters stored in the message table and other tables, the exact wording and font selection is compiled (625). Whether messaging is tailored to suit each situation is more of an art domain than science, but the key element of this disclosure is that such coordination is integrated with the system. is there.

次に、メッセージまたは状況と関連付けられた任意の音声が存在する場合、音声テーブルがアクセスされて、適宜メッセージ内にコンパイルされる(630)。以前のステップで先に選択された文言およびフォントと同様に、音声もまた調整され得る。   Next, if there is any audio associated with the message or status, the audio table is accessed and compiled into the message as appropriate (630). Similar to the wording and font previously selected in the previous step, the audio can also be adjusted.

同様に、メッセージと関連付けられた任意のグラフィックスまたは画像が存在する場合、これらもまた635に一体にされている。やはり、状況に応じた調整が行われ得る。   Similarly, if there are any graphics or images associated with the message, these are also integrated into 635. Again, adjustments according to the situation can be made.

最後に、完成した、コンパイルされたメッセージが、ディスプレイ上に表現される(640)。これは、以前のステップにおいてメッセージの一部であると判定された任意のテキスト、音声および/または画像を含む。その後、ディスプレイおよびメッセージは、必要に応じて、リフレッシュタイマーに基づいてリフレッシュされる。   Finally, the completed compiled message is represented on the display (640). This includes any text, audio and / or images that were determined to be part of the message in previous steps. The display and messages are then refreshed based on a refresh timer as needed.

図7は、メッセージを特定のディスプレイ上に配置した場合の、グループユーザ700、マスターユーザB715およびレギュラーユーザB720の関係の一部を示す。   FIG. 7 shows a portion of the relationship between group user 700, master user B 715, and regular user B 720 when the message is placed on a particular display.

最もシンプルな状況は、マスターユーザがメッセージB1730をディスプレイB760上に配置しようとする時である。ディスプレイBがこのユーザによって管理されているので、このメッセージは許可される。ディスプレイA、ディスプレイC770およびディスプレイD780等のネットワーク上の他のディスプレイは、メッセージB1を無視する。同様に、ユーザBはメッセージB2735を同じディスプレイB上に配置することができる。このユーザは、マスターユーザBによってそうする権限を与えられたからである。   The simplest situation is when the master user wants to place message B1730 on display B760. This message is allowed because display B is managed by this user. Other displays on the network, such as display A, display C770, and display D780, ignore message B1. Similarly, user B can place message B2735 on the same display B. This is because this user has been given authority to do so by Master User B.

マスターユーザBはまた、レギュラーユーザBによって作成されたメッセージB2を編集または削除する能力を有する。レギュラーユーザBもまたメッセージB2を編集することができるが、このユーザはマスターユーザBよって作成されたメッセージB1を編集することはできない。   Master user B also has the ability to edit or delete message B2 created by regular user B. Regular user B can also edit message B2, but this user cannot edit message B1 created by master user B.

マスターユーザBおよびレギュラーユーザBは、ディスプレイBに宛てられた全てのメッセージを、それらが現在このディスプレイ上に表示されているか否かに拘わらず、見ることができる。   Master user B and regular user B can see all messages addressed to display B, regardless of whether they are currently displayed on this display.

この図において、グループユーザは、2つのグループメッセージ705、710を作成するものとして示されている。これらのグループメッセージは、このグループに属する全てのディスプレイ760、770に送信される可能性があるが、このグループの一部ではないディスプレイ780には、ディスプレイ780が同じネットワーク上に存在する場合であっても、送信されない。   In this figure, the group user is shown as creating two group messages 705, 710. These group messages may be sent to all displays 760, 770 belonging to this group, but for displays 780 that are not part of this group, the display 780 is on the same network. Even if it is not sent.

グループメッセージが任意のディスプレイに宛てられている場合、そのディスプレイに関連付けられたマスターユーザおよびレギュラーユーザは、このメッセージを見ることができる。マスターユーザまたはレギュラーユーザのいずれかが、あるグループメッセージがある予定されているイベントとコンフリクトすると判断した場合、ユーザはこのグループメッセージを隠す能力を有する。個々のグループメッセージは表示するまたは隠すことが許可され得るので、隠されている状態のグループメッセージ2710(750)とは別個に、グループメッセージ1705を隠すことができる(745)。このマスターユーザBおよびレギュラーユーザBによる判断は、他のディスプレイ770、780上に何が表示されるかということに影響を及ぼさない。   If the group message is addressed to any display, the master user and regular user associated with that display can see this message. If either a master user or a regular user determines that a group message conflicts with a scheduled event, the user has the ability to hide this group message. Since individual group messages may be allowed to be displayed or hidden, group message 1705 may be hidden (745) separately from group message 2710 (750) in a hidden state. The determination by the master user B and the regular user B does not affect what is displayed on the other displays 770 and 780.

図8は、特定のディスプレイが特定のグループの一部であるかどうかについて判定する処理のフローを示す。ディスプレイの制御はそのディスプレイのマスターユーザに帰属するので、グループユーザはまず、マスターユーザのユーザー名を要求する必要がある(800)。マスターユーザが同意する場合(810)、グループユーザは、そのマスターユーザに、グループに加入する旨の招待状を電子メールで送信できる(820)。この電子メールは、暗号化された鍵の付いた特別なリンクを含み、このリンクをクリックすると、マスターユーザは、そのディスプレイが加入したばかりのグループを表示するウェブページに移動する(830)。この観点から、グループユーザのグループメッセージは、マスターユーザがこのディスプレイをグループから排除する(850)かまたはその特定のグループメッセージを隠す(860)と決断しない限り、当該ディスプレイ上に表示される(840)。ノーマルユーザはまた、(ステップ860と同様に)個々のグループメッセージを隠すことができるが、グループからディスプレイを排除することはできない。   FIG. 8 shows a process flow for determining whether a particular display is part of a particular group. Since control of the display belongs to the master user of the display, the group user must first request the user name of the master user (800). If the master user agrees (810), the group user can send an invitation to join the group by email to the master user (820). The email contains a special link with an encrypted key that, when clicked, brings the master user to a web page that displays the group that the display has just subscribed to (830). In this regard, the group user's group message is displayed on the display (840) unless the master user decides to remove the display from the group (850) or hide the particular group message (860). ). Normal users can also hide individual group messages (as in step 860), but cannot exclude displays from the group.

図9は、図1のバリエーションを示し、OKボタンまたは受領確認システムがどのように動作するかについて説明するために用いられる。まず、リマインダメッセージが、ディスプレイの閲覧者による受領確認の必要性を指定するマスターユーザ900、レギュラーユーザ910またはグループユーザ915によって作成される。メッセージは、データベース980内に保存され、適切なタイミングでディスプレイ940に供出される(970)。その後、特定の時刻に、OKボタンが、他の言語的または視覚的なプロンプトと共に表示される(950)。あるいは、外部機器960を作動して、ある種のアクションを要求し得る。その後、要求された受領確認が閲覧者によりなされて、データベース980内にログ付けされる。その後、さまざまなユーザが、ウェブページを介して、受領確認がなされたかどうかを見ることができる。あるいは、サーバは、ショートメッセージ(SMS)または電子メールを送信するか、もしくは電話をかけ得る。   FIG. 9 shows a variation of FIG. 1 and is used to explain how the OK button or receipt confirmation system operates. First, a reminder message is created by the master user 900, regular user 910 or group user 915 specifying the need for confirmation of receipt by the viewer of the display. Messages are stored in the database 980 and presented to the display 940 at the appropriate time (970). Thereafter, at a particular time, an OK button is displayed (950) with other linguistic or visual prompts. Alternatively, the external device 960 may be activated to request some kind of action. The requested receipt confirmation is then made by the viewer and logged in the database 980. Various users can then see whether the receipt has been confirmed via the web page. Alternatively, the server may send a short message (SMS) or email or make a phone call.

図10は、ディスプレイの典型的なハードウェアブロック図を示す。ディスプレイは、プロセッサ1000、命令動作および変数のためのメモリ1040、BIOSのための不揮発性メモリ1045、オペレーティングシステム1050およびアプリケーション1055、電源1060およびオプションのバッテリー1065、ディスプレイ1010およびオプションのタッチパネルシステム1015、ならびに、WAN/LAN1035に接続するためのネットワーキング(有線および/または無線)1030を含む要素の、典型的なセットから構成される。   FIG. 10 shows a typical hardware block diagram of the display. Display includes processor 1000, memory 1040 for instruction operations and variables, non-volatile memory 1045 for BIOS, operating system 1050 and application 1055, power supply 1060 and optional battery 1065, display 1010 and optional touch panel system 1015, and , Consisting of a typical set of elements including networking (wired and / or wireless) 1030 to connect to WAN / LAN 1035.

このディスプレイは、スタンドアロン製品であるかまたは別の製品の一部であり得る。例えば、このディスプレイは、テレビに内蔵され得る。その場合、タッチパネルユーザインタフェースは、遠隔制御構成と置き換えられ得る。他の要素のほとんどの全てがすでに今日のテレビの一部であるので、これらの要素は共有され且つ活用され得る。   This display can be a stand-alone product or part of another product. For example, the display can be built into a television. In that case, the touch panel user interface may be replaced with a remote control configuration. Since almost all of the other elements are already part of today's television, these elements can be shared and exploited.

図11は、リマインダメッセージを入力または編集するための、ユーザインタフェーススクリーンショットの一例を示す。これは、ウェブページの一部またはアプリケーションの一部であり得る。   FIG. 11 shows an example user interface screenshot for entering or editing a reminder message. This can be part of a web page or part of an application.

この例は、メッセージタイトルまたはヘッドラインを入力する場所1100から始まる。また、説明の第2行目を入力する場所1105もある。行数を増やすことができるが、本図面は、これらの2つの部分だけに説明を限定して、閲覧者へのメッセージをシンプルに保つ。   This example begins at 1100 where a message title or headline is entered. There is also a place 1105 for inputting the second line of the description. Although the number of lines can be increased, this drawing limits the description to only these two parts and keeps the message to the viewer simple.

一旦イベントが始まると、メッセージを変更するほうが有用である場合がある。例えば、メッセージは、誕生日に至るまでの日には、「もうすぐあなたの誕生日」であり得るが、誕生日当日には、「誕生日おめでとう」となり得る。このオプションを設けるために、メッセージタイトルおよびメモの第2のセットが与えられる(1110)。   It may be more useful to change the message once the event has started. For example, the message may be “Your Birthday soon” on the day until the birthday, but may be “Happy Birthday” on the day of the birthday. To provide this option, a second set of message titles and notes is provided (1110).

その後、各リマインダメッセージは、開始日および時刻1120を与えられる。休日および誕生日等のある種のイベントは、実際その日自体についてのイベントなので、イベントは「終日」と指定され得る(1125)。   Each reminder message is then given a start date and time 1120. Certain events, such as holidays and birthdays, are actually events for the day itself, so the event may be designated as “all day” (1125).

そのイベントが終日イベントでない場合、その次に指定するのは、そのイベントがどれくらいの長さ続くか(1130)である。イベントが1日未満しか続かない場合、イベントの長さは分や時間などで特定され得る。イベントが複数の日にわたって行われる場合、特定の日付および時刻1140を指定することによって、イベントの終了を定義し得る。   If the event is not an all day event, the next thing to specify is how long the event will last (1130). If the event lasts less than a day, the length of the event can be specified in minutes or hours. If the event occurs over multiple days, the end of the event may be defined by specifying a specific date and time 1140.

次に、いつディスプレイ上にイベントを表示し始めるか(1150)を特定し得る。イベントを表示し始めるタイミングは、イベントの種類ならびにユーザおよび閲覧者の好みに大いに依存しており、イベントの長さに縛られていない。   Next, it may be determined (1150) when the event begins to appear on the display. The timing to start displaying an event is highly dependent on the type of event and user and viewer preferences and is not tied to the length of the event.

必要に応じて、イベントへの注意をひくために音声リマインダを再生し得る。このような音声メッセージングをいつ再生し始めるか(1160)は、いつイベントを表示し始めるかとは独立に指定することができる。但し、メッセージが視覚的に表示されるまで、音声メッセージングを開始すべきではない。音声メッセージングの種類は独立に選択され得る(1165)。   If necessary, an audio reminder may be played to draw attention to the event. When to start playing such voice messaging (1160) can be specified independently of when to start displaying events. However, voice messaging should not begin until the message is visually displayed. The type of voice messaging may be selected independently (1165).

リマインダメッセージの受領確認が要求された場合、ユーザがチェックできるチェックボックスが設けられている(1170)。さらに、特定の期間の後に(イベントの終了までに)受領確認がなされていない場合に警告されることをユーザが希望する場合には、その目的のために別のチェックボックス1175が提供されている。   A check box is provided that can be checked by the user when confirmation of receipt of the reminder message is requested (1170). In addition, if the user wishes to be alerted if no acknowledgment has been made after a certain period (by the end of the event), another check box 1175 is provided for that purpose. .

ある程度予測可能にイベントが繰り返される場合、システムは、このイベントをどのように繰り返すかをユーザに特定させる(1180)。1日毎から1年毎までの多数の繰り返しオプションおよびそれらの間のいくつかのオプションが提供され得る。PC、PDAおよび電話システムにおいて使用されるカレンダーシステムとは異なり、ディスプレイの閲覧者による混乱を避けるために、繰り返されるイベントの1回のみを一度に示す。   If the event repeats to some degree predictably, the system allows the user to specify how to repeat this event (1180). Multiple recurring options from daily to yearly and several options in between can be provided. Unlike the calendar system used in PC, PDA and phone systems, only one repeated event is shown at a time to avoid confusion by the viewer of the display.

図12は、ディスプレイ上に表示することが予定されている全てのメッセージをレビューおよび管理するためにマスターユーザが見る典型的なユーザインタフェースを示す。これは、ウェブページ上で見られ得るか、または、アプリケーションの一部であり得る。   FIG. 12 shows a typical user interface that a master user sees to review and manage all messages that are scheduled to be displayed on the display. This can be seen on a web page or can be part of an application.

インタフェースは、どのディスプレイを表示しているか(1200)、ならびに、ディスプレイが配置された場所の時刻等の他の補足情報、および、このディスプレイがグループメッセージを受け入れるように有効化されているかどうか(1205)を表示する。   The interface is displaying which display is being displayed (1200), and other supplemental information such as the time at which the display is located, and whether this display has been enabled to accept group messages (1205). ) Is displayed.

モバイル機器でより使いやすいフォーマットで情報を表示するためのボタン(1210)が設けられている(このモードに自動的に切り替えることも可能である)。新規リマインダメッセージを追加するためのボタン(1215)または新規インスタントメッセージを追加するためのボタン(1220)が設けられている。ディスプレイ自体がその瞬間にどのように見えるかを確認するためのボタン(1225)が設けられている。他に、ヘルプおよび使用頻度の低い管理機能を表示するためのボタン(1230)が設けられている。   A button (1210) for displaying information in a format that is easier to use on a mobile device is provided (it is also possible to automatically switch to this mode). A button (1215) for adding a new reminder message or a button (1220) for adding a new instant message is provided. A button (1225) is provided for confirming how the display itself looks at that moment. In addition, a button (1230) for displaying help and a management function with low usage frequency is provided.

メインテーブルは、このディスプレイについて現在挙げられている全てのアクティブなイベントのサマリーを示す。テーブルの列は、タイトルおよびメモ(1240、1245)、イベントがいつ始まるか、ならびに、さまざまな時刻においてディスプレイが何をしなければならないかについての情報(1250)、イベントがいつ終了するか、ならびに、それらイベントを繰り返すかどうかまたはイベントをどのように繰り返すかについての情報(1255)、いつイベントの表示を開始するか、もしくは、イベントが現在ディスプレイ上に表示されているかどうかについての情報(1260)を示している。受領確認が要求されるかどうか、または、受領確認がされたかどうか、ならびに、受領確認がなされなかった場合に警告を発するべきかどうかに関する情報も示されている(1270)。最後の列は、誰がメッセージを作成したか(1275)を示し、且つ、メッセージがこのユーザが編集できるメッセージである場合に編集ボタンを示す(1280)。図12はマスターユーザ用なので、このユーザは、他のマスターユーザまたはレギュラーユーザによって作成されたいずれのメッセージについても編集権限を有している。特定のメッセージが他の誰かによって作成された場合、編集ボタンは少し異なって見えるように形成され得る(1280)。   The main table shows a summary of all active events currently listed for this display. The columns of the table are the title and notes (1240, 1245), when the event begins, and information about what the display should do at various times (1250), when the event ends, and Information about whether or how to repeat the event (1255), information about when to start displaying the event, or whether the event is currently displayed on the display (1260) Is shown. Information is also shown regarding whether an acknowledgment is required, whether an acknowledgment has been made, and whether a warning should be issued if no acknowledgment is made (1270). The last column shows who created the message (1275) and an edit button if the message is a message that this user can edit (1280). Since FIG. 12 is for a master user, this user has edit authority for any message created by another master user or a regular user. If a particular message was created by someone else, the edit button may be configured to look a little different (1280).

2個以上のイベントが重複またはコンフリクトする場合に表示されるフラグは、ここでは図示していない。異なるユーザが同じディスプレイ上にイベントリマインダを配置しようとすることができるので、あるユーザが他とコンフリクトするイベントを偶然作成することがあり得、よって、そのようなコンフリクトを何らかの形で表示することが重要である。   A flag that is displayed when two or more events overlap or conflict is not shown here. Since different users can try to place event reminders on the same display, it is possible for one user to accidentally create an event that conflicts with another, so that such a conflict may be displayed in some way. is important.

グループメッセージに対して、編集ボタンの代わりに、そのグループメッセージを隠すかまたは表示するために使用するボタンが設けられている。この場合、メッセージが閲覧可能であれば開いた目1285を表示し、そうでなければ閉じた目を表示する。この機能の具体的な実施態様は、ユーザインタフェースのプリファレンスに応じて異なり得る。   For group messages, instead of an edit button, a button is provided that is used to hide or display the group message. In this case, an open eye 1285 is displayed if the message can be viewed, and a closed eye is displayed otherwise. The specific implementation of this functionality may vary depending on user interface preferences.

図13は、リマインダメッセージを管理するための同様の図面を示す。この図だけが、それがノーマルユーザにどのように見えるかを示す。ノーマルユーザは自分自身が入力したメッセージしか編集できないので、列挙されたメッセージの部分集合に対してのみ編集ボタンが表示されており(1300)、他人が作成したメッセージに編集ボタンは表示されない(1310)。ノーマルユーザはグループメッセージを隠すことおよび表示することができるので、それを行うためのボタンも表示されている(1320)。   FIG. 13 shows a similar drawing for managing reminder messages. Only this figure shows how it looks to normal users. Since the normal user can edit only the message entered by himself / herself, the edit button is displayed only for a subset of the enumerated messages (1300), and the edit button is not displayed for a message created by another person (1310). . Since the normal user can hide and display the group message, a button for doing so is also displayed (1320).

図14は、これらのインタフェースがモバイル機器にどのように見えるかを示す。インタフェース全体のうちの一部のみを表示し、残りの部分はスクローリングまたはページングによって見ることができる。「フルバージョン」のインタフェースを見る手段も設けられている(1400)。   FIG. 14 shows how these interfaces look to the mobile device. Only a portion of the entire interface is displayed and the rest can be viewed by scrolling or paging. Means for viewing the “full version” interface are also provided (1400).

図15は、インタフェースがグループユーザにどのように見えるかを示す。用いられた例は1つのグループメッセージを有するだけだったので、1つのメッセージ1500のみをこのテーブルに示す。マスターユーザやノーマルユーザとは異なり、グループユーザはグループメッセージを編集することができるので、編集ボタンが表示されている。   FIG. 15 shows how the interface looks to the group user. Since the example used had only one group message, only one message 1500 is shown in this table. Unlike the master user and the normal user, the group user can edit the group message, so an edit button is displayed.

図16は、ディスプレイにインスタントメッセージを送信するための典型的インタフェースを示す。メッセージタイトル1600および詳細用の第2行目1610のために場所が設けられている。また、どれくらいの期間メッセージを表示するのかを指定する手段が設けられている(1620)。   FIG. 16 shows an exemplary interface for sending instant messages to the display. A place is provided for the message title 1600 and the second line 1610 for details. Also, means for specifying how long the message is displayed is provided (1620).

電話またはPCで使用される典型的インスタントメッセージとは異なり、本開示に記載されたディスプレイの種類の閲覧者は、より受動的な閲覧者である。メッセージをディスプレイ上に表示させるための閲覧者によるアクションは要求されないが、その一方で、この人が必ずメッセージに気付くという保証もない。メッセージへの注意を喚起するために、音声通知を指定し得る(1630)。あるいは(ここでは図示しないが)、先に説明したメッセージと同様に、受領確認を要求するようにメッセージを作成し得る。   Unlike typical instant messaging used on telephones or PCs, the display type viewers described in this disclosure are more passive viewers. No action is required by the viewer to display the message on the display, but there is no guarantee that this person will always notice the message. An audio notification may be specified (1630) to call attention to the message. Alternatively (although not shown here), a message may be created to request receipt confirmation, similar to the message described above.

図17は、システムの管理機能(ここではディスプレイ(図中の名称は「フレーム」)の管理)の一部を示す。各ディスプレイには、名前1700を与えることができる。その名前は、通常、ディスプレイを閲覧している人の名前である。次は、ディスプレイのタイムゾーンを指定する手段である(1710)。あるいは、タイムゾーン情報は、ディスプレイが接続されたネットワークを介して取得され得る。   FIG. 17 shows a part of the management function of the system (in this case, management of a display (name in the figure is “frame”)). Each display can be given a name 1700. The name is usually the name of the person viewing the display. Next is a means for designating the time zone of the display (1710). Alternatively, time zone information can be obtained via a network to which a display is connected.

次に、都市または部屋番号等の何らかの形式での位置の説明を指定し得る(1720)。ディスプレイ名および位置の組合せは、各ディスプレイをユニークに特定するのを助ける。   Next, a location description in some form, such as a city or room number, may be specified (1720). The combination of display name and location helps to uniquely identify each display.

このディスプレイがグループメッセージを受け入れることがOKである場合、そのためにチェックボックス1730が設けられている。このチェックボックスは、マスターユーザが電子メール招待状をクリックした場合(830)に、自動的にチェックが入るが、その後、いつでも、チェックを外すことや再びチェックを入れることができる。   If this display is OK to accept a group message, a check box 1730 is provided for that purpose. This check box is automatically checked when the master user clicks on an email invitation (830), but can be unchecked or checked again at any time thereafter.

図18は、プリセットリマインダを管理するためのインタフェースを示す。いくつかのプリセットリマインダが、システムによって定義されており、ここでは管理者から来たものとして示されている(1820)。いくつかのプリセットが、マスターユーザ、ノーマルユーザまたはグループユーザによって定義されていてもよい。ユーザが編集権限(通常のリマインダメッセージと同様のルールに従う編集権限)を有する場合、編集ボタンが表示される(1810)。   FIG. 18 shows an interface for managing preset reminders. Several preset reminders have been defined by the system and are shown here as coming from the administrator (1820). Some presets may be defined by a master user, normal user or group user. If the user has editing authority (editing authority according to the same rule as a normal reminder message), an editing button is displayed (1810).

図19は、プリセットを選ぶための簡単な手段を示す。一旦プリセットが定義されると、新規リマインダメッセージを作成する際に、プリセット用のボタン(図示しないが、図11に示したのと同様のインタフェース上に現れる)をクリックすることにより、プリセットが選択可能である(1900)。一旦プリセットが選択されても、その後修正することもカスタマイズすることも可能である。したがって、ユーザは、パラメータ、日付、時刻などの特定のセットに縛られない。   FIG. 19 shows a simple means for selecting a preset. Once a preset has been defined, when creating a new reminder message, the preset can be selected by clicking on a preset button (not shown but will appear on the same interface as shown in FIG. 11) (1900). Once a preset is selected, it can be subsequently modified or customized. Thus, the user is not tied to a specific set of parameters, date, time, etc.

図20は、所与のディスプレイの組の調子を監視するように設計された低レベル動作を示す。ディスプレイは、偶発的にオフされたり、電力または通信を喪失したり、もしくは、ハードウェアの故障が起きたりし得る。ディスプレイは通常、それを管理する人の近くに存在しないので、ディスプレイの調子についての何らかのインディケーションを得る手段が設けられている必要がある。   FIG. 20 illustrates low level operation designed to monitor the tone of a given display set. The display can be accidentally turned off, lose power or communication, or have a hardware failure. Since the display usually does not exist near the person who manages it, it is necessary to provide a means for obtaining some indication of the tone of the display.

そのためにまずはじめに、ディスプレイが、ネットワーク2020を介してサーバに周期的な「生存(keep-alive)」信号2000を送信する。生存信号の周期は、プリセットされ得(2010)、ニーズに応じて、あまり頻度が高い必要はない。   To that end, the display first sends a periodic “keep-alive” signal 2000 to the server via the network 2020. The period of the survival signal can be preset (2010) and need not be too frequent depending on the needs.

サーバ(この図面中では「システム」)は、サーバが監視している全てのディスプレイからの生存信号を受け入れる。それらディスプレイのうちの1台またはそれ以上が生存信号を送信しなかった場合(2040)、警告を送信し得る(2050)。あるいは、ウェブページを更新して、疑わしいディスプレイの名前および位置を掲載し得る。   The server ("system" in this figure) accepts the survival signal from all displays that the server is monitoring. If one or more of the displays did not send a survival signal (2040), a warning may be sent (2050). Alternatively, the web page may be updated to include the name and location of the suspicious display.

その間、ユーザ2060は、ディスプレイの近くに存在していないにも拘わらず、ディスプレイのステータスの閲覧および/または警告の受信を行える。   Meanwhile, the user 2060 can view the status of the display and / or receive alerts even though they are not near the display.

図21は、低レベルの管理機能、ディスプレイおよびマスターユーザの他のセットアップを示す。   FIG. 21 shows a low level management function, display and other setup of the master user.

各ディスプレイについて、固有のアカウントを作成する必要がある。このアカウントは、システム管理者によって作成され得る(2100)。この管理者は、サービスプロバイダまたは工場に居る者であり得る。ディスプレイがこのシステムで動作するように特定的に構成された固有の機器である場合、固有のアカウントコード(おそらくアルゴリズム的に生成される)が、ディスプレイの不揮発性メモリに格納され得る。サービスプロバイダがディスプレイのアカウントを作成している場合、固有のコードを作成するために、様々な手段を用いてもよい。一旦作成されると、これらの固有のアカウントコードは、システムデータベース160、505にも格納される。   You need to create a unique account for each display. This account may be created (2100) by the system administrator. This administrator may be a service provider or a person at the factory. If the display is a unique device specifically configured to operate with this system, a unique account code (possibly generated algorithmically) may be stored in the display's non-volatile memory. If the service provider is creating a display account, various means may be used to create a unique code. Once created, these unique account codes are also stored in the system databases 160, 505.

次に、システム管理者は、新しいマスターユーザアカウントを作成する。このアカウントは、固有のユーザー名および特定のディスプレイへのポインタからなる。パスワード(望ましくは、固有のパスワード)も生成される。また、このシステム専用のディスプレイが製造される場合、マスターユーザのセットアップはディスプレイの工場においてなされ得る。あるいは、サービスプロバイダが、マスターユーザアカウントの詳細を作成し得る。いずれの方法でも、この情報は、一旦作成されると、同じデータベース160、510にも格納される。   Next, the system administrator creates a new master user account. This account consists of a unique username and a pointer to a specific display. A password (preferably a unique password) is also generated. Also, if a display dedicated to this system is manufactured, the setup of the master user can be done at the display factory. Alternatively, the service provider may create master user account details. Either way, once created, this information is also stored in the same database 160, 510.

次に、新しいマスターユーザは、新しいユーザー名およびパスワードを与えられる。その後、このマスターユーザは、システムにログインする(2120)。一旦ログインすると、この人は、新規リマインダメッセージを作成でき(2130)、上で説明したように、他のユーザ等を作成することができる。   The new master user is then given a new username and password. The master user then logs into the system (2120). Once logged in, this person can create a new reminder message (2130) and can create other users, etc., as described above.

このステップの前か後に、マスターユーザは、(例えば、アルツハイマー病の人)が使用することを意図して、ディスプレイをインストールする。インストールは、ディスプレイをシステムにログインさせること(2140)を含む。システムへのログインは、2つのステップを含む。第1のステップは、ネットワーク接続を確立することである。この接続は、使用するネットワーク接続性の具体的な種類に応じて、多くの方法で達成され得る。接続性は、さまざまな有線(例えば、ケーブルを介したLAN、電話を介したモデム)または無線の(例えば、Wi‐Fi、セル方式、ブルートゥース)手段を介して達成され得る。例えば、Wi‐Fi接続を介して利用可能な既存のインターネットサービスがある場合、ディスプレイはまず、このWi‐Fiへのリンクを確立する必要がある。   Before or after this step, the master user installs the display intended for use (eg, Alzheimer's). Installation includes logging the display into the system (2140). Logging in to the system involves two steps. The first step is to establish a network connection. This connection can be accomplished in many ways, depending on the specific type of network connectivity used. Connectivity can be achieved via various wired (eg, LAN over cable, modem over telephone) or wireless (eg, Wi-Fi, cellular, Bluetooth) means. For example, if there is an existing Internet service available via a Wi-Fi connection, the display must first establish a link to this Wi-Fi.

ディスプレイをシステムにログインさせるための第2のステップは、先に確立されたディスプレイの固有識別コードをシステムに認識させることである(2100)。このステップは、ディスプレイによって手動または自動的に実行され得る。   The second step for logging the display into the system is to have the system recognize the previously established display unique identification code (2100). This step can be performed manually or automatically by the display.

手動で実行された場合、ディスプレイ上の画面は、ユーザー名およびパスワード等の、ディスプレイのアカウントログイン情報を要求する。ユーザは、要求された情報を入力するために、さまざまな入力デバイス(例えば、タッチスクリーン、遠隔制御またはキーボード)のいずれかを使用し得る。   When executed manually, the screen on the display requests account login information for the display, such as a username and password. A user may use any of a variety of input devices (eg, touch screen, remote control or keyboard) to enter the requested information.

自動的に実行された場合、ディスプレイは、その固有の識別情報を不揮発性メモリから読み出し、この情報をシステムに与える。要求された情報がディスプレイの不揮発性メモリに一旦与えられると、ディスプレイの自動ログインは、工場またはマスターユーザのいずれかによってなされ得る。   When executed automatically, the display reads its unique identification information from non-volatile memory and provides this information to the system. Once the requested information is provided to the display's non-volatile memory, automatic login of the display can be done by either the factory or the master user.

パスワードは、特に、サーバに与えられる前に暗号化される。暗号化は、プライバシー保護のために必要である。   The password is specifically encrypted before being given to the server. Encryption is necessary for privacy protection.

図22は、プロトタイプの表示装置を示す。この表示装置は、卓上に配置できるように、スタンド内に設置されている。あるいは、このようなディスプレイは、壁に組み込まれ得るかまたは、テレビ等の他の機器の一部であり得る。   FIG. 22 shows a prototype display device. This display device is installed in a stand so that it can be placed on a table. Alternatively, such a display can be built into the wall or part of another device such as a television.

図2および図3と同様に、メッセージングは、各イベントに対する現在時刻に合うように調整されることに留意されたい。例えば、「ジェリーと夕食」は、「2日後」と表示される(2210)。これは、火曜日の午後6時である(2215)。誕生日は「3日後」である。この誕生日は終日イベントなので、時刻は与えられず、「水曜日」とだけ表示される(2220)。   Note that, similar to FIGS. 2 and 3, messaging is adjusted to match the current time for each event. For example, “Jerry and dinner” is displayed as “2 days later” (2210). This is 6pm on Tuesday (2215). My birthday is “3 days later”. Since this birthday is an all day event, no time is given and only "Wednesday" is displayed (2220).

「アリスを訪問する」イベントは、もう少し多くの詳細を表示している(2230)。このイベントは複数日イベントであり、「約1週間後」の「12月17日」に開始され、3日間続くことがわかる(2235)。   The “Visit Alice” event displays a little more detail (2230). This event is a multi-day event, which starts on “December 17”, “after about one week”, and lasts for three days (2235).

これらのメッセージの各々は、それがイベントにどれだけ近いか、ならびに、イベントが開始したかどうかまたはちょうど終了したかどうかに応じて、時間の経過とともに自動的に変化する。   Each of these messages changes automatically over time, depending on how close it is to the event and whether the event has started or just ended.

写真が日中に撮影されたので、図示したサンプルディスプレイは白い背景を有する。誰か眠っている人を妨げる可能性を減らすため、夜間には、ディスプレイの背景は黒くなり、そして、フォントカラーはそれに応じて読みやすくなるように調整される。ディスプレイが夜間モードになるタイミングは、任意であり得るか、マスターユーザが選択したオプションにより設定され得るか、もしくは、ディスプレイにより検出されたIPアドレスのジオロケーションにより決定されるように、ディスプレイが世界のどこに配置されているかに応じて自動的に調整され得る。   Since the picture was taken during the day, the illustrated sample display has a white background. To reduce the possibility of disturbing someone sleeping, at night the display background will be black and the font color will be adjusted accordingly to make it easier to read. The timing at which the display goes into night mode can be arbitrary, can be set by options selected by the master user, or the display can be globally determined as determined by the geolocation of the IP address detected by the display. It can be adjusted automatically depending on where it is located.

ここで、図33を参照して、認知能力が低下した人が、来るべきイベントを管理するのを援助するための、コンピュータで実装されたシステムについて説明する。コンピュータで実装されたシステムは、その全体が参照符号10で示されており、コンピュータシステム12を含む。コンピュータシステム12は、本願明細書において分類的な様態で記載されたさまざまな機能を扱うために、1台のコンピュータまたはネットワーク化された1群のコンピュータを用いて実装されてもよい。コンピュータシステム12は、電子データベース14と、必要に応じて、データベース14に格納されたデータを解析するために使用される解析システムとを管理する。データベース14は、患者についての時刻依存型イベント(およびその他のコンテクスト依存型イベント)に関する複数の情報アイテムを格納するように構成されたデータ記憶装置として機能する。解析システムは、例えば、特定の患者の認知能力における傾向を解析して、患者の認知能力に適合するようにシステムの性能を調整したり、また、患者に関するフィードバック情報を患者の介護者等の関係者に提供するようにプログラムされてもよい。   Referring now to FIG. 33, a computer-implemented system for assisting a person with reduced cognitive ability in managing upcoming events will be described. A computer-implemented system is indicated generally by the reference numeral 10 and includes a computer system 12. Computer system 12 may be implemented using a single computer or a group of computers networked to handle the various functions described in a categorical manner herein. The computer system 12 manages the electronic database 14 and, if necessary, an analysis system used to analyze data stored in the database 14. Database 14 functions as a data storage device configured to store a plurality of information items related to time-dependent events (and other context-dependent events) for the patient. The analysis system, for example, analyzes trends in the cognitive ability of a particular patient, adjusts the system's performance to fit the patient's cognitive ability, and provides feedback information about the patient to the patient's caregiver It may be programmed to be provided to a person.

必要に応じて、いくつかの異なるプレゼンテーション機器が、1人の患者に使用されてもよい。例えば、1台の機器が患者によって操作されるタブレットコンピュータで、もう1台の機器が患者の部屋の壁掛け型のテレビディスプレイであってもよい。システムは、どの機器を用いて患者と対話するかを動的に制御し得る。ある場合には、両方の機器を同時に用いてもよい。システムは、各機器に個別に送信されるプレゼンテーションをカスタマイズすることが可能である。したがって、テレビディスプレイについての複雑さのレベルは、所与の状況において、タブレットコンピュータについて使用されるそれとは異なり得る。システムは、コンテクスト情報と、更には患者の認知能力とを使用して、患者のニーズに対して適宜各ディスプレイを適応させることが可能である。   Several different presentation devices may be used for a single patient, if desired. For example, one device may be a tablet computer operated by a patient, and the other device may be a wall-mounted television display in the patient's room. The system can dynamically control which device is used to interact with the patient. In some cases, both devices may be used simultaneously. The system can customize the presentation sent to each device individually. Thus, the level of complexity for a television display may be different from that used for a tablet computer in a given situation. The system can use the context information and even the patient's cognitive ability to adapt each display as appropriate to the patient's needs.

コンピュータシステム12はまた、患者に提供される記憶ゲームを生成するようにプログラムされてもよい。したがって、記憶ゲーム生成部16がコンピュータシステムに接続されているとして図示されている。生成部はまた、コンピュータシステム12をプログラムすることによって、患者の認知能力に基づいて適切な記憶ゲームを生成し、利用可能とするように実装されてもよいことが理解される。記憶ゲームは、患者の記憶をはたらかせるために大いに役立ち得、患者の病気の進行を遅らせる可能性がある。さらに、患者がゲームをプレイした際に自動的に取得されたフィードバック情報を用いて、患者の現在の認知能力に関する情報が収集され、この収集された情報は、他のシステムによって使用される。このことについては、以下に、より詳細に説明する。   The computer system 12 may also be programmed to generate a memory game that is provided to the patient. Accordingly, the memory game generator 16 is illustrated as being connected to a computer system. It will be appreciated that the generator may also be implemented to program and make available an appropriate memory game based on the patient's cognitive abilities by programming the computer system 12. Memory games can greatly help to make a patient's memory work and can slow the progression of the patient's illness. In addition, information about the patient's current cognitive ability is collected using feedback information automatically acquired when the patient plays the game, and this collected information is used by other systems. This will be described in more detail below.

コンピュータシステム12は、好ましくは、サードパーティアプリケーション開発者が、システム10と対話(例えば、データベースからのデータの読み出しまたはデータベースへのデータの書き込み)するソフトウェアアプリケーションおよび物理デバイスを開発することを可能にする、一組の標準化された入力/出力およびそれらに付随する通信プロトコルを提示するアプリケーションプログラムインタフェース(API)をさらに含む。   Computer system 12 preferably allows third party application developers to develop software applications and physical devices that interact with system 10 (eg, reading data from or writing data to a database). , Further including an application program interface (API) presenting a set of standardized inputs / outputs and their associated communication protocols.

コンピュータシステム12はウェブサーバ22を含み、このウェブサーバ22により、介護者26および患者28がコンピュータシステム12とやりとりする。この点に即して、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、スマートフォンなどのコンピュータ機器による閲覧および対話のために、ウェブページが提供される。コンピュータシステム12は、ローカルエリアネットワーク(LAN)24に接続されてもよい。LAN24は、他のコンピュータ機器が、例えば、看護ホームのスタッフ30によって利用されるワークステーションコンピュータ端末などの、コンピュータシステム12と通信することを可能にする。   Computer system 12 includes a web server 22 through which caregivers 26 and patients 28 interact with computer system 12. In this regard, web pages are provided for viewing and interaction by computer devices such as tablets, laptop computers, desktop computers, smartphones, and the like. The computer system 12 may be connected to a local area network (LAN) 24. The LAN 24 allows other computer equipment to communicate with the computer system 12, such as, for example, a workstation computer terminal utilized by a nursing home staff 30.

データベース14は、コンピュータシステムによって実行されるサービスの提供を容易にする予め定義されたデータ構造に従って構築されたデータを格納するように構成されている。データベースは、それぞれが該当コンテクスト属性およびそれに関連付けられたトリガの1つのセットに関連付けられた、複数の情報アイテム(情報コンテンツ)を格納するデータ構造32を含む。例えば、情報コンテンツの1つのアイテムは、患者が検眼士の予約をしている旨のリマインダメッセージであり得る。そのメッセージに関連付けられているのは、予約がいつ予定されているかを示すトリガデータであり得る。また、そのメッセージに関連付けられているのは、メッセージがどんな機器上で閲覧されているかに基づいてメッセージをどのような大きさで表示すべきか等の、他のコンテクスト属性であり得る。このメッセージの表示の一例として、図32を参照。   Database 14 is configured to store data constructed according to a predefined data structure that facilitates the provision of services executed by the computer system. The database includes a data structure 32 that stores a plurality of information items (information content), each associated with a set of relevant context attributes and associated triggers. For example, one item of information content may be a reminder message that the patient is making an appointment with an optometrist. Associated with the message may be trigger data indicating when the reservation is scheduled. Also associated with the message may be other context attributes such as how large the message should be displayed based on what device the message is being viewed on. See FIG. 32 as an example of the display of this message.

予約が時間的にまだ先である場合、そのイベントについて格納された情報コンテンツは、非常に一般的なテキストリマインダを含み得、1つのレコードとしてデータ構造32に格納されている。イベントの時刻が近付くと、システムは、イベントに関するより詳細な情報(「あなたの古い眼鏡を持って行く」旨のリマインダ等)を提供し得る。これは、第2のレコードとしてデータ構造内に格納される。システムは、現在のコンテクストに適合するものを選択することによって、情報の適切なアイテムを選択する。   If the reservation is still in time, the information content stored for the event may include a very general text reminder and is stored in the data structure 32 as one record. As the time of the event approaches, the system may provide more detailed information about the event (such as a reminder to “take your old glasses”). This is stored as a second record in the data structure. The system selects the appropriate item of information by selecting the one that fits the current context.

この点に関して、システムはまた、他のデータ構造内に、患者の所在地や任意の該当する医学的状態の属性などの、患者についての現在のコンテクストを格納する。これらは、コンテクストデータ構造34として図示されている。コンテクスト属性のさらなる詳細について、以下に説明する。コンピュータシステム12は、どの情報コンテンツを構造32から取得するかを決定する際に、構造34内の現在のコンテクスト属性を用いる。   In this regard, the system also stores the current context for the patient, such as the patient's location and any relevant medical condition attributes, in other data structures. These are illustrated as context data structure 34. Further details of context attributes are described below. Computer system 12 uses the current context attributes in structure 34 in determining which information content to obtain from structure 32.

患者の現在のコンテクストに加えて、コンピュータシステムは、患者の認知能力を示すデータを格納する認知能力データ構造36を更に維持する。これは、例えば、スライディングスケール(例えば、1〜10のスケール)として表するのに適した相対値として定量化されてもよい。患者の認知能力は、介護者または看護ホームスタッフによる明示的な入力によって評価されてもよい。あるいは、システムは、記憶ゲーム生成部18からのフィードバックを介して、または、患者が一般的にどれくらい上手くシステムと対話することが可能かを解析することによって、認知能力データ自体を確立することができる。   In addition to the patient's current context, the computer system further maintains a cognitive ability data structure 36 that stores data indicative of the patient's cognitive ability. This may be quantified, for example, as a relative value suitable for expression as a sliding scale (eg, a scale of 1-10). A patient's cognitive ability may be assessed by explicit input by a caregiver or nursing home staff. Alternatively, the system can establish the cognitive performance data itself via feedback from the memory game generator 18 or by analyzing how well a patient can generally interact with the system. .

ある実施形態において、システムは、患者のコンテクスト、技術的コンテクストおよび状況コンテクスト等の具体的な情報を考慮して第三者によって設定されたセットパラメータに基づいて、特定のアプリケーションおよびイベントを自動的に起動する。図23は、どのアプリケーション/イベントを起動するのか、いつそれを起動するのか、ならびに、どのようにそれを起動するのかを決定するプロセスにおいて考慮される、鍵となる検討事項を示す。コンテクスト情報がパラメータ設定を満たす場合、アプリケーションおよび/またはイベントの実行が開始される。これは、タブレットコンピュータ等のコンピュータ端末上で個人が見るかまたは使用するなんらかの情報または対話を提供する。システムはまた、患者の認知能力に基づいて対話能力のレベルを調節する。目的は、患者またはユーザに、該当しまた時に必要でもある情報およびサービスを得るための、邪魔にならない自動的な手段を提供することである。   In certain embodiments, the system automatically routes specific applications and events based on set parameters set by third parties taking into account specific information such as patient context, technical context, and contextual context. to start. FIG. 23 illustrates the key considerations that are considered in the process of determining which application / event to launch, when to launch it, and how to launch it. If the context information satisfies the parameter setting, execution of the application and / or event is started. This provides some information or interaction that an individual sees or uses on a computer terminal, such as a tablet computer. The system also adjusts the level of dialogue ability based on the patient's cognitive ability. The goal is to provide a patient or user with an unobtrusive automatic means of obtaining relevant and sometimes necessary information and services.

図23において、第三者は、一般に少なくともなんらかの形で介護に関与している個人または団体である。このような第三者は、リマインダを入力すること、テレビ会議を開始すること、画像をアップロードすること、予約を設定すること、ならびに遠隔介護の他の機能に対する権限を有していてもよい。本明細書において、「介護者」という用語は、そのような第三者を指し、家族、医師、看護スタッフなどを含み得る。   In FIG. 23, a third party is an individual or group that is generally involved in nursing care in at least some form. Such third parties may have authority for entering reminders, initiating video conferences, uploading images, setting appointments, and other functions of remote care. As used herein, the term “caregiver” refers to such a third party and may include family members, doctors, nursing staff, and the like.

As shown in FIG. 23, the context also provides useful information. The system can initiate some of the events / applications with knowledge of other factors that the caregiver may not be aware of. These include current status at the nursing home or other patient center (current status detectable by camera, microphone, nurse / doctor input, medical sensors, etc.), active / available technical information (eg, human Not to send a reminder to the wristwatch and display it on the TV), as well as medical information (medical sensors, current physician reports, data obtained from user status reports).

Cognitive Ability As shown in FIG. 23, the patient's cognitive ability also forms an important aspect of the system. The patient's cognitive ability is the current level (on a rating scale) of the ability of the patient to interact with the electronic system, tablet or other device in the system. If the score is high, the patient is probably able to interact with the device himself and may not require much assistance from any context or third party assistance. If the score is low, the system and third parties may provide more assistance. The cognitive ability scale and how it is determined is further described below with reference to FIGS. 29 and 30.

コンピュータで実装されたシステムは、患者の認知能力を示す電子データレコードを取得し、格納する。ある実施形態において、電子データは、それぞれが0〜10の範囲などの適切な範囲において数値で表される個別のスキル測定値または評価値(スキル変数)の集まりに対応する。必要に応じて、個別の測定値または評価に基づいて、総合認知能力評点または合計評価を計算し、格納してもよい。   A computer-implemented system obtains and stores electronic data records that indicate the patient's cognitive ability. In one embodiment, the electronic data corresponds to a collection of individual skill measurements or evaluation values (skill variables) each represented by a numerical value in an appropriate range, such as a range of 0-10. If desired, an overall cognitive ability score or total rating may be calculated and stored based on individual measurements or ratings.

ダイナミックレンダリングシステムは、これらのスキル変数を用いて、患者のスキルセットに基づき最も適当な様態で事実を表現する。この実施形態において、コンピュータのメモリに格納されたスキル変数の集まりは、患者の総合「認知能力」に対応する。   The dynamic rendering system uses these skill variables to represent facts in the most appropriate manner based on the patient's skill set. In this embodiment, the collection of skill variables stored in the computer's memory corresponds to the patient's overall “cognitive ability”.

・ 心配レベル
・ 視覚障害またはスキル
・ 短期間記憶スキル
・ 長期間記憶スキル
・ 名前/身近な人の顔を認識且つ記憶していること
・ 読解スキル
・ 注意スキル
・ 時間および空間の検知
・ 発話スキル
・ 聴解スキル
・ 単純な論理的問題を解決する能力
・ 推理スキル(動きおよび事実の通常の暗示された結果を理解する能力)
Skill variables include sets that can be static or dynamic. Some variables are measured or evaluated by a human operator, and other variables are automatically evaluated by the system based on historical observations and sensor data. The following is a list of skill variables used by the system. In this regard, those skilled in the art will appreciate that the system may not require all of these variables, and that there are other variables that fall within the scope of this disclosure but are not listed here.
・ Concern level ・ Visual impairment or skill ・ Short-term memory skill ・ Long-term memory skill ・ Recognizing and remembering names / faces of familiar people ・ Reading skills ・ Attention skills ・ Time and space detection ・ Speech skills ・Listening skills • Ability to solve simple logical problems • Reasoning skills (ability to understand the usual implied consequences of movement and facts)

If desired, these skill variables may be combined algorithmically by a computer system to derive a single value “cognitive ability” score. A suitable scoring mechanism may be based on the clinically recognized stages of Alzheimer's disease shown below.
Stage 1: No obstacle Stage 2: Decline very slowly Stage 3: Decrease moderately Stage 4: Decline moderately Stage 5: Decrease moderately serious Stage 6: Serious decline Stage 7: Extremely serious decline

In addition to cognitive ability, the context system also considers context information relevant to the patient. FIG. 24 shows a high-level flow chart of this context-dependent application / event launch for people with different cognitive abilities. (Step 1) A third party (eg family, friend, caregiver) enters information and sets parameters for starting events and applications. (Step 2) Once the system is prepared, the system collects and stores context information. Such context information relating to events or the like preferably consists of three sub-contexts: patient-related information, status / external information, and event / application / device information. (Step 3) If the context meets the prepared settings of the system, an event can be started. (Step 4) If started, the system launches the application while customizing the interaction level for the patient.

In some embodiments, the context of an event (an event such as an application or task) may consist of three sub-contexts: a patient-related context, a situation or external condition context, and a technical context. The state of these contexts is stored in a context data structure in the memory of a computer that forms part of the system.

・ センサから得られる医療コンテクスト(例えばバイタルサイン)
・ デジタルの医療記録(履歴)
・ 患者の挙動(例えば、眠っているまたは眠っていない)
・ 患者の位置(例えば、室内において、ディスプレイを見ている)
・ 患者の好み(例えば、音声による開始/通知の好み、サウンド、動画、TV番組、画像の好み)
・ 家族/介護者の要望
Patient-related context The patient-related context includes (but is not limited to) all information available from the patient. This information is stored as data in the context data structure. Examples of patient-related context data include:
・ Medical context obtained from sensors (eg vital signs)
・ Digital medical records (history)
• Patient behavior (eg sleeping or not sleeping)
The patient's location (eg, watching the display indoors)
• Patient preference (eg voice start / notification preference, sound, video, TV program, image preference)
・ Request of family / caregiver

・ 気象情報
・ 時刻
・ 第三者情報(例えば身元)
・ テレビの視聴および放送中の番組
・ 患者の部屋の他の人
Situation or external condition context A situation / external context includes (but is not limited to) all information available to the patient from an external source. This information is similarly stored as data in the context data structure. Examples of situational or external condition context data include:
・ Weather information ・ Time ・ Third party information (eg identity)
-TV viewing and broadcast programs-Other people in the patient's room

・ タブレット表示装置のステータス
・ 利用可能な帯域幅の量
・ ディスプレイの種類(例えばサイズ)
・ ネットワークの種類
・ 利用可能な他の機器(スマートウォッチ、室内のテレビ、システムの他の構成要素)
Technical Context The event application / equipment context contains all information available from the equipment that makes up the system. This information collected by communicating with the device itself is likewise stored as data in the context data structure. Examples of technical context data include:
• Tablet display device status • Amount of available bandwidth • Display type (eg size)
-Network type-Other available devices (smartwatch, in-room TV, other system components)

技術コンテクストは、将来異なる機器をネットワークに追加して追加の機能を追加し得るので、有用である。例えば、患者または患者の介護者が「私を助けて」ネックレス、新たなテレビ、またはデジタル画像フレームを購入した場合、システムはこれらの新技術を含むコンテクストを認識し得る(例えばマスタータブレット機器の代わりに画像フレーム上に画像を表示するなど、システムがその挙動を修正することを可能にする)。   The technology context is useful because different devices can be added to the network in the future to add additional functionality. For example, if a patient or patient caregiver purchases a “help me” necklace, a new TV, or a digital picture frame, the system may recognize a context that includes these new technologies (eg, instead of a master tablet device) Allows the system to modify its behavior, such as displaying an image on an image frame).

Each event / application is started with a specific context (the most common subset of contexts).

Polling Context Information FIG. 25 shows the polling context information that the system collects from step 2 of FIG. As described above, information is classified into three categories. Patient-related information, such as medical records, must be manually entered into the system database by a third party. However, current medical information is constantly collected by the system via fixed and portable sensors.

一旦全てのコンテクスト情報が収集されると、システムは、データを解析し、第三者によって設定されたパラメータ(図26)に基づいて、イベントが開始されるかどうかを判定する。開始コンテクストが満たされたと判定された場合、システムは、イベントが起動されるかどうかを評価する。例えば、スケジュールリマインダが特定の時刻にオフである場合、システムは、患者が部屋に居るかどうかを判定する必要がある。患者が部屋に居ない場合、システムは警告を起動しない。しかし、患者が在室中であることが確認された場合、システムはイベントを開始する。同様に、例えば家族がビデオコールをしたいが、コンテクストが(プライオリティランキングに基づいて)現在仮眠時間であることまたは現在医師が治療中であることを示す場合には、システムは警告またはイベントを起動しない。同様に、患者が未だ夕食中であり、投薬が夕食後になされることになっている場合、システムは投薬についてのリマインダを起動しない。   Once all context information has been collected, the system analyzes the data and determines whether an event is initiated based on parameters set by a third party (FIG. 26). If it is determined that the start context is satisfied, the system evaluates whether the event is triggered. For example, if the schedule reminder is off at a particular time, the system needs to determine whether the patient is in the room. The system will not trigger an alert if the patient is not in the room. However, if it is determined that the patient is in the room, the system initiates the event. Similarly, if the family wants to make a video call, but the context indicates that it is the current nap time (based on priority ranking) or the doctor is currently being treated, the system will not trigger a warning or event . Similarly, if the patient is still supper and the medication is to be made after dinner, the system will not trigger a reminder for the medication.

・ 人が転倒する
・ 時間が指定されたイベント(例えば、投薬/リマインダ)
・ 睡眠、食事、血圧
・ 第三者による開始
・ 他人の入室
・ 音声コマンド
Other examples of start events include:
-A person falls.-Timed events (eg medication / reminders)
・ Sleep, meal, blood pressure ・ Initiated by a third party ・ Entering another person ・ Voice command

図27に示すように、患者の認知能力に応じて、患者の注意を得る方法は、より押し付けがましく明白なものであってもよい。警告が、タブレットディスプレイ画面の方へ患者を引きつけ、その時に、カメラが患者の存在を検出する。その存在が患者であると認識された場合(識別は、顔認識、音声または他の電子識別システムにより実施され得る)、システムは、アプリケーション/コンテンツをシームレスに起動する。イベントを起動すると、システムは、患者の認知レベルを再度考慮して、対話能力のレベルおよび解釈の必要性を適切に調節する。例えば、患者がビデオコールを受信している場合、システムは患者に警告する。患者の機能が完全である場合、システムは、患者がビデオコールを受け入れるかまたは拒否するためのオプションを表示する。認知レベルが低い患者の場合、システムは、ビデオコールを自動的に開始する前に患者の身元を認証するか、もしくは、図28に示すように、コールを発信している第三者がアプリケーションを自動的に開始し得る。   As shown in FIG. 27, depending on the patient's cognitive ability, the method of obtaining the patient's attention may be more pressing and obvious. A warning attracts the patient towards the tablet display screen, at which time the camera detects the presence of the patient. If the presence is recognized as a patient (identification can be performed by facial recognition, voice or other electronic identification system), the system launches the application / content seamlessly. Upon triggering the event, the system again considers the patient's cognitive level and appropriately adjusts the level of interaction ability and the need for interpretation. For example, if the patient is receiving a video call, the system alerts the patient. If the patient's function is complete, the system displays an option for the patient to accept or reject the video call. For patients with low cognitive levels, the system authenticates the patient's identity before automatically initiating the video call, or, as shown in FIG. It can start automatically.

患者のためのインタフェースをカスタマイズする際に、システムはいくつかの要因(図29)を考慮に入れる。まず最初に、患者の認知能力は、第三者が手動で入力する必要がある。しかし、患者がシステムを利用し続けるにしたがって、システムは、以前の対話から患者のスキルの履歴を記録し、それに適応するようになる。システムはまた、現在の認知能力を試験するように特に設計されたミニゲームを提供することもでき、したがって、システムは、それがどのようにユーザと対話すべきかを自動的に更新することができる。   In customizing the patient interface, the system takes into account several factors (FIG. 29). First of all, the patient's cognitive ability needs to be entered manually by a third party. However, as the patient continues to use the system, the system will record and adapt to the patient's skill history from previous interactions. The system can also provide a minigame specifically designed to test current cognitive abilities, so the system can automatically update how it should interact with the user .

加えて、システムは、患者および第三者の個人(例えば、医師、介護者、家族、友人など)の好みを適用する。したがって、患者は、システムのイベントを使用または解釈することが難しくない。システムのインタフェースは、同様に、患者の好みおよび認知レベルに応じて変化する。認知的に(または技術的に)能力不足な人々のためのシンプル且つ自動的なインタフェースから、独立し且つ認知レベルが高い患者のためのより複雑で且つ手動のインタフェースに至るまで広範囲に亘る(図30)。   In addition, the system applies the preferences of patients and third party individuals (eg, doctors, caregivers, family members, friends, etc.). Thus, the patient is not difficult to use or interpret system events. The system interface also varies depending on patient preference and cognitive level. Ranging from simple and automatic interfaces for cognitively (or technically) incapacitated people to more complex and manual interfaces for independent and cognitive patients (Figure 30).

アプリケーションの実際の使用(アプリケーションの起動だけでなく、ユーザインタフェース、ボタンおよび/または対話モードの変更も含む)を決定された認知能力ファクタに基づいて調節することは、アプリケーションを患者にとって有用なものにするために重要である。   Adjusting the actual use of the application (including not only launching the application, but also changing the user interface, buttons and / or interactive mode) based on the determined cognitive ability factors makes the application useful to the patient Is important to do.

ある実施形態は、患者の認知レベルの手入力を要求するが、システムは、患者にシステム内で試験を行わせることによって、患者に適応する。この実施形態は、日々変化する認知レベルに合わせて構成されてもよい。システムのパラメータは、第三者によってルーチン的に調節され得る。あるいは、システムは、毎日または毎週または隔週でテストを実施して、患者のニーズに自動的に応じるように構成され得る。   Some embodiments require manual input of the patient's cognitive level, but the system adapts to the patient by having the patient perform a test in the system. This embodiment may be configured for a cognitive level that changes daily. System parameters can be routinely adjusted by a third party. Alternatively, the system can be configured to perform tests daily or weekly or bi-weekly to automatically respond to patient needs.

システムのカスタマイズは、コンテクストが開始された時に起動されるイベントに限定されない。システムは、休止状態であるときに、イベントを起動してもよい。例えば、起動が設定されたイベントが無いが、患者が在室中であることが観察された場合、システムタブレットディスプレイは、暗くなるか、画像ショーを表示するか、もしくは、反射鏡になってもよい。   System customization is not limited to events that are triggered when a context is started. The system may trigger an event when it is dormant. For example, if there is no event set to start but the patient is observed to be in the room, the system tablet display may go dark, display an image show, or become a reflector Good.

図31は、システムが、タブレット画面と、イベントデータベースと、複数のウェブアプリケーションと、RF通信(例えば、ブルートゥース)と、多数の機器(例えば、カメラ、マイク、スピーカ、コンピュータ、携帯機器など)への接続とを含む、一実施形態を示す。システムは、ウェブAPIも表示する。図32は、起動されたアプリケーション/イベントを含むユーザインタフェースの一例を示す。   FIG. 31 shows that the system is connected to a tablet screen, an event database, a plurality of web applications, RF communication (eg, Bluetooth), and a large number of devices (eg, a camera, a microphone, a speaker, a computer, a portable device, etc.). 1 illustrates an embodiment including a connection. The system also displays a web API. FIG. 32 shows an example of a user interface including activated applications / events.

Additional displays may be provided to the caregiver or other third party as needed. This additional display, which can be implemented on a tablet or smartphone, provides the caregiver with information about what the patient is trying to do and information about what the patient has done in the past, as well as feedback about the patient's medical condition . This feedback loop provides caregivers with reassuring information. In general use, this additional display presents information that is different from the information displayed on the device used by the patient. Like the information presented to the patient, the information presented to the caregiver is derived from information stored in the database system. The database system may be supported by a server associated with a nursing home or healthcare provider, or may be supported by a service provider that provides services using internet-based or cloud computing resources.

・ 患者がディスプレイを見ているときに起動される、遠隔地の第三者によって開始される動画通信。可聴信号により患者の注意を喚起して、患者をディスプレイに向けることができる。
・ ブルートゥース通信を介して接続された機器から読み取ったデータに基づき、医学的状態によって開始されるアプリケーション(例えば、読み取ったデータが患者が脱水状態であることを示す場合に送信される患者のディスプレイへのメッセージ)。
・ 患者の挙動(例えば、患者が在室中で、眠っていない)の理解によって開始されるアプリケーション。
・ その日の所定の時刻に基づく作動。
・ 外部条件に応じてディスプレイ上に表示されるメッセージ(例えば、屋外が寒いことがわかったことに基づいて、患者に暖かいジャケットを着るように忠告する、もしくは、火事の場合に、緊急メッセージおよび何をすべきかを表示する)。
・ ディスプレイが他の情報を表示しない場合にディスプレイ上に表示される画像(つまり技術コンテクストはコンフリクトを示さず、患者のコンテクストは、患者が画像を楽しんでよいその日の時間帯を示している)。
Additional Descriptive Use Cases To further illustrate some of the possible uses of the disclosed system, consider the following use cases enabled by the disclosed computer-implemented system:
• Video communication initiated by a remote third party that is activated when the patient is viewing the display. An audible signal can alert the patient and direct the patient to the display.
An application initiated by a medical condition based on data read from a device connected via Bluetooth communication (for example, to a patient display that is sent when the read data indicates that the patient is dehydrated) s message).
An application initiated by an understanding of patient behavior (eg, patient is in the room and not sleeping).
• Operation based on a predetermined time of the day.
• Messages that appear on the display in response to external conditions (for example, advise the patient to wear a warm jacket based on what is known to be cold outdoors, or emergency messages and what to do in case of fire) Display what to do).
An image that appears on the display when the display does not display other information (ie, the technical context does not indicate a conflict and the patient's context indicates the time of day that the patient may enjoy the image).

Priority and conflict resolution If several applications are prepared, a conflict can occur if several contexts are met simultaneously. To solve this problem, each application / event is assigned a priority level. In the case of the same priority, the first registered in the queue is executed.

With reference to FIG. 34, the outline | summary of integration with the patient apparatus 50 and the network-based portal computer 55 is demonstrated here.

Patient Device The patient device 50 having the display 200 is generally configured as described above and provides services to persons with reduced cognitive and / or athletic capabilities. The patient device has a communication port, such as a WiFi wireless communication port or a cellular data communication port, thereby allowing the device to communicate over the Internet. Alternatively, information displayed on the device can be transmitted to the TV 52 in the patient's room. The TV 52 may be equipped with computer network communication capabilities so that the TV 52 can communicate directly with the portal computer 55. Alternatively, the television 52 may be configured to operate as a display that displays the information displayed on the patient device 50 as it is. In the latter case, the TV 52 is in communication with the patient device 50, and the device 50 processes communication with the portal computer 55.

FIG. 35 shows an exemplary screen displayed on the display 200 of the patient device. In this case, an exemplary screen is generated by a calendar application running on the patient device.

患者機器は、さまざまな異なるハードウェアおよびソフトウェアアーキテクチャを使用して実装されてもよい。タブレットフォームファクター(tablet form factor)が、目下のところ好ましい。
Method for Programming Patient Equipment Patient equipment may be implemented using a variety of different hardware and software architectures. A tablet form factor is currently preferred.

ある実施形態において、患者機器は、iOSオペレーティングシステム、Androidオペレーティングシステム、WindowsSurfaceオペレーティングシステムまたは他のシステムを使用するタブレットコンピュータを用いて実装されてもよい。このような実装において、患者機器は、ネイティブな機器のオペレーティングシステム(例えば、iOS、Androidなど)上で動作するアプリケーション(アプリ)として実装されてもよい。   In certain embodiments, the patient device may be implemented using a tablet computer that uses an iOS operating system, Android operating system, Windows Surface operating system, or other systems. In such an implementation, the patient device may be implemented as an application (app) that runs on a native device operating system (e.g., iOS, Android, etc.).

別の実施形態において、患者機器は、ハードウェアインタフェースレイヤを含むスタンドアロンアプリケーションとして患者機器ソフトウェアを実行して、スタンドアロンアプリケーションが、ディスプレイ200に画像を送信し、ディスプレイに関連付けられたタッチスクリーン機器を介してタッチインタフェースコマンドに応答できるようになる、タブレットコンピュータを用いて実装される。   In another embodiment, the patient device executes the patient device software as a stand-alone application that includes a hardware interface layer, where the stand-alone application sends an image to the display 200 via a touch screen device associated with the display. Implemented using a tablet computer that will be able to respond to touch interface commands.

患者機器は、図43に示すソフトウェアアーキテクチャを用いる。このソフトウェアアーキテクチャにより、患者機器のプロセッサは、ここに記載する機能を実行するようにプログラムされる。もちろん、異なるアーキテクチャを用いてもよい。図示のとおり、ソフトウェアアーキテクチャは、ネイティブな機器オペレーティングシステム231に基づき構築されてもよい。アップデータ213は、予め定義された時間周波数でポータル55に接続して新しいラッパー215ソフトウエアリリースを探す、専用のソフトウェアコンポーネントである。   The patient equipment uses the software architecture shown in FIG. With this software architecture, the processor of the patient device is programmed to perform the functions described herein. Of course, different architectures may be used. As shown, the software architecture may be built based on a native device operating system 231. Updater 213 is a dedicated software component that connects to portal 55 at a predefined time frequency to look for new wrapper 215 software releases.

ラッパー215は、低レベルのネイティブな機器オペレーティングシステム211をUIおよびアプリケーションレンダリングパッケージに接続する専用のミドルウェアである。ラッパー215は、ローカルバッファを遠隔ポータル55に同期させるための機器APIを実装する。これらのAPIは、機器の認証と、アクティビティ、メッセージ、画像および動画のダウンロードと、ユーザ設定およびカスタマイズ事項のダウンロードと、最新のバンドル217の点検およびダウンロード(UI設計および機器固有のアプリケーションを含む)とを含む。   The wrapper 215 is dedicated middleware that connects the low-level native device operating system 211 to the UI and application rendering packages. The wrapper 215 implements a device API for synchronizing the local buffer with the remote portal 55. These APIs include device authentication, activity, message, image and video downloads, user settings and customization downloads, and latest bundle 217 inspection and downloads (including UI design and device specific applications) including.

ラッパー215は、バンドル217を介して提供されたコードおよび情報を実行する。機器に表示される最終的なUIは、ロードしたバンドル217情報、ならびに、ズームレベル、有効化/無効化されたアプリ、ボリュームレベル、有効化/無効化された音声合成(Text-to-Speech)、お気に入りのアプリケーション、新規なイベントプロンプトオプション等の機器固有の設定に応じて、完全にカスタマイズ可能である。   The wrapper 215 executes code and information provided via the bundle 217. The final UI displayed on the device is the loaded bundle 217 information, as well as zoom level, enabled / disabled apps, volume level, enabled / disabled speech synthesis (Text-to-Speech) Fully customizable according to device-specific settings such as favorite applications, new event prompt options, etc.

バンドル217は、全てのUIおよびアプリケーション固有のコードを含む。システムは、各ディスプレイについて、対象を非常に絞ったバンドルの配布を可能にする。これにより、フォント、新規なアプリケーションの作成、全てのグラフィックコンポーネントのリサイズおよび再配布など、あらゆるユーザインタフェースアスペクトをカスタマイズすることができる。   The bundle 217 contains all UI and application specific code. The system allows very targeted bundle distribution for each display. This allows customization of all user interface aspects such as fonts, creation of new applications, resizing and redistribution of all graphic components.

したがって、バンドルは、全てのイベントクエリおよび表示ロジックを含む。ラッパーは、バンドルを開始し、バンドルを更新し、オペレーティングシステムに関連する機能をバンドルに提供する(例えば、音声合成、リブート、WiFiリスタート)。アップデータは、ラッパーの更新を許可し、ラッパーを開始する。   Thus, the bundle includes all event queries and display logic. The wrapper initiates the bundle, updates the bundle, and provides functions related to the operating system to the bundle (eg, speech synthesis, reboot, WiFi restart). The updater allows the wrapper to be updated and starts the wrapper.

When implementing this updater-bundle-wrapper configuration, an embodiment based on the Android operating system may be configured as follows.
Updater: Updater is manually installed on patient equipment. Updaters do not provide a visible user interface and usually do not require updates. The updater may be initiated or activated when the patient device is booted, or may be initiated by the user via an appropriate touchable icon displayed on the patient device screen. Once started, the updater starts the wrapper (if available) and checks for wrapper updates every predetermined time interval (eg every 10 minutes). If a network failure occurs due to the absence of an installed wrapper, the updater rechecks at more frequent intervals (eg every minute). The updater installs a new wrapper.

ネイティブなオペレーティングシステムがAndroidオペレーティングシステムである場合、アップデータはAndroidAPKを用いて実装されてもよい。Androidサービスは、そのアラームマネージャにより、10分毎に実行されるようにスケジュールされている。また、AndroidAPKを用いて、サービスの実行をスケジュールし、且つ、ラッパーアクティビティを開始する。また、APKを用いて、レシーバハンドリングオンブートメッセージ(receiver handling onboot message)および開始アクティビティ(starting activity)をブロードキャストする。
バンドル:バンドルは、ラッパーにより自動的にインストールされる。バンドルは、HTML5、CSS、JS App等のプロトコルをサポートする。アップデータやラッパーとは異なり、バンドルは、例えばカレンダの形で、患者機器上で現実に見ることが可能である。バンドルは、イベントAPIを使用し、且つ、全てのイベントの表示を処理する。バンドルはまた、ラッパーにいかなる表示設定変更も通知する。
If the native operating system is an Android operating system, the updater may be implemented using Android APK. The Android service is scheduled to run every 10 minutes by its alarm manager. Also, the execution of the service is scheduled and a wrapper activity is started using Android APK. In addition, using APK, a receiver handling on boot message and a starting activity are broadcast.
Wrapper: The wrapper is automatically installed by the updater. It has no visible icons and is always started by an updater. The wrapper checks and installs the new bundle. The wrapper periodically performs system restarts and periodically performs WiFi restarts. Performing these steps ensures that the patient device is forced to re-establish the connection if the network connection is lost for any reason. The wrapper is also responsible for sending a crash report message to the portal computer, as shown in FIG.
Bundle: The bundle is automatically installed by the wrapper. The bundle supports protocols such as HTML5, CSS, JS App. Unlike updaters and wrappers, bundles can be viewed on patient devices in the form of calendars, for example. The bundle uses an event API and handles the display of all events. The bundle also notifies the wrapper of any display setting changes.

以下のHTML5 APIがサポートされている:
ファイルライター(File Writer)
The bundle is implemented as a tar file compressed in Javascript (JS) by HTML5 and CSS. The bundle
AJAX request,
Zepto. js
JQuery (for example, Internet Explorer only)
It may be configured to use and support protocols and technologies such as CustomJS communication with TTS and configuration plug-ins.
The following HTML5 APIs are supported:
File system
File Writer

アップデータ―ラッパー―バンドル機構がどのように動くかについて更に説明するため、ここで図46〜図50を参照する。図46は、患者機器がそのブートアップシーケンスを終えたあとに実行されるアップデータブロードキャストレシーバ動作を示す。プロシージャは簡単である。アップデータアクティビティ開始プロシージャが起動されることにより、アップデータがロードされ、実行される。すると、アップデータブロードキャストレシーバプロシージャが終了する。   For further explanation of how the updater-wrapper-bundle mechanism works, reference is now made to FIGS. FIG. 46 illustrates the updater broadcast receiver operation performed after the patient device has completed its bootup sequence. The procedure is simple. The updater is loaded and executed by starting the updater activity start procedure. Then, the updater broadcast receiver procedure ends.

図47に示すように、次にラッパーが開始される。プロシージャは、まず、(もしあれば)クラッシュ報告を送信し、レポート送信がうまく送信されたことをテストし、その後、クラッシュ報告のローカルコピーを削除する。その後、プロシージャは、下位ハードウェアへのルートアクセスが作動可能かどうかを確認する為にテストを行う。作動可能でない場合、ユーザへのレポートが生成され、ラッパーアクティビティスタートシーケンスが終了される。このユーザへのレポートは、トラブルシューティングを目的として提供される。患者機器の通常のユーザは、このメッセージを理解することを期待されていない。   As shown in FIG. 47, the wrapper is then started. The procedure first sends a crash report (if any), tests that the report transmission was sent successfully, and then deletes the local copy of the crash report. The procedure then tests to see if root access to the underlying hardware is operational. If not, a report to the user is generated and the wrapper activity start sequence is terminated. This report to the user is provided for troubleshooting purposes. The normal user of the patient device is not expected to understand this message.

ルートアクセスの確立に成功した場合、ラッパーアクティビティスタートプロシージャは、機器自動アップデートを無効化し、WiFiリブートのスケジュールを設定し、ダウンローダをリスタートしその後実行する。変更された設定はまた、図示したように、リブートを開始する。   If the root access is successfully established, the wrapper activity start procedure invalidates the automatic device update, sets the WiFi reboot schedule, restarts the downloader, and then executes it. The changed setting also initiates a reboot as shown.

ラッパーのダウンローダアクティビティを、図48に図示する。ダウンロードされる新たなバンドルがない場合、ラッパーアクティビティは、所定の期間、単にスリープ状態であり、その後、新たなバンドルが存在するかどうかを確認する為にテストを再度行う。新たなバンドルが存在する場合、バンドルがダウンロードされ、アクティビティダウンローダは、ファイルが適切にダウンロードされたかどうかを確認する為にチェックする。ここでは、ダウンロードされたコードが転送の間に改変されなかったことを保証するために、ファイルのMD5チェックサムをチェックすることを含む。その後、コードがインストールされ、プロシージャは所定の期間再びスリープ状態に入る。ダウンロードプロシージャまたは次のテストおよびローディングプロシージャのいずれかが失敗した場合、アクティビティダウンローダは、異なる所定の期間スリープ状態に入る(失敗後スリープ期間)。   The wrapper downloader activity is illustrated in FIG. If there are no new bundles to be downloaded, the wrapper activity is simply asleep for a predetermined period of time and then tested again to see if there are any new bundles. If a new bundle exists, the bundle is downloaded and the activity downloader checks to see if the file was downloaded properly. This involves checking the MD5 checksum of the file to ensure that the downloaded code has not been altered during the transfer. The code is then installed and the procedure goes back to sleep again for a predetermined period. If either the download procedure or the next test and loading procedure fails, the activity downloader goes to sleep for a different predetermined period (sleep period after failure).

クラッシュ処理ラッパーアクティビティプロシージャを図49に示す。クラッシュが発生すると、ラッパーは、クラッシュ発生時のタイムスタンプを含む、関係する例外(エラー)情報を収集する。この例外情報はローカルストレージに保存され、所定時間(例えば10秒)後に機器をリスタートさせるように、アラームのスケジュールを設定する。しばしば、クラッシュまたは例外は、ネットワーク接続の断続的な喪失に起因し得る。したがって、スケジュール設定されたリセットは、リブートすることによりこの問題に対処するように、クラッシュ処理プロシージャ内にプログラムされる。   The crash handling wrapper activity procedure is shown in FIG. When a crash occurs, the wrapper collects relevant exception (error) information, including the time stamp of the crash. This exception information is stored in the local storage, and an alarm schedule is set so that the device is restarted after a predetermined time (for example, 10 seconds). Often, crashes or exceptions can be due to intermittent loss of network connectivity. Therefore, a scheduled reset is programmed into the crash handling procedure to address this issue by rebooting.

バンドル機構により用いられるプロシージャを図50に示す。このプロシージャは、設定が更新されることになっている場合に、患者機器上でバンドルにより実行される。プロシージャは、ポータルコンピュータ(サーバ)から新しい設定を取り出し、ポータルコンピュータが、適切な認証情報(credentials)を新しい設定に関連付けたことを保証するために(これらの新しい設定がこの機器に向けられたものであることを保証するために)テストを行い、その後、いずれかの設定が実際に変更されたかどうか判定するためにチェックが行われる。いずれかの設定が実際に変更された場合、設定が更新され、ラッパーコードが通知される。認証情報をチェックする際、患者機器が必要な認証情報を以前に与えられていた場合、機器のユーザは何もする必要がない。しかし、認証情報が存在しない場合、または、それらがポータルコンピュータからの指定にマッチしない場合、ユーザは、ログイン画面で、必要な認証情報を入力することを促される。更新の詳細をチェックする際、設定が変更されなかったとバンドル設定更新プロシージャが判定した場合、プロシージャは、所定のリフレッシュレート期間の間、スリープモードに入る。   The procedure used by the bundle mechanism is shown in FIG. This procedure is performed by the bundle on the patient device when the settings are to be updated. The procedure retrieves the new settings from the portal computer (server) and ensures that the portal computer has associated the appropriate credentials with the new settings (these new settings are directed to this device). A test is performed (to ensure that), and then a check is made to determine if any of the settings have actually changed. When any setting is actually changed, the setting is updated and the wrapper code is notified. When checking the authentication information, if the patient device has previously been given the required authentication information, the device user does not need to do anything. However, if the authentication information does not exist or if they do not match the designation from the portal computer, the user is prompted to enter the required authentication information on the login screen. When checking the details of the update, if the bundle settings update procedure determines that the settings have not changed, the procedure enters sleep mode for a predetermined refresh rate period.


As a non-limiting example, the following refresh rate may be established. All of these may be changed programmatically by interaction through the portal.

・ リフレッシュレート:ポータルコンピュータ(サーバ)からのカレンダイベントリフレッシュ
・ プリファレンスリフレッシュレート:ポータルコンピュータからの設定リフレッシュ
・ 有効化されたTTS:アプリケーション(例えばカレンダー)音声合成を有効化/無効化する
・ ソフトウェア更新レート:バンドル更新チェックレート
・ ソフトウェア更新失敗レート:失敗時およびカレンダーが無い場合のバンドル更新チェックレート
・ リブートレート:周期的リブートレート
・ WiFiリスタートレート:周期的WiFiリスタート
Settings Management In the above table, the following settings may be changed or set using a portal computer.
-Refresh rate: Calendar event refresh from portal computer (server)-Preferences refresh rate: Setting refresh from portal computer-Enabled TTS: Enable / disable application (eg calendar) speech synthesis-Software update Rate: Bundle update check rate-Software update failure rate: Bundle update check rate in case of failure and no calendar-Reboot rate: Periodic reboot rate-WiFi restart rate: Periodic WiFi restart

Portal Computer A portal computer is a networked computer or a collection of integrated computers that communicate with the patient device 50 through an appropriate network connection. For example, the portal computer and patient device may be programmed to communicate over a secure channel over the Internet, such as using a virtual private network (VPN) connection. Associated with the portal computer is a data storage system 56 that is programmed to function as a database in which data used to implement the integration of patient equipment and portals is stored. If desired, the portal computer can be implemented using the computer system 12 (or server 150 and database 160) described above. Alternatively, the portal computer 55 may be implemented using a separate computer.

家族(または介護施設のスタッフ)は、ポータルコンピュータと対話することにより、患者機器50のユーザインタフェースをカスタマイズし、特定のコンテンツまたは特定のアプリケーションを選択し、遠隔制御により患者機器を直接制御する。ポータルコンピュータにより入力された情報は患者機器50に対してプッシュされ、機器が患者によってどのように使用されているかに関するフィードバックがポータルコンピュータに送り返される。   The family (or care facility staff) interacts with the portal computer to customize the user interface of the patient device 50, select specific content or specific applications, and directly control the patient device by remote control. Information entered by the portal computer is pushed to the patient device 50, and feedback regarding how the device is being used by the patient is sent back to the portal computer.

一般に、ポータルコンピュータ55は、そのデータストレージシステム56内に、UI要素の集まりまたはキット、ならびに、デジタルコンテンツ(例えば、画像、動画、音楽)および患者機器50に対してプッシュされ得るアプリケーションプログラム(そのアプリケーションプログラムはその後患者機器50において実行される)を、格納する。これを行うため、ポータルコンピュータ55は、家族または介護施設スタッフが患者機器が機能する方法をカスタマイズすることができるように機能する。このようなカスタマイズは、以下の3つのカテゴリに分類されてもよい:UI要素のカスタマイズ(概略的に参照符号60で示す)、コンテンツおよびアプリケーションのカスタマイズ(概略的に参照符号68で示す)、遠隔制御能力(概略的に参照符号70で示す)。   In general, portal computer 55 includes within its data storage system 56 a collection or kit of UI elements, as well as application programs that can be pushed to digital content (eg, images, videos, music) and patient equipment 50 (its applications). The program is then executed on the patient device 50). To do this, the portal computer 55 functions to allow the family or care facility staff to customize the way the patient device functions. Such customization may be divided into three categories: UI element customization (schematically indicated by reference numeral 60), content and application customization (schematically indicated by reference numeral 68), remote Control capability (schematically indicated by reference numeral 70).

選択されたUI要素、アプリケーションおよびコンテンツを含むカスタマイズ事項は、ポータルコンピュータから患者機器に対してプッシュされる。ポータルコンピュータは、全てのUI要素設定情報および所与のアプリケーション選択情報を格納するデータ構造を含むパッケージを組み立てる。パッケージは、さまざまな異なるデータ圧縮アルゴリズムのいずれかを用いて圧縮され、その後、セキュアチャネルを介して患者機器に送信されてもよい。患者機器は、パッケージを復元し、そこに含まれている要素設定情報およびアプリケーション選択情報を抽出する。その後、これらのデータは患者機器のメモリ内のバッファに配置され、その一方で、機器の現在の設定が、バックアップのために患者機器のメモリ内に保存される。その後、バッファに配置されたデータが現在の要素設定およびアプリケーション選択設定とスワップされ、任意の実行中のアプリケーションは、リブートするか、さもなければ新しい設定をリロードするように命令される。   Customizations including selected UI elements, applications and content are pushed from the portal computer to the patient device. The portal computer assembles a package that includes a data structure that stores all UI element configuration information and given application selection information. The package may be compressed using any of a variety of different data compression algorithms and then transmitted to the patient device via a secure channel. The patient device restores the package and extracts element setting information and application selection information included therein. These data are then placed in a buffer in the patient device's memory, while the current settings of the device are saved in the patient device's memory for backup. The data placed in the buffer is then swapped with the current element settings and application selection settings, and any running application is instructed to reboot or otherwise reload the new settings.

The data package may also include actual copies of executable applications that run on the patient device, as well as content such as images, music, video and other multimedia content provided by the family. Since the portal computer saves the state of the patient device, the portal computer does not retransmit a copy of the executable application (already present on the patient device according to the saved state information). If a family or other caregiver chooses to hide or remove a particular executable application from the patient device, the application selection settings are stored in a package delivered from the portal computer to the patient device. This application selection setting is implemented by the patient device by not showing the executable application without actually deleting the application from the patient device unless it is deemed necessary to reclaim storage from the patient device. . Thus, if the family or caregiver later decides to re-enable the application, it can simply be switched on via the application selection settings and does not need to be pushed back to the patient device.

Method for Programming a Portal Computer A portal computer may be implemented by a networked computer connected to communicate over the Internet. The portal computer has at least one processor and associated non-transient memory in which program instructions that cause the portal computer to implement the functions described herein are stored. Preferably, the portal computer comprises a display monitor and a suitable input device such as a keyboard, mouse and / or touch screen.

ポータルコンピュータは、以下のソフトウェアアーキテクチャを使用する。このソフトウェアアーキテクチャにより、ポータルコンピュータのプロセッサは、ここで説明する機能を実行するようにプログラムされる。もちろん、異なるアーキテクチャを使用してもよい。   The portal computer uses the following software architecture. With this software architecture, the processor of the portal computer is programmed to perform the functions described herein. Of course, different architectures may be used.

ポータル通信ソフトウェアアーキテクチャを図44に示す。図示のとおり、ポータルコンピュータとして動作しているネットワーク化されたコンピュータは、患者機器との間でメッセージの送受信を行う。図44は、ポータルコンピュータおよび患者機器のAPIがどのように構成されて、このメッセージングを介して対話するかを示す。ポータルソフトウェアAPIの更なる記述を、ここで説明する。   The portal communication software architecture is shown in FIG. As shown, a networked computer operating as a portal computer sends and receives messages to and from patient equipment. FIG. 44 shows how the portal computer and patient device APIs are configured to interact via this messaging. A further description of the portal software API will now be described.

図44に示すように、ポータルコンピュータは、ラッパー更新API219を含むように構成されている。ラッパー更新API219は、患者機器上のアップデータ213と通信し、いつ新たなラッパーが送達されて患者機器にインストールされるかを示すために使用される「新しいバージョンのラッパーをチェックする」メッセージを仲介する。ポータルコンピュータはまた、患者機器上で実行されるイベントを仲介するイベントAPI221を含む。イベントAPIは、「ログイン」、「イベントリストを入手」および「カレンダプリファレンスを入手」を含むメッセージに応答する。イベントAPIはまた、患者機器に対してプッシュされた他のアプリケーションで、同様のメッセージを処理する。ポータルコンピュータは、「新しいバージョンのバンドルをチェックする」メッセージを介して患者機器におけるバンドルの更新を仲介するバンドル更新API223を更に含む。最後に、ポータルコンピュータは、追加のポータルソフトウェアAPI225を含む。これら追加のポータルソフトウェアAPI225により、ポータルコンピュータは、インターネット上で利用可能なクラウドサービス等の他のシステムと接続され得る。   As shown in FIG. 44, the portal computer is configured to include a wrapper update API 219. The wrapper update API 219 communicates with the updater 213 on the patient device and mediates a “check for new version wrapper” message used to indicate when a new wrapper is delivered and installed on the patient device. . The portal computer also includes an event API 221 that mediates events executed on the patient device. The event API responds to messages including "Login", "Get Event List" and "Get Calendar Preferences". The event API also handles similar messages in other applications pushed to the patient device. The portal computer further includes a bundle update API 223 that mediates bundle updates in the patient device via a “check for new version bundle” message. Finally, the portal computer includes additional portal software API 225. With these additional portal software APIs 225, the portal computer can be connected to other systems such as cloud services available on the Internet.

図45を参照すると、ポータルコンピュータはまた、患者機器から送信されたクラッシュ報告のログ付けを行うセントリークラッシュ(sentry crash)報告モジュール227を含む。このようなクラッシュ報告は、例えば、ネットワーク接続の断続的な喪失などにより先に説明したアップデータ―ラッパー―バンドル機構が適切に動作しない場合に生成されてもよい。クラッシュ報告はまた、例えば、カレンダーアプリケーション等の、患者機器上で実行中のアプリケーションから送信されてもよい。
Referring to FIG. 45, the portal computer also includes a sentry crash reporting module 227 that logs crash reports sent from patient devices. Such a crash report may be generated when the updater-wrapper-bundle mechanism described above does not operate properly, for example, due to intermittent loss of network connectivity. The crash report may also be sent from an application running on the patient device, such as, for example, a calendar application.

Login − サーバ上のクライアントを認証する方法を提供する。一旦認証されると、APIKEYは返される。この鍵は、ほぼ全ての他の方法のための認証として使用される。
username:Resident Display Login, 居住者のディスプレイタブレットにおいて得られる;
token:Resident Display Password, 居住者のディスプレイタブレットにおいて得られる;
Description of portal software API
Login-Provides a way to authenticate clients on the server. Once authenticated, APIKEY is returned. This key is used as an authentication for almost all other methods.
username: Resident Display Login, obtained on the resident's display tablet;
token: Resident Display Password, obtained on the resident's display tablet;
uhid: UNIQUE hardware identifier. The system only accepts one device per user. The reverse is also true.

Log out − これは、以前に取得したAPIKEYを無効にする。
Log out-This invalidates a previously acquired APIKEY.
apikey: APIKEY obtained by / login method.

get_update_version − このクライアントについて最新の利用可能なバージョンのバンドルを返す。
get_update_version-returns the latest available version bundle for this client.
apikey: APIKEY obtained by / login method.

get_wrapper_update − 最新バージョンのラッパーを返してダウンロードする。この場合、識別としてAPIKEYの代わりにクライアントUHIDを使用する。この時点において、クライアントは未だログインしていない。
get_wrapper_update-Return and download the latest version of the wrapper. In this case, the client UHID is used instead of APIKEY as identification. At this point, the client has not yet logged in.
uhid: UNIQUE hardware identifier. The system only accepts one device per user. The reverse is also true.

Sync_Api − クライアントが必要とする全てのデータを提供する。これは、設定、イベント、メッセージおよび他のメディアリソース(写真、音楽および動画)を含む。この方法への各リクエストは、E-Tagという名前のヘッダフィールド内のSHA1ハッシュを返す。   Sync_Api-provides all the data needed by the client. This includes settings, events, messages and other media resources (photos, music and videos). Each request to this method returns a SHA1 hash in a header field named E-Tag.

このハッシュが、次のリクエストに使用される。サーバは、この情報を用いて、以前に提供されたコンテンツに変更があったかどうかを判定する。変更があった場合、新しいデータが、200ステータスコードと共に返される。変更がなかった場合、304が返される。これは、サーバCPUの使用を減らすだけでなく、帯域幅も節約する。   This hash is used for the next request. The server uses this information to determine whether there has been a change in previously provided content. If there is a change, new data is returned with a 200 status code. If there is no change, 304 is returned. This not only reduces server CPU usage, but also saves bandwidth.

Media resources (images, music and video) are to be stored locally. Each media has a unique name throughout the system.
Accept: can be used to indicate the desired response format.
On4-Token: APIKEY obtained by / login method.
On4-Version: Application version.
On4-TzOffset: Time difference (in seconds) between UTC time and local time. If the local time is later than the UTC time, a minus sign must be used.
On4-Position: The latitude and longitude of the device. This information is used to provide accurate weather information to the equipment.
On4-Time: Current UTC timestamp. For NOW, the value 0 (zero) is accepted. The server returns events from this time up to 3 days ahead.
If-None-Match: E-Tag value from the last request, or empty if the first call is provided or nothing is provided.

UI Element Customization and Capability Points The user interface with which the patient interacts when using the patient device 50 consists of a kit of UI elements 62 that can be pushed to the patient device after being selected by a family (or staff member). UI elements are stored in the data storage system 56 and constitute a specially selected set of user interface elements. Each of these user interface elements matches a given level of cognitive and / or motor skills, provides the patient with the information the patient needs every day, and allows the family and patient to communicate As is graded.

家族または看護スタッフが所与の患者のニーズに対して適切なUI要素を選択することを容易にする為に、キット62内の個々のUI要素64の各々には、認知能力および/または運動能力点数66が少なくとも一つ関連付けられている。能力点数は、そのUI要素を使用する際にユーザが有する難易度に基づき、数字のスコアを各UI要素に割り当てるものである。キット62は、自動のUI要素から、使用がきわめて簡単なUI要素や、使用するのは高度であるUI要素に至るまで、さまざまな冗長であったり機能が重複するUI要素を含むので、特定の患者の能力に対して適切なものが選択され得る。   In order to facilitate the selection of appropriate UI elements for the needs of a given patient by a family or nursing staff, each individual UI element 64 in kit 62 includes cognitive and / or motor skills. At least one score 66 is associated. The ability score assigns a numerical score to each UI element based on the degree of difficulty that the user has when using the UI element. Kit 62 includes a variety of redundant and functionally overlapping UI elements, ranging from automatic UI elements to UI elements that are very easy to use and those that are sophisticated to use. One that is appropriate for the patient's capabilities can be selected.

必要に応じて、各UI要素に複数の点数を関連付け得る。したがって、認知能力点数に加えて、運動能力点数(視力、聴力、手の器用さ)を関連付けてもよい。異なるアプリケーションまたはコンテンツの難易度にランク付けするために、適用可能であれば、認知能力および他の能力点数を適用してもよい。   Multiple points may be associated with each UI element as needed. Therefore, in addition to cognitive ability scores, motor ability scores (sight, hearing, hand dexterity) may be associated. Cognitive abilities and other ability scores may be applied where applicable to rank different applications or content difficulty levels.

例えば、高い認知能力および高い運動技術を有するユーザは、画像閲覧アプリケーションでどの写真を見たいかを選択するために、ドロップダウンメニューのUI要素をどのように使用するかを理解するのに困難は無いかもしれない。より能力の低い人は、ドロップダウンメニューを操作できないかもしれないが、どのように前進ボタンおよび後退ボタンを用いて、一旦患者のために自動的に選択された写真をブラウズすればよいかについては理解できるかもしれない。さらに能力の低い人は、いかなるUI要素も操作できないかもしれない。その場合、アプリケーションが自動スライドショーを実行する。自動スライドショーにおいて、写真は、患者によって制御されない、予め定義されたレートで選択される。   For example, users with high cognitive skills and high motor skills will have difficulty understanding how to use the drop-down menu UI elements to select which photos they want to see in an image viewing application. It may not be. Less capable people may not be able to navigate the drop-down menu, but how to use the forward and backward buttons to browse photos that were automatically selected for the patient once May be understandable. A less capable person may not be able to operate any UI element. In that case, the application executes an automatic slide show. In an automatic slide show, photos are selected at a predefined rate that is not controlled by the patient.

これは、図36aおよび36bに図示されており、患者機器に対してプッシュされた基本の写真閲覧アプリケーションを備えている。図36aは、平均的な視力および並の認知能力を有する患者のためにカスタマイズされたディスプレイを示す。したがって、図36aにおいて、日および時刻は「通常の」大きさの文字で表示され、「次の写真」、「前の写真」および「前に戻る」のボタン80が表示され且つアクティブである。この患者にとって、左側を向いたボタンを押して「戻る」および右側を向いたボタンを押して「進む」という見込みは、困難な作業ではない。   This is illustrated in FIGS. 36a and 36b and includes a basic photo viewing application pushed to the patient device. FIG. 36a shows a display customized for a patient with average vision and moderate cognitive ability. Thus, in FIG. 36a, the date and time are displayed in “normal” size text, and the “next photo”, “previous photo” and “back” buttons 80 are displayed and active. For this patient, the prospect of pushing the button facing left to “return” and pushing the button facing right to “go forward” is not a difficult task.

In contrast, the user interface of FIG. 36b has been customized with a portal for people with low vision and limited cognitive ability (or perhaps limited hand dexterity). Thus, the date and time are displayed in “large” size, and the “next photo”, “previous photo” and “back” buttons are hidden. In order to explain the removal of the button 80, the slide show function 82 of the photo browsing application has been switched to “automatic”, so that the images from Automatically circulated. In this case, the patient only has to look at the screen. There is no button to press.

Using cognitive and other ability scores By providing a full kit of UI elements, the portal computer 55 can selectively assemble a highly sophisticated and highly customized user experience for each patient. it can. However, having such many different UI elements at different capability score levels is not without difficulty. A typical family member or nursing staff may have little or no experience in user interface design.

したがって、UIをカスタマイズするプロセスを単純化するために、ポータルコンピュータは、認知能力点数(および他の点数)に応じてUI要素をソートおよびランク付けし、それにより、患者機器のユーザインタフェースをカスタマイズしようとしている人に、適切なものが最初に提供される。図42aおよび42bは、これがどのように達成されるかについて、2つの別の実施形態を示す。図42aにおいて、ディスプレイ57は、患者機器のディスプレイに表示されているもの(この場合、カレンダーアプリケーション(参照符号81))のイメージを、クロック―日付―天気ヘッダ(参照符号83)と共に提示する。患者機器のディスプレイの右辺に沿って、アプリケーションセレクタ85が設けられている。アプリケーションセレクタ85において、アプリケーションに対応するアイコンは、患者機器に対してプッシュされるために利用可能である。ディスプレイ57はまた、各アプリケーションの能力点数が表示されるランキングウインドウ87を含む。なお、クロック―日付―天気ヘッダは、画像アプリケーション(4の点数を有する、すなわち難易度が平均を超えている)と比較して、このインタフェース要素が比較的使い易いことを示す「2」の点数を有する点に留意されたい。ランキングウインドウは、特定の患者の実際の使用統計値もしくはアグリゲーションサーバコンピュータ74(図34)によって生成された合計統計値のいずれかに基づき得る、システムによって割り当てられた点数を示すことが理解される。複数の異なる点数が実装されている場合(例えば、認知能力点数および運動能力点数)、ポータルコンピュータのユーザは、家族または看護スタッフが、適切なラジオボタン(参照符号89)を選択することによって点数を切り換えることを許可する。これらのボタンのいずれかを選択することにより、表示されたアプリケーションのランキングを切り換えて、選択された選択肢を反映する。   Therefore, to simplify the process of customizing the UI, the portal computer will sort and rank UI elements according to cognitive ability scores (and other scores), thereby customizing the user interface of the patient device. Appropriate ones will be provided first to those who are trying. Figures 42a and 42b show two alternative embodiments of how this is achieved. In FIG. 42a, the display 57 presents an image of what is displayed on the patient equipment display (in this case, the calendar application (reference number 81)), along with a clock-date-weather header (reference number 83). An application selector 85 is provided along the right side of the display of the patient device. In application selector 85, an icon corresponding to the application is available to be pushed to the patient device. The display 57 also includes a ranking window 87 in which the ability score of each application is displayed. Note that the clock-date-weather header has a score of “2” indicating that this interface element is relatively easy to use compared to the image application (having a score of 4, ie, the difficulty level exceeds the average). Note that It will be appreciated that the ranking window indicates the number of points assigned by the system that may be based on either the actual usage statistics for a particular patient or the total statistics generated by the aggregation server computer 74 (FIG. 34). If multiple different scores are implemented (eg, cognitive and athletic scores), the portal computer user can score by the family or nursing staff selecting the appropriate radio button (reference number 89). Allow switching. By selecting one of these buttons, the ranking of the displayed application is switched to reflect the selected option.

図42bは、患者機器に対してプッシュするために選択するアプリケーションを提示する異なる方法を示す。この実施形態において、アプリケーションセレクタウインドウ91は、全ての利用可能なアプリケーションを列挙する。列挙されたアプリケーションは、所望の点数のラジオボタンの選択(参照符号89)に基づき、能力点数の順にソートされている。その後、家族または看護スタッフは、選択されたアプリケーションを、プッシュウインドウ93までドラッグし得る。こうすることにより、プッシュウインドウ内のアプリケーションは、患者機器に対してプッシュされるアプリケーションとしてマークされる。この場合、3つのアプリケーションが選択されている。ポータルコンピュータは、プッシュウインドウにドラッグされたアプリケーションに基づいて、平均難易度および最大難易度を表示する。これにより、家族または看護スタッフは、選択されたアプリケーションのパレットが患者に課す難易度を容易に理解することができる。   FIG. 42b shows a different way of presenting an application to select to push against the patient device. In this embodiment, the application selector window 91 lists all available applications. The listed applications are sorted in order of ability score based on the selection of a desired number of radio buttons (reference number 89). The family or nursing staff can then drag the selected application to the push window 93. By doing this, the application in the push window is marked as being pushed to the patient device. In this case, three applications are selected. The portal computer displays the average difficulty level and the maximum difficulty level based on the application dragged to the push window. This allows the family or nursing staff to easily understand the level of difficulty that the selected application palette imposes on the patient.

あるいは、ポータルコンピュータ55は、以前に得られた患者の能力についての知識に基づき、自動的に適切な構成を選択するようにプログラムされる。この演繹的な知識は、後述するように、患者機器からの使用統計値のフィードバックから得られる。   Alternatively, the portal computer 55 is programmed to automatically select the appropriate configuration based on previously acquired knowledge of the patient's capabilities. This a priori knowledge is obtained from feedback of usage statistics from patient equipment, as described below.

Once basic selections are made regarding application selection, the portal also provides a more detailed screen. This screen allows the family or nursing staff to set further details specific to a particular application. In this regard, FIGS. 38 and 39 show exemplary screens for setting up basic display and user interaction features. FIG. 39 includes application selection structures 91 and 93 similar to those of FIG. FIG. 40 shows another exemplary screen used to add music and video content to the list of content pushed to the patient device. FIG. 41 shows an exemplary screen used by a family or nursing staff to preset a messaging application such as Skype with a person that a patient wants to communicate with periodically.

Remote control In some cases, a family may wish to share an application or content with a patient, but the user interface for that application or content may exceed the patient's cognitive capabilities. In such cases, the portal provides remote control capabilities so that the family can operate through the portal and directly control what is presented to the patient device.

For example, during a call or video chat through a patient device, the family may want to show the patient several images that were previously pushed as content to the patient device. Using the remote control capability, the family can, for example, launch a slide presentation application directly to show the patient an image.

Usage data collection, feedback and summing The concept of usage data collection and feedback is important for patient device-portal computer integration. When a patient uses a patient device, data is collected in real time that indicates which applications and content has been viewed and when, and which UI elements have been used and when. These collected data are then communicated to the portal computer as feedback.

フィードバックは、いくつかの点において重要である。第一に、特定のユーザインタフェース要素、コンテンツまたはアプリケーションが使用されていない場合、または患者により誤って使用されている場合に、フィードバックは家族に警告する。これにより、家族は、ユーザインタフェース、コンテンツおよびアプリケーションが患者の認知能力によりマッチするように、カスタマイズすることができる。図37aおよび図37bに示すように、患者機器から提供されたフィードバックは、さまざまな方法で家族に提示され得る。2つの方法について説明した。   Feedback is important in several ways. First, the feedback alerts the family if a particular user interface element, content or application is not being used, or if it is used incorrectly by the patient. This allows the family to customize the user interface, content and applications to better match the patient's cognitive abilities. As shown in FIGS. 37a and 37b, feedback provided from patient equipment can be presented to the family in various ways. Two methods have been described.

図37aにおいて、ポータルコンピュータに取り付けられたディスプレイ57は、患者機器上に表示される、画面のイメージを提供する。このディスプレイは、リアルタイムに更新されて、患者が現在何をしているかを表示する。この場合、患者は、最後に「カレンダー」ボタンを押して、カレンダーアプリケーションを閲覧している。図37bは、代替の「ヒートマップ」図を示す。ここで、患者機器のユーザによって作動され得る各UI要素はオーバレイと共に示されており、UI要素の各々が最後の測定期間の間にどれくらいの頻度で使用されたかについてのヒートマップまたはグラフィック比較図を示している。図37bにおいて、異なる大きさの円の形状のグラフィック表示が、相対的な使用統計値を示すために使用される。円が大きくなるほど、そのUI要素の使用頻度は高い。必要に応じて、グラフィック表示と共に、またはグラフィック表示の代わりに、数字の統計値を表示し得る。もちろん、ヒートマップをグラフィックで表現する他の方法を用いてもよい。   In FIG. 37a, a display 57 attached to the portal computer provides an image of the screen displayed on the patient device. This display is updated in real time to show what the patient is currently doing. In this case, the patient finally browses the calendar application by pressing the “Calendar” button. FIG. 37b shows an alternative “heat map” diagram. Here, each UI element that can be actuated by the user of the patient device is shown with an overlay and a heat map or graphical comparison of how often each UI element was used during the last measurement period. Show. In FIG. 37b, graphical representations of different sized circle shapes are used to show relative usage statistics. The larger the circle is, the more frequently the UI element is used. If desired, numerical statistics may be displayed with or instead of the graphic display. Of course, other methods for representing the heat map graphically may be used.

第2に、フィードバックはまた、クラウド72内のインターネットベースのアグリゲーションサーバコンピュータ74(図34)に送信されてもよく、ここで多数のユーザに亘って使用点数統計値が合算される。その後、合算されたデータを用いて、UI要素の各々について認知能力点数を更新する。このようにして、各UI要素の難易度は、時間の経過とともに集められる使用統計値に基づいて微調整される。必要に応じて、合算データは、重み付けされ、特定の患者からの使用データと組み合わされ、混合された認知能力点数が提供され得る。   Second, the feedback may also be sent to an internet-based aggregation server computer 74 (FIG. 34) in the cloud 72 where the usage statistics are summed across multiple users. Thereafter, the cognitive ability score is updated for each UI element using the summed data. In this way, the difficulty level of each UI element is finely adjusted based on usage statistics collected over time. If desired, the combined data can be weighted and combined with usage data from a particular patient to provide a mixed cognitive performance score.

これらの合算されたデータはまた、特定の患者のための「おすすめの」ユーザインタフェース構成を自動的に構成するときに、ポータルコンピュータ55により使用される。これを達成するために、ポータルコンピュータは、患者機器に対してプッシュされ得るポータルコンピュータに格納されたアプリケーションの各々についておすすめのカスタマイズ構成を示す一組のUI要素テンプレートを、アグリゲーションサーバコンピュータから受け取る。これらのテンプレートは、UI要素が複数の異なる能力レベルの各々と一致するように選択されるように、合計使用統計値を用いて作成される。   These combined data are also used by the portal computer 55 when automatically configuring a “recommended” user interface configuration for a particular patient. To accomplish this, the portal computer receives from the aggregation server computer a set of UI element templates that indicate recommended customization configurations for each of the applications stored on the portal computer that can be pushed to the patient device. These templates are created with total usage statistics so that UI elements are selected to match each of a plurality of different capability levels.

In order to compile the aggregated statistical data, personal information about the patient other than the patient's current cognitive ability score is not transferred to the cloud. Therefore, it is inevitably discovered that UI element A was not used by persons with cognitive ability less than level 3, UI element B was not used by persons with cognitive ability less than level 5, etc. Is done.

Method of Programming an Aggregation Server Computer An aggregation server computer is a networked computer or a collection of integrated computers that communicate with a portal computer or directly with a patient device through an appropriate network connection. The aggregation server computer has at least one processor and associated non-transient memory in which program instructions that cause the aggregation server computer to implement the functions described herein are stored.

The exemplary aggregation computer uses the following software architecture for the portal computer: With this software architecture, the processor of the portal computer is programmed to perform the functions described herein. Of course, different architectures may be used.

Data Collection Software Agent The “Data Collection” software agent is maintained to always run inside the patient device. The data collection software logs all system announcements such as messages, images, videos, activities, etc., and all user interactions such as touch, application selection and scrolling to a local buffer. All log data points are time stamped to reflect the exact time at which it was done. Depending on the customizable frequency rate, new log data points are uploaded to the portal using Log_API.

Log_API − この方法により、クライアントは、情報ログをサーバに送信することができる。これは、任意の重要な/該当する情報を送信するために使用し得る。
data JSON:以下のフォーマットで一つ以上のオブジェクトを含むアレイ:

[ "メッセージ": "サンプルメッセージ", //送信するメッセージ"イベント時刻 ": 1380566627, //メッセージ作成時刻を表しているUNIXタイムスタンプ "レベル ": "情報" //ログレベル. 有効なオプションは: 情報, デバグ, 警告およびエラー]


Log_API-This method allows the client to send an information log to the server. This can be used to transmit any important / relevant information.
apikey: APIKEY obtained by / login method.
data JSON: An array containing one or more objects in the following format:

["Message": "Sample message", // Message to send "Event time": 1380566627, // Unix timestamp indicating message creation time "Level": "Information" // Log level. Valid options are : Info, debug, warnings and errors]

Log example:

Example source code for data collection running on patient equipment

アグリゲーションサーバコンピュータ74は、全てのアプリケーションおよびUI要素に亘る合計能力点数を、システム(例えば、認知能力点数、運動能力点数等)によって使用される各々の異なる能力点数について計算するようにプログラムされる。これを行うため、アグリゲーションサーバは、アグリゲーションサービスに参加している各ポータルコンピュータから送信された使用データパケットを受信するようにプログラムされる。ポータルコンピュータの各々は、そのポータルコンピュータと通信している患者機器から受け取ったフィードバックから抽出された情報を含む使用データパケットを周期的に送信するようにプログラムされる。   The aggregation server computer 74 is programmed to calculate a total ability score across all applications and UI elements for each different ability score used by the system (eg, cognitive ability score, motor ability score, etc.). To do this, the aggregation server is programmed to receive usage data packets sent from each portal computer participating in the aggregation service. Each of the portal computers is programmed to periodically transmit usage data packets that include information extracted from feedback received from patient devices in communication with the portal computer.

・ ポータルID(送信ポータルコンピュータの固有の指示子)
・ 能力点数指示(レコードが認知能力、運動能力または他の何らかの能力の次元を表すかどうか)
・ 患者の現在の能力(データが収集された患者についての能力レベル)
・ UI要素ID(このレコードにおいて報告されている特定のユーザインタフェース要素またはアプリケーションについての固有の指示子)
・ 報告期間(ポータルコンピュータがデータを収集した期間)
・ 使用カウント(報告期間の間にUI要素またはアプリケーションが患者によって使用された回数)
The usage data packet consists of one or more records. Each of these records contains the following information:
・ Portal ID (specific indicator of the sending portal computer)
・ Ability point indication (whether the record represents cognitive ability, motor ability or some other dimension of ability)
• Patient's current capabilities (capability level for the patient for whom data was collected)
UI element ID (specific indicator for the specific user interface element or application reported in this record)
・ Reporting period (period when portal computer collects data)
Usage count (number of times a UI element or application was used by the patient during the reporting period)

データパケットは患者の身元を開示するいかなる情報も含まない点に留意されたい。患者について知られていることは、患者の現在割り当てられている能力レベルだけである。   Note that the data packet does not contain any information that discloses the patient's identity. All that is known about the patient is the patient's currently assigned capability level.

アグリゲーションサーバコンピュータは、受け取ったデータパケットからデータを抽出し、格納する。データはこのように、各々が複数の異なる患者に供されている可能性のある複数のポータルコンピュータについて蓄積される。したがって、アグリゲーションサーバによって収集されたデータは、患者のある母集団を表しており、異なるUI要素およびアプリケーションの各々を使用する際にその母集団が経験した難易度を示している。合算されたデータから、アグリゲーションサーバは使用統計値を計算し、これらはその後それぞれのポータルコンピュータに送り返される。   The aggregation server computer extracts data from the received data packet and stores it. Data is thus accumulated for a plurality of portal computers, each potentially serving a plurality of different patients. Thus, the data collected by the aggregation server represents a population of patients and indicates the difficulty experienced by that population when using each of the different UI elements and applications. From the summed data, the aggregation server calculates usage statistics, which are then sent back to the respective portal computer.

使用統計値は、例えば、各UI要素およびアプリケーションについて、合計の(母集団全体に亘る)点数を含む。例えば、これらの合計点数は、例えば、ID番号512を有するUI要素が、能力レベル3を報告した患者の母集団の90%により使用されたが、能力レベル2を報告した患者の母集団の20%にしか使用されなかったこと、を示すかもしれない。このように生成された統計値は、参加しているポータルコンピュータに返送され得、ポータルコンピュータにおいて、ある特定の患者のためのUI構成を設計する際に、UI要素およびアプリケーションをランク付けして家族または看護スタッフに提示するために使用される。   Usage statistics include, for example, a total (over the entire population) score for each UI element and application. For example, these total scores are, for example, 20% of the population of patients who reported competence level 2 while the UI element with ID number 512 was used by 90% of the population of patients who reported competence level 3. % May have been used only. The statistics generated in this way can be sent back to participating portal computers, where the UI elements and applications are ranked and family members are designed in designing the UI configuration for a particular patient. Or used to present to nursing staff.

アグリゲーションサーバコンピュータによって生成された使用統計値は、UI要素の各々が、さまざまな能力レベルを有し広範であり得る母集団によって、どのように受け取られ、理解されるかを表す。個々の患者は、母集団とは異なる特定の能力レベルを有するかもしれない。例えば、特定の患者は、能力レベル3の母集団と、かなり一貫して略一致するかもしれないが、特定のUI要素またはアプリケーションを使用する際には、特異的に、レベル4の能力を有するかもしれない。ポータルコンピュータは、その患者から収集した使用データを使用し、母集団からの特定のUI要素ランキングを無視して、特定の患者の能力に適合することにより、この事実を考慮し得る。このことは、各患者についてのUI要素ランキングの表をポータルコンピュータのデータストレージシステム56内に格納することにより達成されてもよい。まず最初に、全てのUI要素ランキングは、合計母集団から受け取った値を割り当てられる。しかし、特定のUI要素ランキングを無視して特定の患者の能力に適合すると、これらの値は、上書きされて、その患者についてタブレットに格納された合計データに取って代わる。このようにして、ポータルコンピュータは、UI要素およびアプリケーションの各々についてのUI要素ランキングを、それらが以前その患者によって使用されたことがなくても、表示できる。その後、その患者が特定のUI要素に対してどのように反応するかについての経験が得られると、最終的にその患者の固有の特徴を反映するようにテーブルが更新される。   The usage statistics generated by the aggregation server computer represent how each of the UI elements is received and understood by a population that may have varying levels of capability and be extensive. Individual patients may have specific ability levels that differ from the population. For example, a particular patient may be fairly consistent with a population of capability level 3 fairly consistently, but have a level 4 capability specifically when using certain UI elements or applications. It may be. The portal computer may account for this fact by using usage data collected from the patient and ignoring specific UI element rankings from the population and adapting to specific patient capabilities. This may be accomplished by storing a UI element ranking table for each patient in the portal computer data storage system 56. Initially, all UI element rankings are assigned values received from the total population. However, if you ignore a particular UI element ranking and fit a particular patient's capabilities, these values will be overwritten and replace the total data stored on the tablet for that patient. In this way, the portal computer can display UI element rankings for each of the UI elements and applications, even if they have not been previously used by the patient. Thereafter, as experience is gained about how the patient reacts to a particular UI element, the table is eventually updated to reflect the patient's unique characteristics.

The UI element ranking generated by the total population data may also be used by the portal computer in determining a particular patient's ability level. This systematically pushes UI elements and applications to the patient equipment with increasing difficulty over time (based on the total ranking score) and which UI elements or applications are not fully available to the patient This is done until it is determined (based on feedback provided by the patient device). Thus, the patient's ability level may be determined to be equal to the maximum ability level that the patient has been able to consistently perform. The goal here is not to challenge the patient, but rather to establish a baseline on which the patient can comfortably use the selected UI elements and applications.

UI Element Kit The UI element kit 62 stored in the data storage system 56 of the portal computer 55 provides redundant and somewhat redundant functionality. For example, the simplest gesture command made by a patient can be “touch anywhere on the screen”. A more advanced way to do the same thing can be to press one button labeled with the function that the button performs. A more advanced menu bar is a menu bar having tab-like options and no lower level (in short, a row of buttons with labels). More advanced is a menu that provides submenu options one level below.

このUI要素のキットから選択して、図36aおよび図36bは、どのようにポータルを用いて患者機器上におけるユーザ経験をカスタマイズし得るかを示す。既に説明したように、図36aおよび図36bは、異なるレベルの能力について設定された例示的な写真閲覧アプリケーションを表す。   Choosing from this kit of UI elements, Figures 36a and 36b show how the portal can be used to customize the user experience on patient equipment. As already described, FIGS. 36a and 36b represent exemplary photo browsing applications configured for different levels of capabilities.

このユーザインタフェースカスタマイズ機能を実施するために、各アプリケーション(この場合写真閲覧アプリケーション)は、全ての設定可能なユーザインタフェース要素の状態を格納する、患者機器のローカルメモリにおいて定義されたデータ構造を含む。これらの要素の例を図36aおよび図36bに示し、「前の写真」、「次の写真」、「戻る」、「スライドショー状態」、「ヘッダバー日付―時刻プレゼンテーションサイズ」、「リマインダ」等を含む。これらは、設定し得るユーザインタフェース要素のいくつかの例にすぎないことが理解される。   To implement this user interface customization function, each application (in this case, a photo viewing application) includes a data structure defined in the local memory of the patient device that stores the state of all configurable user interface elements. Examples of these elements are shown in FIGS. 36a and 36b and include “Previous Photo”, “Next Photo”, “Back”, “Slideshow Status”, “Header Bar Date-Time Presentation Size”, “Reminder”, etc. . It is understood that these are just a few examples of user interface elements that can be set.

これらのユーザインタフェース設定変数の状態は、ポータルを介したアプリケーションとの対話により変更される。ポータルを使用して、これらの変数の状態が変更されてもよく、変更された場合に、それらは、アプリケーションが患者機器上での実行時にどのように動作するかに影響を及ぼす。   The state of these user interface setting variables is changed by interaction with the application via the portal. Using the portal, the state of these variables may be changed, and when they are changed, they affect how the application behaves when executed on the patient device.

ユーザインタフェース状態変数を保存することに加えて、各アプリケーションに関連付けられたデータ構造はまた、リアルタイムで捕捉されたデータを格納し、患者機器を作動させて特定のユーザインタフェース機能が患者によって使用されたときの各インスタンスを記録する。図35aおよび図35bに示したある実施形態において、カウンタは、インクリメントされて、データ構造の使用履歴部分に格納される。日付およびタイムスタンプ情報も、データ構造に格納されてもよく、厳密にいつユーザインタフェース機能が患者に使用されたかを記録する。図示した実施形態において、インクリメントされた数は、予め定義された(カスタマイズ可能な)期間内に特定の機能がアクセスされた回数を表す。図示の通り、30日の期間が選択されている。例えば、「231.30」は、「前の写真」ボタンが過去30日の間に231回を作動されたことを示す。使用履歴において捕捉されたデータは、フィードバック情報としてポータルに送信され、また、合計統計値を収集するクラウドサーバにも送信される(後でより詳細に説明する)。使用履歴情報を収集することにより、ポータルが、家族または介護者に対して、各アプリケーションのどの機能を患者が使用することができるかを表示することができる。図36bに示すように、1度も使用されていない機能をオフに切り換え得る。   In addition to saving user interface state variables, the data structure associated with each application also stores data captured in real time and activates patient equipment to use specific user interface functions by the patient. Record each instance of when. In one embodiment shown in FIGS. 35a and 35b, the counter is incremented and stored in the usage history portion of the data structure. Date and timestamp information may also be stored in the data structure, recording exactly when the user interface function was used on the patient. In the illustrated embodiment, the incremented number represents the number of times a particular function has been accessed within a predefined (customizable) period. As shown, a 30 day period is selected. For example, “231.30” indicates that the “Previous Photo” button has been activated 231 times in the past 30 days. Data captured in the usage history is sent as feedback information to the portal and also sent to a cloud server that collects total statistics (described in more detail later). By collecting usage history information, the portal can display to the family or caregiver which functions of each application can be used by the patient. As shown in FIG. 36b, a function that has never been used can be switched off.



The description of the above embodiments has been provided for the purposes of illustration and description. It is not intended to be exhaustive or to limit the disclosure. Individual elements or features of a particular embodiment are generally not limited to that particular embodiment, but are interchangeable where applicable and selected without being specifically shown or described Can be used in embodiments. The same may be modified in various ways. Such modifications are not considered a departure from the disclosure and all such modifications are intended to be included within the scope of the present disclosure.

APPENDIX Exemplary computer program code is executed on the portal computer to retrieve settings from the portal computer database and send the settings to the patient device to configure the display of the patient device.

Claims (21)

A computer-implemented system for assisting people with reduced cognitive or motor skills,
A patient device having a display, a processor connected to the display, and a communication port;
A system comprising a portal computer for communicating with the patient device via the communication port,
The portal computer has a processor and associated memory, the associated memory storing a plurality of user interface elements according to a predefined data structure that associates a capability score with each user interface element;
The portal computer is programmed to present the plurality of user interface elements to a user of the portal computer in a presentation arrangement based on the capability score;
The portal computer allows a first user to select at least one interface element from the user interface elements presented in the arrangement and then push the selected user interface element to the patient device. A programmed, computer-implemented system.
前記患者機器の前記プロセッサは、前記患者機器に対してプッシュされた前記選択されたユーザインタフェース要素の前記患者による使用に関して、フィードバックデータを前記ポータルコンピュータに提供するようにプログラムされている、請求項1に記載のコンピュータで実装されたシステム。   The processor of the patient device is programmed to provide feedback data to the portal computer regarding use by the patient of the selected user interface element pushed to the patient device. A computer-implemented system as described in 1. 前記ポータルコンピュータはさらに、異なる能力レベルへのユーザインタフェース適合性に関する統計値をコンパイルするアグリゲータコンピュータに対して、フィードバックデータを報告するようにプログラムされている、請求項1に記載のコンピュータで実装されたシステム。   The computer-implemented computer of claim 1, wherein the portal computer is further programmed to report feedback data to an aggregator computer that compiles statistics regarding user interface suitability to different capability levels. system. 前記ポータルコンピュータは、ユーザインタフェース要素に関連付けられた前記能力点数を、複数の患者から収集し合算されたユーザインタフェース使用データに基づいて更新するようにプログラムされている、請求項1に記載のコンピュータで実装されたシステム。   The computer of claim 1, wherein the portal computer is programmed to update the capability score associated with a user interface element based on user interface usage data collected and aggregated from a plurality of patients. Implemented system. 前記ポータルコンピュータは、複数のアプリケーションを、前記ポータルコンピュータの第1のユーザに対して提示するようにプログラムされており、
The portal computer is programmed to present a plurality of applications to a first user of the portal computer;
The portal computer can configure and push the application to the patient device so that the first user selects at least one application and then the application is executed by the processor of the patient device. As programmed,
The computer-implemented system of claim 1.
The portal computer is programmed to present a plurality of applications to a first user of the portal computer in a presentation arrangement based on the capability score;
The portal computer selects the application so that the first user selects at least one application from the applications presented in the arrangement, and then the application is executed by the processor of the patient device. Programmed to be pushed to the device,
The computer-implemented system of claim 1.
前記ポータルコンピュータと通信し、且つ、前記能力点数を前記ポータルコンピュータに提供するようにプログラムされているアグリゲータコンピュータをさらに含む、請求項1に記載のコンピュータで実装されたシステム。   The computer-implemented system of claim 1, further comprising an aggregator computer that is programmed to communicate with the portal computer and to provide the capability score to the portal computer. 前記ポータルコンピュータと通信し、且つ、前記ポータルコンピュータから使用データを受け取り、前記使用データに基づいて能力点数を計算し、前記計算された能力点数を前記ポータルコンピュータに提供するようにプログラムされているアグリゲータコンピュータをさらに含む、請求項1に記載のコンピュータで実装されたシステム。   An aggregator programmed to communicate with the portal computer, receive usage data from the portal computer, calculate a capability score based on the usage data, and provide the calculated capability score to the portal computer The computer-implemented system of claim 1, further comprising a computer. 前記ポータルコンピュータは、前記患者機器上で実行できるように適応されたアプリケーションプログラムを格納し、
The portal computer stores an application program adapted to be executed on the patient device;
The portal computer is programmed to push a selection of the stored applications to the patient device;
The computer-implemented system of claim 1.
前記ポータルコンピュータは、能力点数を、前記格納されたアプリケーションプログラムの各々に関連付ける、請求項9に記載のコンピュータで実装されたシステム。   The computer-implemented system of claim 9, wherein the portal computer associates a capability score with each of the stored application programs. 前記ポータルコンピュータは、能力点数を前記格納されたアプリケーションプログラムの各々に関連付け、それらアプリケーションを、前記ポータルコンピュータの前記ユーザに対して、前記能力点数に基づいた提示配置で提示する、請求項9に記載のコンピュータで実装されたシステム。   The portal computer associates capability scores with each of the stored application programs, and presents the applications to the user of the portal computer in a presentation arrangement based on the capability scores. Computer-implemented system. 前記能力点数は認知能力点数である、請求項1に記載のコンピュータで実装されたシステム。   The computer-implemented system of claim 1, wherein the ability score is a cognitive ability score. 前記能力点数は運動能力点数である、請求項1に記載のコンピュータで実装されたシステム。   The computer-implemented system of claim 1, wherein the ability score is a motor ability score. 前記ポータルコンピュータは、前記患者機器に対してプッシュするユーザインタフェース要素を自動的に提案し、前記提案の作成に際しては前記患者の能力に関する知識および前記能力点数を用いる、請求項1に記載のコンピュータで実装されたシステム。   The computer of claim 1, wherein the portal computer automatically proposes user interface elements to push to the patient device, and uses the knowledge about the patient's capabilities and the capability score in creating the proposal. Implemented system. 前記ポータルコンピュータは、自動的にユーザインタフェース要素を選択して前記患者機器に対してプッシュし、前記選択に際しては前記患者の能力に関する知識および前記能力点数を用いる、請求項1に記載のコンピュータで実装されたシステム。   The computer-implemented method of claim 1, wherein the portal computer automatically selects and pushes user interface elements to the patient device and uses knowledge about the patient's capabilities and the capability score for the selection. System. 前記ポータルコンピュータは、前記患者機器の前記通信ポートを介して通信して、前記患者機器を遠隔操作する、請求項1に記載のコンピュータで実装されたシステム。   The computer-implemented system of claim 1, wherein the portal computer communicates via the communication port of the patient device to remotely operate the patient device. 前記ポータルコンピュータは、カレンダー、メッセージ、画像閲覧、動画閲覧、音楽、天気、音声チャット、音声動画チャットからなる群より選択された、前記患者機器上で実行できるように適応されたアプリケーションプログラムを格納する、請求項1に記載のコンピュータで実装されたシステム。   The portal computer stores an application program adapted to be executed on the patient device selected from the group consisting of calendar, message, image browsing, video browsing, music, weather, voice chat and voice video chat. The computer-implemented system of claim 1. 認知能力または運動能力が低下した人を援助するための、コンピュータで実装されたシステムであって、
A computer-implemented system for assisting people with reduced cognitive or motor skills,
A patient device having a display, a processor connected to the display, and a communication port;
A system comprising a portal computer for communicating with the patient device via the communication port,
The computer has a processor and associated memory for storing information regarding a plurality of different user interface elements;
The portal computer defines a data structure in the associated memory for storing information identifying a subset of the plurality of different user interface elements in association with information identifying the patient device;
The portal computer includes information identifying a subset selected from the plurality of different user interface elements that the user of the portal computer determines that the user of the portal computer is suitable for the user of the patient device. Programmed to be embedded in the data structure;
The portal computer communicates via the communication port based on a data structure in which the information is embedded, and causes the patient device to set the display of the patient device using a subset of the user interface elements. , A computer-implemented system.
前記情報が埋め込まれたデータ構造に基づく情報は、前記患者機器に対してプッシュされる、請求項18に記載のコンピュータで実装されたシステム。   The computer-implemented system of claim 18, wherein information based on a data structure in which the information is embedded is pushed to the patient device. 前記情報が埋め込まれたデータ構造に基づく情報は、前記患者機器によって、前記ポータルコンピュータからプルされる、請求項18に記載のコンピュータで実装されたシステム。   The computer-implemented system of claim 18, wherein information based on a data structure in which the information is embedded is pulled from the portal computer by the patient device. 前記患者機器は、前記通信ポートを介して前記ポータルコンピュータと周期的に通信するアップデータ機能を実行して、前記情報が埋め込まれたデータ構造内の情報が、前記患者機器の前記ディスプレイの設定に用いている情報と異なるか否かを判定する、請求項18に記載のコンピュータで実装されたシステム。   The patient device executes an updater function that periodically communicates with the portal computer via the communication port, and information in the data structure in which the information is embedded is used for setting the display of the patient device. The computer-implemented system of claim 18, wherein the computer-implemented system determines whether the information differs from the information being stored.
JP2015550716A 2012-01-06 2013-12-23 Context-sensitive application / event launch for people with various cognitive levels Pending JP2016512623A (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US13/730,327 2012-12-28
US13/730,327 US8803690B2 (en) 2012-01-06 2012-12-28 Context dependent application/event activation for people with various cognitive ability levels
US13/729,960 US9208661B2 (en) 2012-01-06 2012-12-28 Context dependent application/event activation for people with various cognitive ability levels
US13/729,960 2012-12-28
US14/096,475 US9335904B2 (en) 2012-01-06 2013-12-04 Context dependent application/event activation for people with various cognitive ability levels
US14/096,475 2013-12-04
PCT/US2013/077400 WO2014105782A1 (en) 2012-12-28 2013-12-23 Context dependent application/event activation

Publications (1)

Publication Number Publication Date
JP2016512623A true JP2016512623A (en) 2016-04-28



Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015550716A Pending JP2016512623A (en) 2012-01-06 2013-12-23 Context-sensitive application / event launch for people with various cognitive levels

Country Status (1)

Country Link
JP (1) JP2016512623A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180064323A (en) * 2016-12-05 2018-06-14 고려대학교 산학협력단 Device and method for providing personalized ux/ui service for broadcast standard
WO2019245065A1 (en) * 2018-06-18 2019-12-26 주식회사 헬스맥스 Method for providing content interface
WO2020122446A1 (en) * 2018-12-13 2020-06-18 주식회사 이드웨어 Customized dementia prevention training system
WO2020122447A1 (en) * 2018-12-13 2020-06-18 주식회사 이드웨어 Method for generating personalized dementia prevention training ui

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180064323A (en) * 2016-12-05 2018-06-14 고려대학교 산학협력단 Device and method for providing personalized ux/ui service for broadcast standard
KR102014475B1 (en) * 2016-12-05 2019-08-26 고려대학교 산학협력단 Device and method for providing personalized ux/ui service for broadcast standard
WO2019245065A1 (en) * 2018-06-18 2019-12-26 주식회사 헬스맥스 Method for providing content interface
WO2020122446A1 (en) * 2018-12-13 2020-06-18 주식회사 이드웨어 Customized dementia prevention training system
WO2020122447A1 (en) * 2018-12-13 2020-06-18 주식회사 이드웨어 Method for generating personalized dementia prevention training ui

Similar Documents

Publication Publication Date Title
US9335904B2 (en) Context dependent application/event activation for people with various cognitive ability levels
US8803690B2 (en) Context dependent application/event activation for people with various cognitive ability levels
US9208661B2 (en) Context dependent application/event activation for people with various cognitive ability levels
US10652504B2 (en) Simple video communication platform
US9185063B1 (en) System and method for sharing and synchronization of information within a specified information context among users with a mobile electronic device
US20150363563A1 (en) Methods and systems for automated deployment of remote measurement, patient monitoring, and home care and multi-media collaboration services in health care and telemedicine
AU2019257401A1 (en) Systems and methods for remote and host monitoring communications
CN113785295A (en) Configuring context-based restrictions for computing devices
US20120179485A1 (en) Systems and methods for integrated care management
JP2016512623A (en) Context-sensitive application / event launch for people with various cognitive levels
US20150286787A1 (en) System and method for managing healthcare
US20190311792A1 (en) Mobile system for the assessment of consumer medication compliance and provision of mobile caregiving
EP2154819A1 (en) Content sharing method, server and system
US20170099248A1 (en) Systems and methods for generating a queue of messages for tramsission via a messaging protocol
WO2014105782A1 (en) Context dependent application/event activation
JP2019523472A (en) Method, communication system and computer program for providing information indicating allergen concentration in environment
US10304563B1 (en) Medication management
AU2013326890A1 (en) Healthcare facility navigation method and system
CA3052732C (en) Workflow engine for healthcare management of a patient
Metaxas et al. Awareness of daily life activities
JP6588138B1 (en) Information processing apparatus, local government information distribution method, and information processing program
KR102288995B1 (en) Electronic device for providing survey service and method for operation thereof
US10950333B2 (en) Medication management
US20220044800A1 (en) System and method for managing property showing appointments based on health parameters
US20200004404A1 (en) Systems and methods of generating consciousness affects using one or more non-biological inputs