JP2018173927A - カメラ型見守り機能付きフォトブック・システム - Google Patents

Abstract

【課題】カメラ型見守り機能を有したフォトブック・システムを提供する。【解決手段】遠隔にある情報端末装置は通信機能を有し、検知可能なページに関連するコンテンツと音声メッセージを伝達する。記憶装置は通信機能を有し、検知可能なページとページ内コンテンツやユーザー属性に関連するコンテンツを記憶或いは伝達する。フォトブックは音声再生機能と通信機能を有し、前記音声メッセージを再生する。フォトブックはイメージセンサーと通信機能を有し、現在のページ位置を検知し、その位置情報と時間情報及びユーザーに関する情報を通知する。音声再生／コンテンツ表示装置は通信機能と処理ユニットと表示手段及び音声再生機能を有し、現在のページやユーザーの指定や属性に関連するコンテンツを検索或いは表示する。遠隔にある情報端末装置は通信機能と表示手段を有し、前記現在のページ検知とその位置情報と時間情報及びユーザーの反応を通知する。【選択図】図１−１

Description

本発明は、フォトブック（例、高齢者向けの写真集や子供向けの絵本）に関し、特にカメラ型見守り機能付きフォトブック・システムに関する。

写真集など画像を中心とした視覚的なコンテンツを有するフォトブックは、幼児から高齢者にわたり幅広い年齢層のユーザーに対して気軽に短時間で楽しむことができ、家族で一緒に見ることでコミュニケーションのツールとして有効であり、自然に取り扱い易い形態を有している。

印刷物であるフォトブックは、ページ数と掲載できる写真が限られることと、新しく撮影した写真を追加することができない、遠隔地にいる家族などとのコミュニケーションには適さないなど、その活用範囲は限定的である。

現状の環境センサーや人感センサーなど利用した見守り技術の多くは、ユーザーが監督者に一方的に監視されているという見守りされている側の心理的な不安がある。また、相互のコミュニケーション手段としての機能が乏しい。

従来のフォトブックや絵本などの書籍のページ検知方法は、検知センサーがページ枚数に合わせて複数あり、さらに検知センサー等の装置を書籍内部に設置する特別な製本工程が必要になることで、書籍自体が高価になり普及の妨げになっている。

特開２０１５−５７７３９ 特開平１０−２４６９０

従来のページ検知システムを有したブック・システムは、遠隔地にいる監督者がユーザーにコンテンツに関するメッセージを送ったり、新しいコンテンツデータを追加したり、ユーザーの使用状況を知ったりすることができない。

本発明は、従来の課題を解決してカメラ型見守り機能付きフォトブック・システムを実現することを目的とするものである。

本発明の一態様によれば、本発明のカメラ型見守り機能付きフォトブック・システムは、
（Ａ）音声再生機能と検知センサーとコンテンツ表示機能を有するフォトブックと、
前記音声再生機能は音声メッセージ或いは音声コンテンツを再生し、前記検知センサーは、前記フォトブックの複数の検知可能なページから現在のページを検知し、前記コンテンツ表示装置は、現在のページに関連してユーザーの指定や属性に合わせたコンテンツを検索或いは表示する、
（Ｂ）記憶装置と、
前記記憶装置は、前記検知可能なページに関連するコンテンツを記憶し、
（Ｃ）遠隔の情報端末装置と、
前記遠隔の情報端末装置は、前記音声メッセージと前記検索可能なページ関連するコンテンツを伝達する、
を有する。
本発明の一態様によれば、前記コンテンツ表示装置と前記情報端末装置は、携帯電話端末、スマートフォン、ゲーム機器、テレビ受像機、ＰＣモニター、スマートウォッチ、スマートグラスなどに組み込まれる。

本発明のフォトブック・システムは、高齢者が複雑な操作なしにフォトブックのページを開きページ内のアイテムを指先でタッチまたは視線で指定することで、関連するコンテンツをコンテンツ表示装置に表示して、ページを閲覧した時間情報や位置情報や指定した内容を自動的に家族などに通知することで、高齢者のコンテンツに対する関心度合いや健康状態や居場所を自然に確認して効果的なコミュニケーションをとることができる。

遠隔地にいる家族とその高齢者との間で写真などの視覚的なコンテンツや音声メッセージを媒体にしたコミュニケーションが活発になることで、お互いに近況や生活環境が把握できるため利用満足度を高めることができる。

複数のページに印刷或いは貼付したＩＤコードと指先をイメージセンサーで検出して指定した関連コンテンツを表示する、カメラ型見守り機能付きフォトブック・システムの実施方法を示した図面である。 複数のページに印刷或いは貼付したＩＤコードと視線をイメージセンサーで検出して虹彩認証後に指定した関連コンテンツを表示する、カメラ型見守り機能付きフォトブック・システムの実施方法を示した図面である。 複数のページに印刷或いは貼付したＩＤコードと顔をイメージセンサーで検出して顔認証後に性別や年齢および表情に関連したコンテンツを表示する、カメラ型見守り機能付きフォトブック・システムの実施方法を示した図面である。 指先をイメージセンサーで検出して指定した関連コンテンツを表示するフロー図である。 視線をイメージセンサーで検出して虹彩認証後に指定した関連コンテンツを表示するフロー図である。 顔をイメージセンサーで検出して顔認証後に性別や年齢および表情に関連したコンテンツを表示するフロー図である。 アダブターＡの形態を持つイメージセンサー部と音声再生部の外観を表している。 アダブターＡの内部構成を表している。 アダブターＢの形態を持つコンテンツ表示部の内部構成とアダブターＡとアダブターＢをフォトブックに装着した場合のページ裏面の外観を表している。 アダブターＡとアダプターＢをフォトブックに装着した場合のページ表側の外観を表している。

写真などの画像を媒体にした見守り機能を実現するために、フォトブックのページ位置と指先や視線及び顔を検知して指定したページに関連したコンテンツを音声再生装置やコンテンツ表示装置で表示して、同時に遠隔にある情報端末装置にページ検知に関する情報を通知して表示するようにした。

図１−１と２−１の実施例は、遠方にいる高齢者の家族が遠隔にある情報端末装置（４０）を使って、孫の写真などの視覚的なコンテンツデータ（４３）と音声メッセージ（４２）を送信器（４４）から送信する。

コンテンツデータ（４３）は記憶装置（３０）の受信機（３６）で受信され、フォトブック（１０）のコンテンツ（３２）として保存される。

音声メッセージは（４２）はフォトブック（１０）の受信機（２７）で受信され、高齢者はフォトブック（１０）を開けて音声再生（２８）から家族からの音声メッセージ（４２）を聞く。

高齢者はフォトブック（１０）のページを捲り、家族が送信したコンテンツデータ（４３）に関連するページを開くと、現在のページ（１２）に配置してある検索可能なページを識別するＩＤコード（１９）と指先（１７）の指定位置をフォトブック上辺に配置した広角レンズ（２１）付きイメージセンサー（２３）で読み取る。そして、現在のページ（１２）の位置と指先（１７）の指定位置を送信器（２６）から送信される。同時に、ページ検知時の位置情報（１５）と時間情報（１６）とも送信器（２６）から送信される。

現在のページ（１２）の位置と指先（１７）の指定位置は記憶装置（３０）の受信器（３６）で受信された後、その情報を基にコンテンツ指定（３１）されて保存されているコンテンツ（３２）から現在のページ（１２）と指定位置に関連するコンテンツデータ（４３）が選ばれて送信器（３４）から送信される。

ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）システム（２２）により、指先（１７）の指定位置とイメージセンサー（２３）間のＴｏｕｃｈ−Ｏｎ距離計測（８１）を行う。

広角レンズ（２１）を経たページ画像はページ内座標変換（８２）後に正規化されて、Ｔｏｕｃｈ−Ｏｎ距離計測（８１）の結果を元にＴｏｕｃｈ−Ｏｎ位置算出（２５）を行う。

高齢者は家族が送信したコンテンツデータ（４３）を受信器（５３）で受信して処理ユニット（５２）で検索して表示手段（５１）で表示して見る。

ページ検知時の位置情報（１５）と時間情報（１６）は遠隔にある情報端末装置（４０）の受信器（４６）で受信される。そして、遠方にいる家族には表示手段（４８）によってページ検知の位置情報（１５）と時間情報（１６）及びＴｏｕｃｈ−Ｏｎ位置算出（２５）の結果が通知される。

図１−２と図２−２の実施例は、遠方にいる高齢者の家族が遠隔にある情報端末装置（４０）を使って、孫の写真などの視覚的なコンテンツデータ（４３）と音声メッセージ（４２）を送信器（４４）から送信する。

コンテンツデータ（４３）は記憶装置（３０）の受信機（３６）で受信され、フォトブック（１０）のコンテンツ（３２）として保存される。

音声メッセージは（４２）はフォトブック（１０）の受信機（２７）で受信され、高齢者はフォトブック（１０）を開けて音声再生（２８）から家族からの音声メッセージ（４２）を聞く。

高齢者はフォトブック（１０）のページを捲り、家族が送信したコンテンツデータ（４３）に関連するページを開くと、現在のページ（１２）に配置してある検索可能なページを識別するＩＤコード（１９）と視線（１７）の指定位置をフォトブック上辺に配置した広角レンズ（２１）付きイメージセンサー（２３）で読み取る。そして、虹彩認証処理（６３）の完了後に現在のページ（１２）の位置と指先（６１）の指定位置を送信器（２６）から送信される。同時に、ページ検知時の位置情報（１５）と時間情報（１６）とも送信器（２６）から送信される。

現在のページ（１２）の位置と視線（６１）の指定位置は記憶装置（３０）の受信器（３６）で受信された後、その情報を基にコンテンツ指定（３１）されて保存されているコンテンツ（３２）から現在のページ（１２）と指定位置に関連するコンテンツデータ（４３）が選ばれて送信器（３４）から送信される。

ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）システム（２２）により、視線（６１）の瞳位置とイメージセンサー（２３）間のＬｏｏｋ−Ａｔ距離計測（８３）を行う。

視線の画像からＬｏｏｋ−Ａｔ方向情報（８４）と、Ｌｏｏｋ−Ａｔ距離計測（８３）の結果を元にＬｏｏｋ−Ａｔ位置算出（２５）を行う。

高齢者はコンテンツデータ（４３）を受信器（５３）で受信して処理ユニット（５２）で検索して表示手段（５１）で表示して見る。

ページ検知時の位置情報（１５）と時間情報（１６）は遠隔にある情報端末装置（４０）の受信器（４６）で受信される。そして、遠方にいる家族には表示手段（４８）によってページ検知の位置情報（１５）と時間情報（１６）及びＬｏｏｋ−Ａｔ位置算出（２５）の結果が通知される。

図１−３と図２−３の実施例は、遠方にいる高齢者の家族が遠隔にある情報端末装置（４０）を使って、孫の写真などの視覚的なコンテンツデータ（４３）と音声メッセージ（４２）を送信器（４４）から送信する。

コンテンツデータ（４３）は記憶装置（３０）の受信機（３６）で受信され、フォトブック（１０）のコンテンツ（３２）として保存される。

音声メッセージは（４２）はフォトブック（１０）の受信機（２７）で受信され、高齢者はフォトブック（１０）を開けて音声再生（２８）から家族からの音声メッセージ（４２）を聞く。

高齢者はフォトブック（１０）のページを捲り、家族が送信したコンテンツデータ（４３）に関連するページを開くと、現在のページ（１２）に配置してある検索可能なページを識別するＩＤコード（１９）と顔（６２）の固有情報をフォトブック上辺に配置した広角レンズ（２１）付きイメージセンサー（２３）で読み取る。そして、顔認証処理（６４）の完了後に現在のページ（１２）の位置とイメージセンサー（２３）の顔画像を元にした属性表情解析（６６）の結果を送信器（２６）から送信される。同時に、ページ検知時の位置情報（１５）と時間情報（１６）とも送信器（２６）から送信される。

記憶装置（３０）の受信器（３６）で受信された情報を基にコンテンツ指定（３１）を行い保存されているコンテンツ（３２）から現在のページ（１２）と指定位置に関連するコンテンツデータ（４３）が選ばれて送信器（３４）から送信される。

高齢者はコンテンツデータ（４３）を受信器（５３）で受信して処理ユニット（５２）で検索して表示手段（５１）で表示して見る。

ページ検知時の位置情報（１５）と時間情報（１６）は遠隔にある情報端末装置（４０）の受信器（４６）で受信される。そして、遠方にいる家族には表示手段（４８）によってページ検知の位置情報（１５）と時間情報（１６）及び属性表情解析（６６）の結果が通知される。

１０ フォトブック
１２ 現在のページ
１３ａ，１３ｂ テキスト
１４ａ，１４ｂ 写真
１５ 位置情報
１６ 時間情報
１７ ユーザーの指先
１９ａ，１９ｂ ＩＤコード
２０ 音声再生／コンテンツ表示装置
２１ 広角レンズ
２２ ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）システム
２３ イメージセンサー
２４ ＩＤコード解読
２５ Ｔｏｕｃｈ−Ｏｎ位置算出
２６ 送信器
２７ 受信器
２８ 音声再生
３０ 記憶装置
３１ コンテンツ指定
３２ コンテンツ
３４ 送信器
３６ 受信器
４０ 遠隔の情報端末装置
４２ 音声メッセージ
４３ コンテンツデータ
４４ 送信器
４６ 受信器
４８ 表示手段（ページ情報）
５１ コンテンツ表示手段
５２ 処理ユニット
５３ 受信器
６０ ブックカバー
６１ ユーザーの視線
６２ ユーザーの顔
６３ 虹彩認証
６４ 顔認証処理
６５ Ｌｏｏｋ−Ａｔ位置算出
６６ 属性表情解析
７０ アダブターＡ
８０ アダブターＢ
８１ Ｔｏｕｃｈ−Ｏｎ距離計測
８２ ページ内座標変換
８３ Ｌｏｏｋ−Ａｔ距離計測
８４ Ｌｏｏｋ−Ａｔ方向情報

Claims (8)

1. ユーザーがフォトブックのページを捲り、関連するコンテンツを見たり聞いたりすることにより監督者が見守りをすることができるフォトブックにおいて、検知可能な複数のページ（１２）に印刷或いは貼付されたＱＲコードやバーコードなどのＩＤコード（１９）を有し、ＩＤコード（１９）を検知し解読するイメージセンサー（２３）を有するフォトブック（１０）を有し、前記検知可能なページ（１２）内のテキスト（１３）や写真（１４）に関連するコンテンツ（３２）を記憶する通信ネットワーク上の記憶装置（３０）を有し、前記現在のページに関連するコンテンツ（３２）を表示する音声再生／コンテンツ表示装置（２０）を有し、前記フォトブック（１０）は前記現在のページ位置及びユーザーのＴｏｕｃｈ−Ｏｎ位置算出（２５）の結果とページ検知時の位置情報（１５）と時間情報（１６）を送信器（２６）から送信し、前記記憶装置（３０）は受信機（３６）から受信した前記現在のページ位置（１２）とユーザーが指定した前記テキスト（１３）や写真（１４）に関連するコンテンツ（３２）をコンテンツ指定（３１）して送信器（３４）から送信し、前記音声再生／コンテンツ表示装置（２０）は受信器（２７）（５３）から受信した現在のページに関連するコンテンツ（３２）を音声再生（２８）または表示手段（２６）で表示し、監督者が所有する遠隔にある情報端末装置（４０）はページ検知時の位置情報（１５）と時間情報（１６）及びＴｏｕｃｈ−Ｏｎ算出（２５）の結果を受信器（４６）が受信して表示手段（４８）で表示することを特徴とする見守り機能を有したフォトブック・システム。
2. 検知可能なページ（１２）内のテキスト（１３）や写真（１４）をユーザーが指先で指定したことを検出するために、広角レンズ（２１）とＡＦ（ＡｕｔｏＦｏｃｕｓ）システムを有するイメージセンサー（２３）を有し、ユーザーの指先位置をＡＦシステム（２２）によるＴｏｕｃｈ−Ｏｎ距離計測（８１）の結果とイメージセンサー（２３）からのページ画像をページ内座標変換（８２）で正規化した結果を元にＴｏｕｃｈ−Ｏｎ位置算出（２５）することを特徴とする請求項１に記載のフォトブック・システム。
3. 検知可能なページ（１２）内のテキスト（１３）や写真（１４）をユーザーが視線で指定したことを検出するために、広角レンズ（２１）とＡＦ（ＡｕｔｏＦｏｃｕｓ）システムを有するイメージセンサー（２３）を有し、ユーザーの視線位置をＡＦシステム（２２）によるＬｏｏｋ−Ａｔ距離計測（８１）の結果とイメージセンサー（２３）の視線画像を解析したＬｏｏｋ−Ａｔ方向情報（８４）を元にＬｏｏｋ−Ａｔ位置算出（６５）することを特徴とする請求項１に記載のフォトブック・システム。
4. フォトブックを使用するユーザーを識別するために、イメージセンサー（２３）の視線画像を元に虹彩認証処理（６３）を行い、名前やユーザーＩＤを送信器から発信することを特徴とする請求項１に記載のフォトブック・システム。
5. フォトブックを使用するユーザーを識別するために、イメージセンサー（２３）の顔画像を元に顔認証処理（６４）を行い、名前やユーザーＩＤを送信器から発信することを特徴とする請求項１に記載のフォトブック・システム。
6. フォトブックを使用するユーザーの性別や年齢や表情を元に関連するコンテンツ（３２）を表示するために、イメージセンサー（２３）の顔画像を元に属性表情解析（６６）ができることを特徴とする請求項１に記載のフォトブック・システム。
7. 広角レンズ（２１）とイメージセンサー（２３）とＩＤコード解析（２４）とＴｏｕｃｈ−Ｏｎ位置算出（２３）と送信器（２６）と音声再生（２８）と受信器（２７）と位置情報（１５）と時間情報（１６）または虹彩認証（６３）とＬｏｏｋ−Ａｔ位置算出（６５）及び顔認証（６４）と属性表情解析（６６）を構成するモジュールは、一般的なフォトブックに対して着脱可能なアダプター（７０）構造を有し、見守り機能の必要に応じて装着可能であることを特徴とする請求項１に記載のフォトブック・システム。
8. コンテンツ表示手段（５１）と処理ユニット（５２）と受信器（５３）を構成するモジュールは、一般的なフォトブックに対して着脱可能なブックカバー（６０）に内蔵可能なアダプター（８０）構造を有し、見守り機能の必要に応じて装着可能であることを特徴とする請求項１に記載のフォトブック・システム。

Images