JP2010039646A - 契約端末装置、契約管理システム、方法、プログラム、記録媒体 - Google Patents

契約端末装置、契約管理システム、方法、プログラム、記録媒体 Download PDF

Info

Publication number
JP2010039646A
JP2010039646A JP2008200065A JP2008200065A JP2010039646A JP 2010039646 A JP2010039646 A JP 2010039646A JP 2008200065 A JP2008200065 A JP 2008200065A JP 2008200065 A JP2008200065 A JP 2008200065A JP 2010039646 A JP2010039646 A JP 2010039646A
Authority
JP
Japan
Prior art keywords
contract
information
pupil
unit
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008200065A
Other languages
English (en)
Inventor
Nagisa Fuchigami
なぎさ 渕上
Tetsuya Ueda
哲也 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2008200065A priority Critical patent/JP2010039646A/ja
Publication of JP2010039646A publication Critical patent/JP2010039646A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

【課題】本発明の課題は、契約者が契約書を理解したか否かを能率よく調べて、契約確認を管理する装置を提供することである。
【解決手段】表示部と、少なくとも1個の点光源を有するカメラ部と、契約文と、理解不足判定時間と、契約文の説明情報と、を有する記憶部を備えた契約端末装置において、表示部に表示された契約文を注視する眼をカメラ部で撮像して視線認識して、契約文の注視時間を計測して、計測した注視時間と、記憶部の理解不足判定時間と、を比較して、注視時間が理解不足判定時間以上の場合には、記憶部の契約文の説明情報の中から該当する契約文の説明情報を取得し表示することを特徴とする契約端末装置である。
【選択図】図1

Description

本発明は、契約者に契約書の内容を了知させることを管理するシステム、装置、方法、プログラム、記録媒体に関するものである。

本発明は、特に保険契約において、契約者に契約内容の理解を促進させる場合に有用である。
現代社会の多様な要求に応じて、多彩な保険商品が提供されている。
保険商品の内容が複雑であり、保険商品の契約の約款には専門用語が多用されているために、保険会社は、一般人である契約者が契約内容を理解してから契約締結することが重要である。

契約者に保険商品を理解させる方法とその問題点を説明する。
《1.監督指針》
金融庁による保険会社向けの総合的な監督指針は、保険会社が、契約者から重要事項を了知した旨を確認して契約したことを、事後に検証できる態勢にあることを定めている。
そこで、保険会社は、「契約概要」や「注意喚起情報」などを記載した書面を用いて、契約締結前に契約者に説明して、契約者が契約内容の重要事項を了知した旨を確認した記録文書を保存している。
ところで、保険会社は、契約者への説明に当たって、契約者が契約内容を理解して書面を読んだか否か、読み飛ばした部分が無いか否かを把握して、適切な対応を取ることは大切である。しかし、記録文書には、契約者に十分な説明を与えたか否かは不明である。

そこで、表示装置を用いて契約内容を表示させて、契約者にこれを読んでもらい、契約者が重要事項を理解したか否かを調べることは有用な方法である。
特許文献2では、被験者75の眼球の角膜に赤外線パターン像を照射して、角膜反射像をCCDカメラ71で検出することで、被験者75がディスプレイ装置72の画面を注視した位置を測定する視線認識の技術が開示されている。
また、非特許文献1では、視線認識において視線を補正するために、事前調整用マーカを注視する眼球に対して、点光源を有するカメラを用いて眼球からの反射光の像(=プルキニエ像)を撮像して仮想視線を算出することで、実際に注視している視線に補正するキャリブレーションデータを作成する技術が開示されている。
《2.契約書の記載》
約者が加入する保険の契約書には、様々な保障内容が全て掲載されている。
そのため、契約書では多大な情報量を扱わなければならず、内容確認の利便性が以下のように損なわれる。
・多大な情報量を文書化すると、約款の頁数が膨大なものとなってしまう。
・多大な情報量を限られた紙面領域に記載しようとすると、文字の大きさを小さくしなければならず、読み難くなる。
そこで、特許文献1では、音声情報を付与した電子ドキュメントを提供先に提供して、音声ファイルを再生させて契約内容を伝える技術が開示されている。
特開2005−242819号公報(段落0035−段落0042、図2) 特許3453911号公報(段落0008−段落0009、図8) 大野健彦、外2名、「眼球形状モデルに基づく視線測定法」、第8回画像センシングシンポジウム講演論文集、2002、p.307−312
しかしながら、特許文献1の技術では、契約内容を音声ファイルで再生させたときに、再生された専門用語の音読が聞き取り難く、従って、契約内容が理解し難くい。
また、特許文献1の技術では、契約内容を聴覚で音声にて確認して聞き終わる時間が、目視で黙読して確認する時間に比べて、はるかに長い時間を要する。
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、契約者が契約書を理解したか否かを能率よく調べて、契約確認を管理するシステム、装置、方法、プログラム、記録媒体を提供することである。
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第1の発明は、表示部と、少なくとも1個の点光源を有するカメラ部と、を備えた契約端末装置において、
割付領域情報を含む契約文と、未読判定時間と理解不足判定時間を含む判定時間と、契約文の説明情報と、を含む契約データを格納する契約データ格納領域、
を有する記憶部と、
契約データ格納領域から契約文を読み取って、表示部に表示する契約表示手段と、
眼を撮像して眼の画像を作成するカメラ部と、
カメラ部が作成した眼の画像を用いて、視線を認識して、その視線が表示部と交差する注視点の位置情報を計測する視線認識部と、
視線認識部が計測する注視点の位置情報を用いて、契約文の割付領域情報を参照して、同一の割付領域に注視点が存在する時間を注視時間として計測する注視時間計測手段と、
注視時間計測手段によって計測された注視時間の値と、契約データ格納領域の理解不足判定時間とを比較して判定する判定手段と、
判定手段の判定結果が、注視時間の値が理解不足判定時間以上の場合には、契約データ格納領域に格納された契約文の説明情報の中から該当する契約文の説明情報を取得し表示する契約説明表示手段と、
を備えることを特徴とする契約端末装置である。
このように、表示部上の注視点の動きを計測することで、表示部に表示された契約文の読み方を調べることが可能である。
本願発明の第2の発明は、前記判定手段は、さらに、
注視点計測手段によって計測された注視点が、ある契約文から、他の契約文に移動した後に元の契約文に戻ってきたか否かを判定する機能を有し、
前記契約説明表示手段は、
判定手段の判定結果が、他の契約文に移動した後に元の契約文に戻ってきた場合には、契約データ格納領域に格納された契約文の説明情報の中から該当する契約文の説明情報を取得し表示する、
ことを特徴とする請求項1に記載の契約端末装置である。
本願発明の第3の発明は、前記判定手段は、さらに、
この注視時間の値と、契約データ格納領域の未読判定時間とを比較して判定する、
ことを特徴として、
判定手段の判定結果が、注視時間の値が未読判定時間以下の場合には、契約文読み直し指示情報を表示する読み直し指示表示手段、
を備えることを特徴とする請求項1または請求項2に記載の契約端末装置である。
本願発明の第4の発明は、前記記憶部は、さらに、
撮影画像座標系の座標情報をカメラ座標系の座標情報に変換する変換行列と、角膜曲率半径情報と、表示部座標情報と、を含む情報を格納する情報格納領域、
を有して、
前記カメラ部は、
点光源が発した光線が眼球角膜から反射した反射光像(=プルキニエ像)と瞳孔を撮像して、
前記視線認識部は、
カメラ部が撮像した反射光像の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する距離計測手段と、
情報格納領域の変換行列と距離計測手段が計測した距離を、カメラ部が撮像した反射光像に適用して、反射光像の位置を計測して、計測した反射光像の位置と情報格納領域の角膜曲率半径情報を用いて、角膜曲率中心を算出する角膜曲率中心算出手段と、
情報格納領域の変換行列と距離計測手段が計測した距離を、カメラ部が撮像した瞳孔画像に適用して、瞳孔の中心位置を計測する瞳孔中心計測手段と、
情報格納領域の表示部座標情報を用いて、角膜曲率中心算出手段が算出した角膜曲率中心と、瞳孔中心計測手段が計測した瞳孔中心位置と、を通る直線が表示部と交差する注視点の位置情報を計測する注視点計測手段と、
から構成される、
ことを特徴とする請求項1または請求項3に記載の契約端末装置である。
本願発明の第5の発明は、前記角膜曲率中心算出手段は、
カメラ部が撮像した反射光像の座標情報に対して変換行列を適用して、カメラ座標系の反射光像座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の反射光像座標情報を計測し、契約者座標系の反射光像座標情報に角膜曲率半径情報を適用して、角膜曲率中心位置情報を算出する、
前記瞳孔中心計測手段は、
カメラ部が受光した眼球の瞳孔画像を用いて計測した瞳孔座標情報に対して変換行列を適用して、カメラ座標系の瞳孔座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の瞳孔座標情報を算出して、契約者座標系の瞳孔座標情報を用いて、瞳孔中心の位置を計測する、
ことを特徴とする請求項4に記載の契約端末装置である。
本願発明の第6の発明は、表示部と少なくとも1個の点光源を有するカメラ部とを備えた契約端末装置と、契約書管理サーバ装置と、がネットワーク接続された契約管理システムにおいて、
前記契約書管理サーバ装置は、
契約書を構成する契約文を記憶する契約文テーブルと、契約文の未読判定時間と理解不足判定時間とを記憶する判定テーブルと、契約文の説明情報を記憶する説明テーブルと、を含む契約データベースを記憶する記憶部と、
契約端末装置が送信する検索クエリーを受信して、記憶部の契約データベースを検索して、該当する複数の契約文と、その契約文の判定時間と、その契約文の説明情報と、を含む契約データを取得して、返信する契約データ返信手段と、
を備えるサーバ装置であって、
前記契約端末装置は、
割付領域情報を含む契約文と、未読判定時間と理解不足判定時間を含む判定時間と、契約文の説明情報と、を含む契約データを格納する契約データ格納領域、
を有する記憶部と、
少なくとも1件の契約文を検索する検索クエリーを契約データサーバ装置に発行して、該当する契約文と、その契約文の判定時間と、その契約文の説明情報と、を含む契約データを受信して、契約データ格納領域に格納する契約データ取得手段と、
契約データ格納領域から契約文を読み取って、表示部に表示する契約表示手段と、
前記カメラ部が撮像した眼の画像を用いて、視線が表示部と交差する注視点の位置情報を計測する視線認識部と、
視線認識部が計測する注視点の位置情報を用いて、契約文の割付領域情報を参照して、同一の割付領域に注視点が存在する時間を注視時間として計測する注視時間計測手段と、
注視時間計測手段によって計測された注視時間の値と、契約データ格納領域の理解不足判定時間とを比較して判定する判定手段と、
判定手段の判定結果が、注視時間の値が理解不足判定時間以上の場合には、契約データ格納領域に格納された契約文の説明情報の中から該当する契約文の説明情報を取得し表示する契約説明表示手段と、
を備える端末装置である、
ことを特徴とする契約管理システムである。
本願発明の第7の発明は、前記契約端末装置において、
前記判定手段は、さらに、
注視点計測手段によって計測された注視点が、ある契約文から、他の契約文に移動した後に元の契約文に戻ってきたか否かを判定し、
前記契約説明表示手段は、さらに、
判定手段の判定結果が、他の契約文に移動した後に元の契約文に戻ってきた場合には、契約データ格納領域に格納された契約文の説明情報の中から該当する契約文の説明情報を取得し表示する、
ことを特徴とする請求項6に記載の契約管理システムである。
本願発明の第8の発明は、前記契約端末装置において、
前記判定手段は、さらに、
この注視時間の値と、契約データ格納領域の未読判定時間とを比較して判定する、
ことを特徴として、
前記判定手段の判定結果が、注視時間の値が未読判定時間以下の場合には、契約文読み直し指示情報を表示する、
読み直し指示表示手段、
ことを特徴とする請求項6または請求項7に記載の契約管理システムである。
本願発明の第9の発明は、前記記憶部は、さらに、
撮影画像座標系の座標情報をカメラ座標系の座標情報に変換する変換行列と、角膜曲率半径情報と、表示部座標情報と、を含む情報を格納する情報格納領域、
を有して、
前記カメラ部は、
点光源が発した光線が眼球角膜から反射した反射光像(=プルキニエ像)と瞳孔を撮像して、
前記視線認識部は、
前記カメラ部が撮像した反射光像の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する距離計測手段と、
情報格納領域の変換行列と距離計測手段が計測した距離を、カメラ部が撮像した反射光像に適用して、反射光像の位置を計測して、計測した反射光像の位置と情報格納領域の角膜曲率半径情報を用いて、角膜曲率中心を算出する角膜曲率中心算出手段と、
情報格納領域の変換行列と距離計測手段が計測した距離を、カメラ部が撮像した瞳孔画像に適用して、瞳孔の中心位置を計測する瞳孔中心計測手段と、
情報格納領域の表示部座標情報を用いて、角膜曲率中心算出手段が算出した角膜曲率中心と、瞳孔中心計測手段が計測した瞳孔中心位置と、を通る直線が表示部と交差する注視点の位置情報を計測する注視点計測手段と、
から構成される、
ことを特徴とする請求項6に記載の契約管理システムである。
本願発明の第11の発明は、少なくとも1個の点光源が発した光線が眼球角膜から反射した反射光像(=プルキニエ像)と瞳孔を撮像するカメラ部と、
変換行列と、角膜曲率半径情報と、表示部座標情報と、を含む情報と、
割付領域情報と契約文番号情報とを含む契約文を記憶する契約文テーブルと、未読判定時間と理解不足判定時間とを含む判定時間を記憶する判定テーブルと、契約文の説明情報を記憶する説明テーブルと、を含む契約データベースを用いる契約方法であって、
(1)契約端末装置が、複数の契約文を検索する検索クエリーを用いて契約データベースを検索して、該当する複数の契約文と、その契約文の判定時間と、その契約文の説明情報と、を取得して、取得した契約文を表示する契約表示ステップと、
(2)カメラ部が撮像した反射光像位置と瞳孔位置を計測して、以下のステップにて表示部上の注視点の位置を計測する注視点計測ステップと、
(2−1)カメラ部が撮像した反射光像の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する距離計測ステップと、
(2−2)カメラ部が撮像した反射光像の座標情報に対して変換行列を適用して、カメラ座標系の反射光像座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の反射光像座標情報を計測し、契約者座標系の反射光像座標情報に角膜曲率半径情報を適用して、角膜曲率中心位置情報を算出する角膜曲率中心算出ステップと、
(2−3)カメラ部が受光した眼球の瞳孔画像を用いて計測した瞳孔座標情報に対して変換行列を適用して、カメラ座標系の瞳孔座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の瞳孔座標情報を算出して、契約者座標系の瞳孔座標情報を用いて、瞳孔中心の位置を計測する瞳孔中心計測ステップと、
(2−4)表示部座標情報を用いて、算出した角膜曲率中心と、計測した瞳孔中心位置と、を通る直線が表示部と交差する注視点の位置情報を算出する注視点計測ステップと、
(3)契約文の割付領域情報に対して、計測された注視点の位置情報を適用して、以下のステップにて契約文の読み方を調べて、読み方に必要に応じて各種の情報を表示するステップと、
(3−1)計測する注視点の位置情報を用いて、契約文の割付領域情報を参照して、同一の割付領域に注視点が存在する注視時間を計測する注視時間計測ステップと、
(3−2)計測された注視時間が、理解不足判定時間以上の場合には、契約文の説明情報の中から該当する契約文の説明情報を取得し表示する第1の契約説明表示ステップと、
(3−3)注視時間計測手段によって計測された注視時間が未読判定時間以下の場合には、契約文読み直し指示情報を表示する読み直し指示表示ステップと、
(3−4)計測する注視点の位置情報を用いて、契約文の割付領域情報を参照して、注視点がある割付領域から他の割付領域に移動した後に再び元の割付領域に戻ってきた場合には、契約文の説明情報の中から再び元に戻ってきた契約文の説明情報を取得し表示する第2の契約説明表示ステップと、
を含んだ手順でなされることを特徴とする契約管理方法である。
本願発明の第12は、コンピュータに組込むことによって、コンピュータを請求項1から請求項6までのいずれか1項に記載の契約端末装置として動作させるコンピュータプログラムである。
本願発明の第13は、コンピュータに組込むことによって、コンピュータを請求項7から請求項10までのいずれか1項に記載の契約管理システムとして動作させるコンピュータプログラムである。
本願発明の第14は、請求項11または請求項12に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。
本願発明によれば、
(1)契約者が契約書の内容を理解できないと判定したときには、該当する契約文の説明を表示することが可能である。
(2)契約者が契約書の内容を読み飛ばしたと判定したときには、読み飛ばした契約文を読み直すように催促することが可能である。
従って、本発明によれば、契約者に契約内容を確実に理解させることができるという効果がある。
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
図1は、本発明による契約管理システム1の概要を説明する図である。
契約管理システム1は、契約端末装置100と契約書管理サーバ装置700とがネットワーク900に接続されて構成される。
契約端末装置100は、少なくとも1個の点光源を有するカメラ104を備える。
契約端末装置100は、既存のパーソナルコンピュータに、後述する専用プログラムを搭載したものである。
契約書管理サーバ装置700は、既存のデータベース管理プログラムを備えたサーバコンピュータに、後述する専用プログラムを搭載したものである。
なお、契約管理システム1は、さらに、契約端末装置100に表示させた参照端末装置500がネットワークに接続されて構成されてもよい。
図2は契約書確認の大まかな作業の流れを説明する。
《1.契約表示》
契約者は、契約書のデータを契約書管理サーバ装置700から取り寄せて、契約端末装置100に表示させ、これ読んで確認する(図2(1))。
《2.契約内容の理解度判定》
契約端末装置100は、契約者の眼球からの反射光像(=角膜反射像。点光源の角膜反射像をプルキニエ像という)をカメラで受像して、注視点の動きや契約内容を注視している時間を計測する。契約端末装置100は、注視点の位置の遷移や注視時間から、契約者が契約書を理解したか否かを判定する。契約者が契約書を理解していないと判定した場合には、契約書を理解させための補助情報を表示する。契約者は、表示された保持情報を参考にして、契約書を理解する(同(2))。
ここで、まず、図3から図5までを用いて、契約書を説明する。
図3は、契約書191の形式を説明する図である。
契約書191は、名称文字列192と契約文193から構成される。
名称文字列は、章の名称文字列192aや、節の名称文字列192b、条の名称文字列192cなどから構成される。
ここで、章は節を有し、節は条を有し、条は項を有する階層構造を持つ。
項は、契約文193である。
契約文193は、割り付けられた文字列である。
なお、章や節や条が、契約文193を有してもよい。
図4は、契約書191の例である。
契約書191には、章の名称文字列192a「第1章 契約概要」と、節の名称文字列192b「第2節 保険期間」と、条の名称文字列192c「第9条 責任開始期」とが例示されている。
また、第1項の契約文193を割り付けた「1 会社は、つぎの時から保険契約上の責任を負います。 (1)保険契約の申込を承諾した後に第1回の保険料を受け取った場合 第1回保険料を受け取ったとき (2)第1回保険料金を受け取ったとき(告知前に受け取った場合には、告知の時)」などが例示されている。
図5は、契約書191を表示した画面の例である。
図5には、2個の項から構成された条が例示されている。
すなわち、表示画面103には、条の名称文字列192と2個の契約文193が表示されている。
表示された契約の内容として、条の名称文字列192c「第9条 責任開始期」と、第1項の契約文193を割り付けた文字列「1 会社は、つぎの時から保険契約上の責任を負います。 (1)保険契約…」と、第2項の契約文193を割り付けた文字列「2 前項の会社の責任が開始される日を契約日とします。」とが表示されている。
図6は契約文確認処理手順を説明する図である。
《1.契約表示》
契約端末装置100は、契約書を構成する名称文字列192や契約文193を契約書管理サーバ装置700から取得して、名称文字列192や契約文193などを含む契約書を表示する。
(図6(1))。
《2.契約内容の理解度判定》
契約端末装置100は、契約者の注視点の位置を計測して、注視点の動き方を調べ、さらに契約文の注視時間を計測する(同(2−1))。
契約端末装置100は、注視時間を分析した結果、注視時間が長くて注視点がある契約文に滞留している場合には、その契約文が理解不足であると判定する。(詳細は後述する)また、契約端末装置100は、注視時間を分析した結果、注視時間が短くてある契約文を読み飛ばしている場合には、その契約文が未読であると判定する。(詳細は後述する)あるいは、契約端末装置100は、注視点の動き方を分析して、契約文間を目移りしている場合には、その契約文が理解不足であると判定する(同(2−2))。
契約端末装置100は、判定結果が理解不足の場合には、注視点が滞留した契約文193や目移りした契約文193の補足説明情報を表示する。あるいは、判定結果が未読の場合には、未読契約文の読み直し指示を表示する(同(2−3))。
図7は、契約書管理サーバ装置700の詳細な構成図である。
契約書管理サーバ装置700は、CPU701と、ネットワーク通信部704と、記憶部709と専用プログラムとを備える。
CPU701は、中央演算装置である。
ネットワーク通信部704は、LANコネクタである。
記憶部709は、半導体メモリや磁気メモリである。
記憶部709は、契約データベース791と、専用プログラムとを記憶する。
契約データベース791は、契約書を構成する名称文字列192と契約文193を記憶する契約文テーブル791aと、契約文の未読判定時間と理解不足判定時間とを含む判定時間を記憶する判定テーブル791bと、契約文の説明情報(説明情報のファイルへのパスでもよい)を記憶する説明テーブル791cと、を含むデータベースである。
このほかに、契約データ返信手段720を備える。この手段は、それぞれの専用プログラムによって実現され、専用プログラムがCPU701に解釈・実行されることによって機能する。
契約データ返信手段720は、契約端末装置100が送信する検索クエリーを受信して、記憶部709の契約データベース791を検索して、該当する契約文193と、契約文に関連する名称文字列192と、その契約文の判定時間と、契約文の説明情報などを含む契約データを取得して、返信する。
なお、説明テーブル791cにおいて、契約文の説明情報が、説明情報のファイルへのパスで示されている場合には、パスで示された場所から契約文の説明情報を読み取って、契約データに含めればよい。
図8は、契約データベース791の形式を説明する図である。
契約データベース791は、契約文テーブル791aと、判定テーブル791bと、説明テーブル791cと、を含んでから構成される。
契約文テーブル791aは、契約文番号と、保険商品コードと、名称文字列192と、割り付け情報を有する契約文193と、を記憶する。
判定テーブル791bは、契約文番号と、保険商品コードと、契約書ページ番号と、契約文の割付領域の座標情報(割付領域開始座標値、割付領域終了座標値)と、判定時間(契約文の未読判定時間と理解不足判定時間)と、を記憶する。
説明テーブル791cは、契約文番号と、説明情報ファイル(または、説明情報ファイルへのパス)とを記憶する。
ここで、説明情報ファイルとは、HTMLファイルまたは画像(イラスト)ファイルである。また、説明情報ファイルへのパスとは、HTMLファイルまたは画像(イラスト)ファイルの格納場所を特定する情報である。
保険商品名テーブル791dは、保険商品コードと、商品名とを記憶する。
履歴テーブル791eは、契約者IDと、保険商品コードと、契約文番号と、注視時間とを記憶する。
図9は、契約データベース791の例である。
図9の(a)には、契約文テーブル791aが例示されている。
例示されている契約文テーブル791aは、契約文番号が「1−2−9−1」で、保険商品コードが「S7889080」で、名称文字列192が「第9条 責任開始期」で、文字列を割り付けた契約文が「1 会社は、つぎの時から保険契約上の責任を負います。 (1)保険契約の申込を承諾した後に第1回の保険料を受け取った場合 第1回保険料を受け取ったとき (2)第1回保険料金を受け取ったとき(告知前に受け取った場合には、告知の時)」である。
この例の意味は、保険商品コード「S7889080」の契約において、契約文番号「1−2−9−1」の契約文は、第1条第2章第9節第1項の契約文193であって、契約文の内容は「1 会社は、つぎの時から保険契約上の責任を負います。 (1)保険契約の申込を承諾した後に第1回の保険料を受け取った場合 第1回保険料を受け取ったとき (2)第1回保険料金を受け取ったとき(告知前に受け取った場合には、告知の時)」の文字列が割り付けられたものであるということである。
図9の(b)には、判定テーブル791bが例示されている。
例示されている判定テーブル791aは、契約文番号が「1−2−9−1」で、保険商品コードが「S7889080」で、契約書ページ番号が「004」で、未読判定時間が「6」で、理解不足判定時間が「20」で、契約文の割付領域の対角の座標値が、それぞれ(0、20)と(100、100)で、未読判定時間が「6」で、ある。
この例の意味は、保険商品コード「S7889080」の契約書の「004」ページに記載の契約文番号「1−2−9−1」の契約文は、第1条第2章第9節第1項の契約文193で、未読判定時間が「6秒」で、理解不足判定時間が「20秒」で、この契約文がページに割り付けられる領域は、割付領域の対角の座標値(単位:mm)が、それぞれ(0、20)と(100、100)あるということである。
図10は、契約端末装置100の詳細な構成図である。
契約端末装置100は、CPU101と、表示部103と、入力部102と、カメラ部104と、ネットワーク通信部107と、記憶部109と専用プログラムとを備える。
CPU101は、中央演算装置である。
表示部103は、液晶表示装置や有機EL表示装置である。
入力部102は、マウスやキーボードである。
入力部102は、キーボードやマウスや表示部103に表示されたソフトキーボードである。
ネットワーク通信部107は、LANコネクタである。
カメラ部104は、点光源を備えた電子カメラである。
カメラ部104は、点光源が発した光線が眼球角膜から反射した反射光像(=プルキニエ像)と瞳孔を含む眼を撮像する。
記憶部109は、半導体メモリや磁気メモリである。
記憶部109は、契約データ格納領域109aと、情報格納領域109bとを有し、専用プログラムとを記憶する。
契約データ格納領域109aは、契約データを記憶する。
契約データは、契約文193と、名称文字列192と、その契約文の判定時間792bと、その契約文の説明情報792cと、を含むデータである。
契約文193は、契約文の割付領域情報と契約文番号情報194とを含む。
情報格納領域109bは、変換行列195と、角膜曲率半径情報196と、表示部座標情報197と、を含む情報を記憶する。
このほかに、契約表示手段110と、視線認識手段120と、注視時間計測手段180と、判定手段181と、契約説明表示手段182と、読み直し指示表示手段184と、契約データ取得手段170と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがCPU101に解釈・実行されることによって機能する。
契約データ取得手段170は、少なくとも1件の契約文を検索する検索クエリーを契約データサーバ装置700に発行して、該当する契約文193と、その契約文の判定時間と、その契約文の説明情報と、を含む契約データを受信して、契約データ格納領域109aに格納する。
契約表示手段110は、契約データ格納領域109aから契約文193や名称文字列192を読み取って、表示部103に表示する。
視線認識手段120は、カメラ部104が撮像した眼の画像を用いて、視線が表示部103と交差する注視点の位置情報を計測する。
距離計測手段130は、カメラ部104が撮像した反射光像(=プルキニエ像)の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する。
視線認識手段120は、距離計測手段130と、角膜曲率中心算出手段140と、瞳孔中心計測手段150と、注視点計測手段160と、とから構成される。
角膜曲率中心算出手段140は、カメラ部104が撮像した反射光像に対して情報格納領域109bの変換行列と距離計測手段130が計測した距離を適用して、反射光像の位置を計測して、計測した反射光像の位置と情報格納領域109bの角膜曲率半径情報196を用いて、角膜曲率中心を算出する。
瞳孔中心計測手段150は、円形の瞳孔から複数の点座標を計測して、円を形成して、形成した円の中心位置を算出し、算出した円の中心位置を計測する。詳細には、瞳孔中心計測手段150は、カメラ部104が撮像した瞳孔画像に対して、情報格納領域109bの変換行列195と距離計測手段130が計測した距離を適用して、瞳孔の中心位置を計測する。
注視点計測手段160は、角膜曲率中心算出手段140が算出した角膜曲率中心と、瞳孔中心計測手段150が計測した瞳孔中心位置と、を通る直線(=視線)を作成して、情報格納領域109bの表示部座標情報197を用いて、視線が表示部103と交差する注視点の位置情報を計測する。
注視時間計測手段180は、注視点計測手段160が計測する注視点の位置情報を用いて、契約文193の割付領域情報を参照して、注視点の位置情報を含む割付領域情報を取得して、取得した割付領域情報が注視時間の計測を開始したときの割付領域情報と同じ場合には同一の割付領域に注視点が存在していると判断して、注視時間の計測を続ける。(詳細は後述する)
判定手段181は、注視時間計測手段180によって計測された注視時間の値が、契約データ格納領域109aの理解不足判定時間以上であるか否かを判定する。
また、判定手段181は、注視時間計測手段180によって計測された注視時間の値が、契約データ格納領域109aの未読判定時間以下であるか否かを判定する。
また、判定手段181は、注視時間計測手段180が現在注視している契約文が、以前にも注視していた契約文であるか否かを判定する。
判定手段181の判定結果が、注視時間の値が理解不足判定時間以上の場合には、契約説明表示手段182は、契約データ格納領域109aに格納された契約文の説明情報792cの中から、注視した契約文の説明情報を取得し表示する。
判定手段181の判定結果が、注視時間の値が未読判定時間以下の場合には、読み直し指示表示手段184は、注視した契約文の読み直し指示情報を表示する。
判定手段181の判定結果が、他の契約文に移動した後に元の契約文に戻ってきた場合には、契約説明表示手段182は、契約データ格納領域に格納された契約文の説明情報の中から該当する契約文の説明情報を取得し表示する。
図11は、眼球のプルキニエ像と視線との位置関係を説明する図である。
カメラ104は、点光源を有する。
カメラ104の点光源が発する光線793は、眼球の表面にプルキニエ像793aを形成する。
カメラ104の点光源とプルキニエ像793aとを結ぶ直線(=光線793)の延長線上に、角膜曲率中心901bが存在する。
眼球901は、瞳孔を有する。
瞳孔の輪郭は円形であるので、瞳孔上の複数の点座標を計測して、円の形状を求めて瞳孔中心901aを算出することが出来る。
角膜曲率中心901bと瞳孔中心901aとを通る直線は、視線811である。
視線811の延長線上に、表示部103が存在する。
視線811と表示部103の交点が、注視点801aである。
図12は、注視時間の計測を説明する図である。
注視時間の計測は、注視点の軌跡801を用いる。
図12には、契約文Aと契約文Bを表示した表示部103と表示部103上の注視点の軌跡801が示されている。
《1.契約文Aの注視》
契約文Aの割付領域793aにおける注視点の軌跡801は、注視点A801a1から始まり、注視点B801a2で終了している。
このとき、契約文Aの注視時間の計測は、注視点A801a1にて計測が開始されて、注視点B801a2にて計測が終了される。
《2.契約文Bの注視》
同様に、契約文Bの割付領域793bにおける注視点の軌跡801は、注視点C801a3から始まり、注視点D801a4で終了している。
このとき、契約文Bの注視時間の計測は、注視点注視C801a3にて計測が開始されて、注視点D801a4にて計測が終了される。
図13は、注視点が契約文の上を滞っている例である。
図13には、画面に表示されている契約文の割付領域793aと、契約者の注視点801と、契約文の説明情報795が示されている。
契約者の注視点801は契約文の割付領域793aの中を動いている。
契約文の割付領域193aの中を動いている時間(=注視時間)が、理解不足判定時間を越えたので、契約データ格納領域に格納される契約文の説明情報795を取得して、表示する。
図14は、注視点が契約文を読み飛ばしている例である。
図14には、画面に表示されている契約文193と、契約者の注視点801と、契約文読み直し指示情報794とが示されている。
契約者の注視点801は、第1項の契約文の割付領域193aから、第4項の契約文の割付領域193dまでを動いている。
契約者の注視点801が第2項の契約文の割付領域193bの中を動いている時間(=注視時間)が、未読判定時間より短いので、契約文読み直し指示情報794を表示する。
図15は、注視している契約文を特定する処理手順を説明する図である。
契約表示手段110は、契約データ格納領域109aから読み取った契約文193の文字列を割り付けて、割り付けられた文字列(=割付座標系)を投影変換して、スクリーン座標系の割付領域793aに割り付けて、表示部103に表示する(図15(1))。
注視点計測手段160は、視線が表示部103と交差する注視点の位置情報を計測する。表示部103上の注視点の位置情報(=スクリーン座標系)を計測する(同(2))。
契約説明表示手段182あるいは読み直し指示表示手段184は、計測する注視点の位置情報(=スクリーン座標系)を、投影変換して、割付座標系の注視点位置情報を求める(同(3))。
次に、契約説明表示手段182あるいは読み直し指示表示手段184は、割付座標系の注視点位置情報を用いて、契約文の割付領域情報を参照して、この注視点位置情報が含まれる割付領域情報を有する契約文を特定する(同(4))。
なお、投影変換は、倍率変換と並行移動変換を行なうアフィン変換である。
ここで、図16から図19を用いて、注視点の計測について図解する。
図16は、契約者座標系とカメラ座標系と撮影画像座標系を説明する図である。
契約者座標系は、眼球901と表示部103の座標を定義する3次元空間である。
カメラ座標系は、眼球901を撮影するカメラ104の位置を原点とする3次元空間である。
撮影画像座標系は、カメラ104が撮影した眼球901の画像を投影表示する2次元平面である。
カメラ座標系と撮影画像座標系との座標変換関係は、2次元座標と3次元座標の変換である。撮影画像座標系の座標情報をカメラ座標系の座標情報に変換する変換行列「T」は、カメラキャリブレーショにより、予め定義されている。(詳細は後述する)
契約者座標系とカメラ座標系との座標変換関係は、眼球とカメラの距離を平行移動する変換である。カメラ座標系の座標情報を契約者座標系の座標情報に平行移動する平行移動行列「M」は、カメラ104と眼球901の距離を用いて算出することができる。(詳細は後述する)
図17は、変換行列195「T」を説明する図である。
変換行列195は、カメラキャリブレーションにより算出した行列である。ここで、カメラキャリブレーションとは、カメラによる三次元測量を可能にするために、撮影画像座標系(2次元)(=カメラによる撮影画像の表示面)からカメラ座標系(3次元)への座標値変換の関係を求めることである。
図17の(a)は、変換行列195「T」の形式を説明する図である。
「T」195は、座標変換行列である。
座標変換行列「T」195は、変換行列要素「Tij」から構成される4行1列の行列である。
図17の(b)は、変換行列を用いて座標変換する関係式「式1」の説明図である。
関係式「式1」は、撮影画像(=撮影画像座標系)の座標値をカメラ座標系の座標値に変換する関係式である。関係式「式1」は、変換行列「T」195と、座標行列「hXp、hYp、h、1」397と、座標行列「Xc、Yc、Zc、1」396と、から構成される。
ここで、変換行列「T」195は、撮影画像座標系の座標値(Xp、Yp)を、カメラ座標系の座標値(Xc、Yc、Zc)に変換する行列である。
座標行列「hXp、hYp、h、1」397は、撮影画像上の座標値(Xp、Yp)を含む4行1列の行列である。なお、撮影画像上の座標値(Xp、Yp)は、撮影画像座標系の2次元座標(=X座標、Y座標)である。「h」は、撮影画像とカメラの距離を変数とする値である。
カメラ座標系の座標行列「Xc、Yc、Zc、1」396は、カメラ座標系の座標値(Xc、Yc、Zc)を含む4行1列の行列である。なお、座標値(Xc、Yc、Zc)は、カメラ座標系の3次元座標(=X座標、Y座標、Z座標)である。
図18は、平行移動行列「M」を用いて座標変換する関係式「式2」の説明図である。
関係式「式2」は、契約者座標系の座標値をカメラ座標系の座標値に変換する関係式である。
関係式「式2」は、平行移動行列「M」197と、カメラ座標系の座標行列396と、契約者座標系の座標行列398と、から構成される。
平行移動行列「M」197は、契約者座標系の座標値(Xm、Ym、Zm)をカメラ座標系の座標値(Xc、Yc、Zc)に変換する行列である。
平行移動行列「M」197は、平行移動成分行列「M3X1」397bと、を含む4行4列の行列である。
平行移動成分行列M3X1は、3行1列の平行移動成分要素Tjを含む4行1列の行列である。(i,j=1、2、3)
カメラ座標系の座標行列396は、カメラ座標系の座標値(Xc、Yc、Zc)を含む「Xc、Yc、Zc、1」を要素とする4行1列の行列である。
契約者座標系の座標行列398は、契約者座標系の座標値(Xm、Ym、Zm)を含む「Xm、Ym、Zm、1」を要素とする4行1列の行列である。
図19は、視線を算出する処理の手順を説明する図である。なお、視線の算出方法は、たとえば、非特許文献1(p.6−7)に詳細が記載されている。
《1.角膜曲率中心の算出》
距離計測手段130は、カメラ部が受光した眼球からの反射光の像793a(=プルキニエ像)の焦点が最も合ったときのフォーカス値を用いて、カメラ104とプルキニエ像793aの距離を計測して、平行移動行列「M」を作成する(図19(1))。
次に、角膜曲率中心算出手段140は、以下の手順により、プルキニエ像の位置情報「uw」を計測する。
まず、角膜曲率中心算出手段140は、カメラ部が撮像した目901の撮影画像のプルキニエ像793aの位置情報「pi」を、変換行列195「T」でカメラ座標系のプルキニエ像の位置情報「pc」に変換する。
なお、プルキニエ像の位置情報「pc」の算出式は、「pc=pi×T」である(同(2))。
次に、角膜曲率中心算出手段140は、カメラ座標系のプルキニエ像の位置情報に、距離計測手段が計測した距離情報「d」を適用した平行移動行列「M」を用いて、光線方向に平行移動して、契約者座標系のプルキニエ像の位置情報「uw」を計測する。
なお、プルキニエ像の位置情報「uw」の計測式は、「uw= pc×M」である(同(3))。
角膜曲率中心算出手段140は、プルキニエ像の位置情報「uw」に角膜曲率半径情報「C」を適用して、角膜曲率中心位置情報「cw」を算出する。
なお、角膜曲率中心位置情報「cw」の算出式は、「cw = uw + C×uw/‖uw‖」である。ここで、Cは、角膜曲率半径値であって、‖uw‖は、uwのノルムである(同(4))。
《2.瞳孔中心の算出》
瞳孔中心計測手段150は、以下の手順により、瞳孔中心901aの位置を計測する。
瞳孔中心計測手段150は、カメラ部が撮像した目901の撮影画像の瞳孔の複数の円周点位置情報を用いて、瞳孔中心901aの位置情報「qi」を算出して、変換行列195「T」でカメラ座標系の瞳孔中心の位置情報「qc」に変換する。なお、カメラ座標系の瞳孔中心の位置情報「qc」の変換式は、「qc=qi×T」である。
次に、瞳孔中心計測手段150は、カメラ座標系の瞳孔中心の位置情報に、平行移動行列「M」を用いて、光線方向に平行移動して、契約者座標系の瞳孔中心の位置情報「cw」を計測する。なお、契約者座標系の瞳孔中心の位置情報「qw」の計測式は、「qw=qc×M」である(同5)。
《3.注視点の計測》
注視点計測手段180は、算出した角膜曲率中心「cw」と計測された瞳孔の中心位置「qw」とを通る直線を作成して、表示部103と交差する位置を注視点の位置として計測する(同(6))。
図20は、理解不足判定時間と未読判定時間を用いた場合の契約確認のフローチャートである。
(1)以下のステップで、計測を開始するときに注視する契約文を特定する。(ステップS110)
(1−1)距離計測手段130は、カメラ部104が撮像した反射光像の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する。
(1−2)角膜曲率中心算出手段140は、カメラ部104が撮像した反射光像に対して情報格納領域109bの変換行列と距離計測手段130が計測した距離を適用して、反射光像の位置を計測して、計測した反射光像の位置と情報格納領域109bの角膜曲率半径情報196を用いて、角膜曲率中心を算出する。
(1−3)瞳孔中心計測手段150は、カメラ部104が撮像した瞳孔画像に対して、情報格納領域109bの変換行列195と距離計測手段130が計測した距離を適用して、瞳孔の中心位置を計測する。
(1−4)注視点計測手段160は、角膜曲率中心算出手段140が算出した角膜曲率中心と、瞳孔中心計測手段150が計測した瞳孔中心位置と、を通る直線を作成して、情報格納領域109bの表示部座標情報197を用いて、作成した直線が表示部103と交差する注視点の位置情報を計測する。
(1−5)注視時間計測手段180は、注視点計測手段160が計測する注視点の位置情報を用いて、契約文193の割付領域情報を参照して、注視点の位置情報を含む割付領域情報を取得して、この割付領域情報を有する契約文(=計測を開始するときに注視する契約文)を特定する。
(2)注視時間計測手段180は、注視している契約文の注視時間の計測を開始する(ステップS120)。
(3)以下のステップで注視した契約文を特定する。(ステップS130)
(3−1)距離計測手段130は、カメラ部104が撮像した反射光像の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する。
(3−2)角膜曲率中心算出手段140は、カメラ部104が撮像した反射光像に対して情報格納領域109bの変換行列と距離計測手段130が計測した距離を適用して、反射光像の位置を計測して、計測した反射光像の位置と情報格納領域109bの角膜曲率半径情報196を用いて、角膜曲率中心を算出する。
(3−3)瞳孔中心計測手段150は、カメラ部104が撮像した瞳孔画像に対して、情報格納領域109bの変換行列195と距離計測手段130が計測した距離を適用して、瞳孔の中心位置を計測する。
(3−4)注視点計測手段160は、角膜曲率中心算出手段140が算出した角膜曲率中心と、瞳孔中心計測手段150が計測した瞳孔中心位置と、を通る直線を作成して、情報格納領域109bの表示部座標情報197を用いて、作成した直線が表示部103と交差する注視点の位置情報を計測する。
(3−5)注視時間計測手段180は、注視点計測手段160が計測する注視点の位置情報を用いて、契約文193の割付領域情報を参照して、注視点の位置情報を含む割付領域情報を取得して、この割付領域情報を有する契約文(=現在注視している契約文)を特定する。
(4)注視時間計測手段180は、同一の契約文を注視している時間を計測して注視時間を算出する。(ステップS140)。
(5)現在注視している契約文と、計測を開始するときに注視する契約文とを比較して、両者が同一か否かを判定する。
両者が同一の場合には、ステップS160に進む。
両者が同一のでない場合には、ステップS170に進む。(ステップS150)
(6)判定手段181は、注視時間計測手段180によって算出された注視時間が、契約データ格納領域109aの理解不足判定時間以上であるか否かを判定する。
理解不足判定時間以上でないと判定された場合には、ステップS140に戻る。
理解不足判定時間以上であると判定された場合には、ステップS211に進む。(ステップS160)
(7)判定手段181は、注視時間計測手段180が現在注視している契約文が、以前にも注視していた契約文であるか否かを判定する。
以前にも注視していた契約文であるときには、契約文の理解不足と判定する。ステップS211に進む。
以前に読まれことが無いときには、ステップS180に進む。(ステップS170)
(8)判定手段181は、注視時間計測手段180が計測した注視時間と、契約データ格納領域109aが格納する未読判定時間と、を比較して、注視時間が未読判定時間より短いか否かを判定する。
短い場合には、契約文の未読と判定する。ステップS201に進む。
短くない場合には、ステップS190に進む。(ステップS180)
(9)判定手段181は、計測中の注視時間をゼロにする。ステップS110に戻る。(ステップS190)
(10)判定手段181は、計測した注視時間をゼロにする。(ステップS201)
(11)読み直し指示表示手段184は、契約文読み直し指示情報を表示する。(ステップS202)
(12)表示された契約文読み直し指示情報が画面から消去されたか否かを判定する。
消去された場合には、ステップS110に戻る。
消去されない場合には、ステップS202に戻る。(ステップS203)
(13)判定手段181は、計測した注視時間をゼロにする。(ステップS211)
(14)契約説明表示手段182は、契約データ格納領域109aに格納された契約文の説明情報792cの中から該当する契約文の説明情報を取得し表示する。(ステップS212)
(15)表示された契約文の説明情報が画面から消去されたか否かを判定する。
消去された場合には、ステップS110に戻る。
消去されない場合には、ステップS212に戻る。(ステップS213)
なお、カメラ部104が備える光源を複数にして、複数の点光源が形成する反射光像(プルキニエ像)を用いて視線認識してもよい。
(実施例1)
契約端末装置100の視線認識手段120を視線認識装置300として独立させたシステムを説明する。
図21は、本発明による視線認識装置300を具備した契約管理システム2の全体構成図である。
視線認識装置300を具備した契約管理システム2は、視線認識装置300を接続する契約端末装置200と、契約書管理サーバ装置700と、がネットワーク900に接続されて構成される。
視線認識装置300は、少なくとも1個の点光源を有するカメラ304を備える。
視線認識装置300は、既存のパーソナルコンピュータに、後述する専用プログラムを搭載したものである。
契約端末装置200のハードウエア構成は、図1の契約端末装置100のハードウエア構成からカメラ104を除いた装置である。
契約書管理サーバ装置700の構成は、図1の契約書管理サーバ装置700の構成と同じである。
図22は、契約端末装置200の詳細な構成図である。
契約端末装置200のハードウエア構成は、図1の契約端末装置100のハードウエア構成からカメラ104を除いたものである。
記憶部209は、契約データ格納領域209aと、情報格納領域209bとを有し、専用プログラムとを記憶する。
情報格納領域209bは、変換行列195と、注視点情報391と、を含む情報を記憶する。
契約データ格納領域209aは、契約端末装置100の契約データ格納領域109aと同じデータを格納する。
このほかに契約表示手段210と、注視時間計測手段280と、判定手段281と、契約説明表示手段282と、読み直し指示表示手段284と、契約データ取得手段270と、注視点情報受信手段260と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムが契約端末装置200のCPU201に解釈・実行されることによって機能する。
注視点情報受信手段260は、視線認識装置300が送信する注視点情報を受信して、情報格納領域109bに格納する。
契約表示手段210と、注視時間計測手段280と、判定手段281と、契約説明表示手段282と、読み直し指示表示手段284と、契約データ取得手段270と、は、契約端末装置100の契約表示手段110と、視線認識手段120と、注視時間計測手段180と、判定手段181と、契約説明表示手段182と、読み直し指示表示手段184と、契約データ取得手段170と、それぞれ同じ機能である。
図23は、視線認識装置300の詳細な構成図である。
視線認識装置300は、CPU301と、カメラ部304と、ネットワーク通信部307と、記憶部309とを備える。
記憶部309は、半導体メモリや磁気メモリである。
記憶部309は、情報格納領域309aを有し、専用プログラムを記憶する。
情報格納領域309aは、角膜曲率半径情報196と、表示部座標情報197と、を含む情報を記憶する。
このほかに、視線認識手段320と、注視点情報受信手段370と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがCPU101に解釈・実行されることによって機能する。
視線認識手段320は、カメラ部304が撮像した眼の画像を用いて、視線が表示部103と交差する注視点の位置情報を計測する。
視線認識手段320は、距離計測手段330と、角膜曲率中心算出手段340と、瞳孔中心計測手段350と、注視点計測手段360と、とから構成される。
距離計測手段330は、カメラ部304が撮像した反射光像(=プルキニエ像)の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する。
角膜曲率中心算出手段340は、カメラ部304が撮像した反射光像に対して情報格納領域309aの変換行列と距離計測手段330が計測した距離を適用して、反射光像の位置を計測して、計測した反射光像の位置と情報格納領域309aの角膜曲率半径情報196を用いて、角膜曲率中心を算出する。
瞳孔中心計測手段350は、円形の瞳孔から複数の点座標を計測して、円を形成して、形成した円の中心位置を算出し、算出した円の中心位置を計測する。詳細には、瞳孔中心計測手段350は、カメラ部304が撮像した瞳孔画像に対して、情報格納領域309aの変換行列195と距離計測手段330が計測した距離を適用して、瞳孔の中心位置を計測する。
注視点計測手段360は、角膜曲率中心算出手段340が算出した角膜曲率中心と、瞳孔中心計測手段350が計測した瞳孔中心位置と、を通る直線(=視線)を作成して、情報格納領域309aの表示部座標情報197を用いて、視線が表示部103と交差する注視点の位置情報を計測する。
以上、瞳孔像と角膜の反射光像(プルキニエ像)を測定して視線方向を認識する技術による実施形態を説明したが、以下のような視線認識技術を用いてもよい。
・虹彩の輪郭を測定して、楕円形状に当てはめて楕円の長軸と短軸の傾きから視線方向を算出して視線を認識する技術
・ステレオカメラを用いて顔を測定して、顔の向きを検出して視線方向を算出して視線を認識する技術
・虹彩と瞳孔を測定して、両者の反射率の違いから区別して検出して視線方向を算出して視線を認識する技術
・虹彩と瞳孔とプルキニエ像の測定を組み合わせて視線方向を算出して視線を認識する技術
など。
契約管理システム1の全体構成 契約書確認処理を説明する図 契約書の構成 契約書の例 契約書の表示 契約文確認処理を説明する図 契約データベース管理装置700の詳細な構成図 契約データベース791の形式 契約データベースの例 契約確認端末装置100の詳細な構成図 契約者の眼球と視線 注視時間の計測を説明する図 注視点が契約文の上を滞っている例 注視点が契約文を読み飛ばしている例 注目している契約文を特定する処理手順を説明する図 各座標系の関係 座標変換行列 平行移動行列 視線を算出する処理手順 契約確認のフローチャート 視線認識装置300を具備した契約管理システム2の全体構成図 契約端末装置200の詳細な構成図 視線認識装置300の詳細な構成図
符号の説明
1 契約管理システム
2 視線認識装置300を具備した契約管理システム
100 契約端末装置
103 表示部
104 点光源を有するカメラ
109a 契約データ格納領域
170 契約データ取得手段
110 契約表示手段
120 視線認識手段
130 距離計測手段
140 角膜曲率中心算出手段
150 瞳孔中心計測手段
160 注視点計測手段
170 契約データ取得手段
180 注視時間計測手段
181 判定手段
182 契約説明表示手段
184 読み直し指示表示手段
191 契約書
192 名称文字列
193 契約文
194 契約文番号
196 角膜曲率半径情報
197 表示部座標情報
200 契約端末装置
210 契約表示手段
270 契約データ取得手段
280 注視時間計測手段
281 判定手段
282 契約説明表示手段
284 読み直し指示表示手段
260 注視点情報受信手段
300 視線認識装置
320 視線認識手段
330 距離計測手段
340 角膜曲率中心算出手段
350 瞳孔中心計測手段
360 注視点計測手段
370 注視点情報受信手段
391 注視点情報
500 参照端末装置
700 契約書管理サーバ装置
720 契約データ返信手段
791 契約データベース
791a 契約文テーブル
791b 判定テーブル
791c 説明テーブル
801 注視点の軌跡
801a 注視点
811 視線
901 眼球
901a 瞳孔中心
901b 角膜曲率中心


Claims (14)

  1. 表示部と、少なくとも1個の点光源を有するカメラ部と、を備えた契約端末装置において、
    割付領域情報を含む契約文と、未読判定時間と理解不足判定時間を含む判定時間と、契約文の説明情報と、を含む契約データを格納する契約データ格納領域、
    を有する記憶部と、
    契約データ格納領域から契約文を読み取って、表示部に表示する契約表示手段と、
    眼を撮像して眼の画像を作成するカメラ部と、
    カメラ部が作成した眼の画像を用いて、視線を認識して、その視線が表示部と交差する注視点の位置情報を計測する視線認識部と、
    視線認識部が計測する注視点の位置情報を用いて、契約文の割付領域情報を参照して、同一の割付領域に注視点が存在する時間を注視時間として計測する注視時間計測手段と、
    注視時間計測手段によって計測された注視時間の値と、契約データ格納領域の理解不足判定時間とを比較して判定する判定手段と、
    判定手段の判定結果が、注視時間の値が理解不足判定時間以上の場合には、契約データ格納領域に格納された契約文の説明情報の中から該当する契約文の説明情報を取得し表示する契約説明表示手段と、
    を備えることを特徴とする契約端末装置。
  2. 前記判定手段は、さらに、
    注視点計測手段によって計測された注視点が、ある契約文から、他の契約文に移動した後に元の契約文に戻ってきたか否かを判定する機能を有し、
    前記契約説明表示手段は、
    判定手段の判定結果が、他の契約文に移動した後に元の契約文に戻ってきた場合には、契約データ格納領域に格納された契約文の説明情報の中から該当する契約文の説明情報を取得し表示する、
    ことを特徴とする請求項1に記載の契約端末装置。
  3. 前記判定手段は、さらに、
    この注視時間の値と、契約データ格納領域の未読判定時間とを比較して判定する、
    ことを特徴として、
    前記判定手段の判定結果が、注視時間の値が未読判定時間以下の場合には、契約文読み直し指示情報を表示する読み直し指示表示手段、
    を備えることを特徴とする請求項1または請求項2に記載の契約端末装置。
  4. 前記記憶部は、さらに、
    撮影画像座標系の座標情報をカメラ座標系の座標情報に変換する変換行列と、角膜曲率半径情報と、表示部座標情報と、を含む情報を格納する情報格納領域、
    を有して、
    前記カメラ部は、
    点光源が発した光線が眼球角膜から反射した反射光像(=プルキニエ像)と瞳孔を撮像して、
    前記視線認識部は、
    カメラ部が撮像した反射光像の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する距離計測手段と、
    情報格納領域の変換行列と距離計測手段が計測した距離を、カメラ部が撮像した反射光像に適用して、反射光像の位置を計測して、計測した反射光像の位置と情報格納領域の角膜曲率半径情報を用いて、角膜曲率中心を算出する角膜曲率中心算出手段と、
    情報格納領域の変換行列と距離計測手段が計測した距離を、カメラ部が撮像した瞳孔画像に適用して、瞳孔の中心位置を計測する瞳孔中心計測手段と、
    情報格納領域の表示部座標情報を用いて、角膜曲率中心算出手段が算出した角膜曲率中心と、瞳孔中心計測手段が計測した瞳孔中心位置と、を通る直線が表示部と交差する注視点の位置情報を計測する注視点計測手段と、
    から構成される、
    ことを特徴とする請求項1または請求項3に記載の契約端末装置。
  5. 前記角膜曲率中心算出手段は、
    カメラ部が撮像した反射光像の座標情報に対して変換行列を適用して、カメラ座標系の反射光像座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の反射光像座標情報を計測し、契約者座標系の反射光像座標情報に角膜曲率半径情報を適用して、角膜曲率中心位置情報を算出する、
    前記瞳孔中心計測手段は、
    カメラ部が受光した眼球の瞳孔画像を用いて計測した瞳孔座標情報に対して変換行列を適用して、カメラ座標系の瞳孔座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の瞳孔座標情報を算出して、契約者座標系の瞳孔座標情報を用いて、瞳孔中心の位置を計測する、
    ことを特徴とする請求項4に記載の契約端末装置。
  6. 表示部と少なくとも1個の点光源を有するカメラ部とを備えた契約端末装置と、契約書管理サーバ装置と、がネットワーク接続された契約管理システムにおいて、
    前記契約書管理サーバ装置は、
    契約書を構成する契約文を記憶する契約文テーブルと、契約文の未読判定時間と理解不足判定時間とを記憶する判定テーブルと、契約文の説明情報を記憶する説明テーブルと、を含む契約データベースを記憶する記憶部と、
    契約端末装置が送信する検索クエリーを受信して、記憶部の契約データベースを検索して、該当する複数の契約文と、その契約文の判定時間と、その契約文の説明情報と、を含む契約データを取得して、返信する契約データ返信手段と、
    を備えるサーバ装置であって、
    前記契約端末装置は、
    割付領域情報を含む契約文と、未読判定時間と理解不足判定時間を含む判定時間と、契約文の説明情報と、を含む契約データを格納する契約データ格納領域、
    を有する記憶部と、
    少なくとも1件の契約文を検索する検索クエリーを契約データサーバ装置に発行して、該当する契約文と、その契約文の判定時間と、その契約文の説明情報と、を含む契約データを受信して、契約データ格納領域に格納する契約データ取得手段と、
    契約データ格納領域から契約文を読み取って、表示部に表示する契約表示手段と、
    前記カメラ部が撮像した眼の画像を用いて、視線が表示部と交差する注視点の位置情報を計測する視線認識部と、
    視線認識部が計測する注視点の位置情報を用いて、契約文の割付領域情報を参照して、同一の割付領域に注視点が存在する時間を注視時間として計測する注視時間計測手段と、
    注視時間計測手段によって計測された注視時間の値と、契約データ格納領域の理解不足判定時間とを比較して判定する判定手段と、
    判定手段の判定結果が、注視時間の値が理解不足判定時間以上の場合には、契約データ格納領域に格納された契約文の説明情報の中から該当する契約文の説明情報を取得し表示する契約説明表示手段と、
    を備える端末装置である、
    ことを特徴とする契約管理システム。
  7. 前記契約端末装置において、
    前記判定手段は、さらに、
    注視点計測手段によって計測された注視点が、ある契約文から、他の契約文に移動した後に元の契約文に戻ってきたか否かを判定し、
    前記契約説明表示手段は、さらに、
    判定手段の判定結果が、他の契約文に移動した後に元の契約文に戻ってきた場合には、契約データ格納領域に格納された契約文の説明情報の中から該当する契約文の説明情報を取得し表示する、
    ことを特徴とする請求項6に記載の契約管理システム。
  8. 前記契約端末装置において、
    前記判定手段は、さらに、
    この注視時間の値と、契約データ格納領域の未読判定時間とを比較して判定する、
    ことを特徴として、
    前記判定手段の判定結果が、注視時間の値が未読判定時間以下の場合には、契約文読み直し指示情報を表示する、
    読み直し指示表示手段、
    ことを特徴とする請求項6または請求項7に記載の契約管理システム。
  9. 前記記憶部は、さらに、
    撮影画像座標系の座標情報をカメラ座標系の座標情報に変換する変換行列と、角膜曲率半径情報と、表示部座標情報と、を含む情報を格納する情報格納領域、
    を有して、
    前記カメラ部は、
    点光源が発した光線が眼球角膜から反射した反射光像(=プルキニエ像)と瞳孔を撮像して、
    前記視線認識部は、
    カメラ部が撮像した反射光像の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する距離計測手段と、
    情報格納領域の変換行列と距離計測手段が計測した距離を、カメラ部が撮像した反射光像に適用して、反射光像の位置を計測して、計測した反射光像の位置と情報格納領域の角膜曲率半径情報を用いて、角膜曲率中心を算出する角膜曲率中心算出手段と、
    情報格納領域の変換行列と距離計測手段が計測した距離を、カメラ部が撮像した瞳孔画像に適用して、瞳孔の中心位置を計測する瞳孔中心計測手段と、
    情報格納領域の表示部座標情報を用いて、角膜曲率中心算出手段が算出した角膜曲率中心と、瞳孔中心計測手段が計測した瞳孔中心位置と、を通る直線が表示部と交差する注視点の位置情報を計測する注視点計測手段と、
    から構成される、
    ことを特徴とする請求項6に記載の契約管理システム。
  10. 前記角膜曲率中心算出手段は、
    カメラ部が撮像した反射光像の座標情報に対して変換行列を適用して、カメラ座標系の反射光像座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の反射光像座標情報を計測し、契約者座標系の反射光像座標情報に角膜曲率半径情報を適用して、角膜曲率中心位置情報を算出する、
    前記瞳孔中心計測手段は、
    カメラ部が受光した眼球の瞳孔画像を用いて計測した瞳孔座標情報に対して変換行列を適用して、カメラ座標系の瞳孔座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の瞳孔座標情報を算出して、契約者座標系の瞳孔座標情報を用いて、瞳孔中心の位置を計測する、
    ことを特徴とする請求項9に記載の契約管理システム。
  11. 少なくとも1個の点光源が発した光線が眼球角膜から反射した反射光像(=プルキニエ像)と瞳孔を撮像するカメラ部と、
    変換行列と、角膜曲率半径情報と、表示部座標情報と、を含む情報と、
    割付領域情報と契約文番号情報とを含む契約文を記憶する契約文テーブルと、未読判定時間と理解不足判定時間とを含む判定時間を記憶する判定テーブルと、契約文の説明情報を記憶する説明テーブルと、を含む契約データベースを用いる契約方法であって、
    (1)契約端末装置が、複数の契約文を検索する検索クエリーを用いて契約データベースを検索して、該当する複数の契約文と、その契約文の判定時間と、その契約文の説明情報と、を取得して、取得した契約文を表示する契約表示ステップと、
    (2)カメラ部が撮像した反射光像位置と瞳孔位置を計測して、以下のステップにて表示部上の注視点の位置を計測する注視点計測ステップと、
    (2−1)カメラ部が撮像した反射光像の焦点が最も合ったときのフォーカス値を用いて、カメラと反射光像の距離を計測する距離計測ステップと、
    (2−2)カメラ部が撮像した反射光像の座標情報に対して変換行列を適用して、カメラ座標系の反射光像座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の反射光像座標情報を計測し、契約者座標系の反射光像座標情報に角膜曲率半径情報を適用して、角膜曲率中心位置情報を算出する角膜曲率中心算出ステップと、
    (2−3)カメラ部が受光した眼球の瞳孔画像を用いて計測した瞳孔座標情報に対して変換行列を適用して、カメラ座標系の瞳孔座標情報を算出して、これに対して距離計測手段が計測した距離情報を適用して平行移動させて、契約者座標系の瞳孔座標情報を算出して、契約者座標系の瞳孔座標情報を用いて、瞳孔中心の位置を計測する瞳孔中心計測ステップと、
    (2−4)表示部座標情報を用いて、算出した角膜曲率中心と、計測した瞳孔中心位置と、を通る直線が表示部と交差する注視点の位置情報を算出する注視点計測ステップと、
    (3)契約文の割付領域情報に対して、計測された注視点の位置情報を適用して、以下のステップにて契約文の読み方を調べて、読み方に必要に応じて各種の情報を表示するステップと、
    (3−1)計測する注視点の位置情報を用いて、契約文の割付領域情報を参照して、同一の割付領域に注視点が存在する注視時間を計測する注視時間計測ステップと、
    (3−2)計測された注視時間が、理解不足判定時間以上の場合には、契約文の説明情報の中から該当する契約文の説明情報を取得し表示する第1の契約説明表示ステップと、
    (3−3)注視時間計測手段によって計測された注視時間が未読判定時間以下の場合には、契約文読み直し指示情報を表示する読み直し指示表示ステップと、
    (3−4)計測する注視点の位置情報を用いて、契約文の割付領域情報を参照して、注視点がある割付領域から他の割付領域に移動した後に再び元の割付領域に戻ってきた場合には、契約文の説明情報の中から再び元に戻ってきた契約文の説明情報を取得し表示する第2の契約説明表示ステップと、
    を含んだ手順でなされることを特徴とする契約管理方法。
  12. コンピュータに組込むことによって、コンピュータを請求項1から請求項6までのいずれか1項に記載の契約端末装置として動作させるコンピュータプログラム。
  13. コンピュータに組込むことによって、コンピュータを請求項7から請求項10までのいずれか1項に記載の契約管理システムとして動作させるコンピュータプログラム。
  14. 請求項11または請求項12に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。

JP2008200065A 2008-08-01 2008-08-01 契約端末装置、契約管理システム、方法、プログラム、記録媒体 Pending JP2010039646A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008200065A JP2010039646A (ja) 2008-08-01 2008-08-01 契約端末装置、契約管理システム、方法、プログラム、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008200065A JP2010039646A (ja) 2008-08-01 2008-08-01 契約端末装置、契約管理システム、方法、プログラム、記録媒体

Publications (1)

Publication Number Publication Date
JP2010039646A true JP2010039646A (ja) 2010-02-18

Family

ID=42012146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008200065A Pending JP2010039646A (ja) 2008-08-01 2008-08-01 契約端末装置、契約管理システム、方法、プログラム、記録媒体

Country Status (1)

Country Link
JP (1) JP2010039646A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210909A (ja) * 2012-03-30 2013-10-10 Dainippon Printing Co Ltd 視点誘導装置および電子書籍端末
JP2014149641A (ja) * 2013-01-31 2014-08-21 Ntt Comware Corp 情報処理装置、情報処理方法及びプログラム
WO2015035745A1 (zh) * 2013-09-16 2015-03-19 北京智谷睿拓技术服务有限公司 信息观察方法及信息观察装置
EP2930592A1 (en) 2014-04-09 2015-10-14 Fujitsu Limited Already-read determination apparatus, already-read determination method and already-read determination program
EP2933708A1 (en) 2014-04-17 2015-10-21 Fujitsu Limited Read determining device and method
JP2015191638A (ja) * 2014-03-31 2015-11-02 キヤノンマーケティングジャパン株式会社 情報処理システム、およびその制御方法、プログラム
JP2015212981A (ja) * 2015-07-23 2015-11-26 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
JPWO2015008363A1 (ja) * 2013-07-18 2017-03-02 三菱電機株式会社 情報提示装置及び情報提示方法
CN111753168A (zh) * 2020-06-23 2020-10-09 广东小天才科技有限公司 一种搜题的方法、装置、电子设备及存储介质
CN113190318A (zh) * 2021-04-30 2021-07-30 平安证券股份有限公司 信息确认方法、装置、电子设备及存储介质
JP7116515B1 (ja) 2022-01-27 2022-08-10 京都府公立大学法人 意思決定能力評価装置、システム、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124549A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 速読支援装置
JP3453911B2 (ja) * 1995-03-02 2003-10-06 富士ゼロックス株式会社 視線認識装置
JP2005338173A (ja) * 2004-05-24 2005-12-08 Advanced Telecommunication Research Institute International 外国語読解学習支援装置
JP2006107048A (ja) * 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3453911B2 (ja) * 1995-03-02 2003-10-06 富士ゼロックス株式会社 視線認識装置
JPH1124549A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 速読支援装置
JP2005338173A (ja) * 2004-05-24 2005-12-08 Advanced Telecommunication Research Institute International 外国語読解学習支援装置
JP2006107048A (ja) * 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013013288; 東中竜一郎,大野健彦: '視線を用いた自動辞書引きシステム' インターネット , 2003 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210909A (ja) * 2012-03-30 2013-10-10 Dainippon Printing Co Ltd 視点誘導装置および電子書籍端末
JP2014149641A (ja) * 2013-01-31 2014-08-21 Ntt Comware Corp 情報処理装置、情報処理方法及びプログラム
US10109258B2 (en) 2013-07-18 2018-10-23 Mitsubishi Electric Corporation Device and method for presenting information according to a determined recognition degree
JPWO2015008363A1 (ja) * 2013-07-18 2017-03-02 三菱電機株式会社 情報提示装置及び情報提示方法
US9946341B2 (en) 2013-09-16 2018-04-17 Beijing Zhigu Rui Tuo Tech Co., Ltd. Information observation method and information observation device
WO2015035745A1 (zh) * 2013-09-16 2015-03-19 北京智谷睿拓技术服务有限公司 信息观察方法及信息观察装置
US10684680B2 (en) 2013-09-16 2020-06-16 Beijing Zhigu Rui Tuo Tech Co., Ltd. Information observation method and information observation device
JP2015191638A (ja) * 2014-03-31 2015-11-02 キヤノンマーケティングジャパン株式会社 情報処理システム、およびその制御方法、プログラム
EP2930592A1 (en) 2014-04-09 2015-10-14 Fujitsu Limited Already-read determination apparatus, already-read determination method and already-read determination program
US9740930B2 (en) 2014-04-17 2017-08-22 Fujitsu Limited Read determining device and method
EP2933708A1 (en) 2014-04-17 2015-10-21 Fujitsu Limited Read determining device and method
JP2015212981A (ja) * 2015-07-23 2015-11-26 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
CN111753168A (zh) * 2020-06-23 2020-10-09 广东小天才科技有限公司 一种搜题的方法、装置、电子设备及存储介质
CN113190318A (zh) * 2021-04-30 2021-07-30 平安证券股份有限公司 信息确认方法、装置、电子设备及存储介质
CN113190318B (zh) * 2021-04-30 2024-04-02 平安证券股份有限公司 信息确认方法、装置、电子设备及存储介质
JP7116515B1 (ja) 2022-01-27 2022-08-10 京都府公立大学法人 意思決定能力評価装置、システム、及びプログラム
WO2023145386A1 (ja) * 2022-01-27 2023-08-03 京都府公立大学法人 意思決定能力評価装置、システム、及びプログラム
JP2023109310A (ja) * 2022-01-27 2023-08-08 京都府公立大学法人 意思決定能力評価装置、システム、及びプログラム

Similar Documents

Publication Publication Date Title
JP2010039646A (ja) 契約端末装置、契約管理システム、方法、プログラム、記録媒体
Yeung et al. Improved skeleton tracking by duplex kinects: A practical approach for real-time applications
CN109215017B (zh) 图片处理方法、装置、用户终端、服务器及存储介质
JP6225538B2 (ja) 情報処理装置、システム、情報提供方法および情報提供プログラム
US11593960B2 (en) Determining the relative position between a point cloud generating camera and another camera
CN112712906B (zh) 视频图像处理方法、装置、电子设备及存储介质
KR20090097891A (ko) 문서 제어 방법, 시스템 및 프로그램 제품
KR20140093359A (ko) 사용자 인터랙션 기반의 영상 세그멘테이션 장치 및 방법
US20120027277A1 (en) Interactive iterative closest point algorithm for organ segmentation
CN110782517A (zh) 点云标注方法、装置、存储介质及电子设备
US20060152478A1 (en) Projection of synthetic information
EP4191540A1 (en) 3d data system and 3d data generation method
CN112634309A (zh) 图像处理方法、装置、电子设备及存储介质
US10281804B2 (en) Image processing apparatus, image processing method, and program
CN103345738B (zh) 基于感兴趣区域的对象检测方法及装置
JP2018194549A (ja) 注釈機能を備える3次元測定用装置
CN112817447B (zh) 一种ar内容显示方法及系统
CN113129362A (zh) 一种三维坐标数据的获取方法及装置
US20150138077A1 (en) Display system and display controll device
JP2009039221A (ja) 医用画像処理システム、医用画像処理方法、及びプログラム
CN115909035A (zh) 手术器械的清点方法、系统、设备及介质
CN112860060B (zh) 一种图像识别方法、设备及存储介质
JP2005318268A (ja) 投射表示装置および投射表示システム
KR102432527B1 (ko) 관심 치아 추출 방법 및 스캔 데이터 처리 장치
Gallo et al. Breast shape parametrization through planar projections

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130730