JP2010250506A - Image processing apparatus and method for controlling the same - Google Patents
Image processing apparatus and method for controlling the same Download PDFInfo
- Publication number
- JP2010250506A JP2010250506A JP2009098394A JP2009098394A JP2010250506A JP 2010250506 A JP2010250506 A JP 2010250506A JP 2009098394 A JP2009098394 A JP 2009098394A JP 2009098394 A JP2009098394 A JP 2009098394A JP 2010250506 A JP2010250506 A JP 2010250506A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
本発明は、面状部材に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることが可能な画像処理装置および画像処理装置の制御方法に関するものである。 The present invention relates to an image processing apparatus capable of easily displaying information corresponding to an object using the object placed on a planar member, and a method for controlling the image processing apparatus.
近年、様々な医薬品が開発されているため、患者の症状、体質、年齢等にあわせて処方することが可能となっており、その処方は多岐にわたっている。また、サプリメントも複数開発されており、患者に限らず、例えば健康を維持するために、複数のサプリメントを服用する人も多い。 In recent years, since various pharmaceuticals have been developed, it is possible to prescribe according to the patient's symptoms, constitution, age, etc., and the prescription is diverse. In addition, a plurality of supplements have been developed, and not only patients but many people take a plurality of supplements to maintain their health, for example.
一般的に、患者には、処方される医薬品の効能、飲み合わせ等の説明を示した書面が、医薬品と共に提供される。また、市販の医薬品およびサプリメントにも、その効能、飲み合わせ等の情報を示した書面が付されている。 Generally, the patient is provided with a written document that explains the efficacy of the prescribed medicine, description of drinking, etc. In addition, commercially available medicines and supplements are also accompanied by a document showing information on their efficacy and drinking.
しかし、服用する医薬品またはサプリメントが複数になればなるほど、その書面も増えるため、これらを服用する人にとって、どの医薬品またはサプリメントにどのような効能があるのかを把握したり、適切な飲み合わせ、服用する時間帯、賞味期限等を判断することが困難になる。また、これらの書面のうち１つでも紛失してしまった場合には、各医薬品またはサプリメントの効能、適切な飲み合わせ、服用する時間帯、賞味期限等の情報を得ることができなくなってしまう。 However, the more medicines or supplements you take, the more documentation you have, so you can figure out what drugs or supplements are effective for those who take them, and take appropriate drinks and doses. It becomes difficult to judge the time zone to be used, the expiration date, etc. Further, if any one of these documents is lost, it becomes impossible to obtain information such as the efficacy of each medicine or supplement, proper drinking, taking time zone, and expiration date.
そこで、医薬品またはサプリメントを複数服用する人は、上記のような情報を容易に得るために、これらに添付された書面を利用せずに、インターネット等の通信ネットワークを利用して、これらの品名、品番等からの情報検索を行っている。近年、ノート型ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、電子辞書、携帯電話機など、ユーザが持ち運び可能な携帯型端末の普及により、ユーザは、どこにいても手軽に、上記のような情報検索を行うことができる。 Therefore, people who take multiple medicines or supplements can easily obtain such information by using a communication network such as the Internet without using the document attached to them. Search information from product number. In recent years, with the widespread use of portable terminals such as notebook PCs (Personal Computers), PDAs (Personal Digital Assistants), electronic dictionaries, mobile phones, etc., users can easily access information such as the above Search can be performed.
このように、通信ネットワークを用いて、複数の有効成分を有する医薬品およびサプリメントの飲み合わせについて適切な情報を得ることが可能な技術は、例えば特許文献１が挙げられる。
As described above, for example,
特許文献１は、医薬品名およびサプリメントの商品名をそれぞれ入力可能な入力部と、入力されたサプリメントまたは医薬品の情報を検索するための検索ボタンとが設けられた検索画面を端末に表示させる検索システムが開示されている。
しかしながら、特許文献１の技術では、これらを服用する人（検索システムを利用するユーザ）は、服用する医薬品またはサプリメントを入力する必要がある。このため、特許文献１の技術では、服用する医薬品またはサプリメントの品名または品番などを正確に入力しなければ、服用する医薬品またはサプリメントに対応する情報（効能、適切な飲み合わせ、服用する時間帯、賞味期限）を得ることができないという問題がある。また、医薬品またはサプリメントの品名があまり知られていなかったり、品名および品番が長い場合には誤入力する可能性が高くなる。
However, in the technique of
また、特許文献１の技術では、入力部に対する入力操作（対象物の名称を入力する操作）なしで服用する医薬品またはサプリメントに応じた情報を表示させるような機能は有していない。
Moreover, in the technique of
従って、特許文献１の検索システムは、ユーザに、品名または品番を誤入力しないように細心の注意をもって入力させる必要があり、ユーザの感覚的な操作によって、服用する医薬品またはサプリメントに応じた情報を容易に表示させることが困難であった。
Therefore, it is necessary for the search system of
なお、特許文献１の技術では、ユーザは、服用する医薬品またはサプリメントが複数になれば、その分だけ医薬品名またはサプリメントの商品名を入力する必要がある。このため、服用する医薬品またはサプリメントが増えるほど、ユーザの手間が増えてしまうことになる。
In the technique of
この場合も、特許文献１の検索システムは、ユーザの感覚的な操作によって、複数の医薬品およびサプリメントに応じた情報（例えば飲み合わせの情報）を容易に表示させることが困難であった。
Also in this case, it is difficult for the search system of
また、特許文献１の技術では、例えば医薬品またはサプリメントではなく、その他の対象物に応じた情報を表示させる場合であっても、入力部に対する入力操作なしで（すなわちユーザの感覚的な操作で）当該情報を容易に表示させることは困難であった。
Further, in the technique of
本発明は、上記の課題に鑑みてなされたものであり、その目的は、面状部材に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることが可能な画像処理装置および画像処理装置の制御方法を提供することにある。 This invention is made | formed in view of said subject, The objective can be made to display easily the information according to the said target object using the target object mounted in the planar member. An object of the present invention is to provide an image processing apparatus and a method for controlling the image processing apparatus.
本発明に係る画像処理装置は、上記の問題点を解決するために、画像を表示するとともに、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した像の特徴量を抽出する抽出手段と、上記抽出手段が抽出した像の特徴量に基づいて、上記対象物の属性情報を特定する特定手段と、上記特定手段が特定した属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御手段と、を備えることを特徴としている。 In order to solve the above problems, the image processing apparatus according to the present invention displays an image and detects a nearby object image, and a feature amount of the image detected by the planar member. Extraction means for extracting, identification means for specifying the attribute information of the object based on the feature amount of the image extracted by the extraction means, and correspondence information corresponding to the attribute information specified by the specification means, And image control means for displaying the object in a state where the object is placed on the planar member.
また、本発明に係る画像処理装置の制御方法は、上記の問題点を解決するために、画像を表示するとともに、近傍の対象物の像を検知する面状部材とを備える画像処理装置の制御方法であって、上記面状部材が検知した像の特徴量を抽出する抽出ステップと、上記抽出ステップにて抽出された像の特徴量に基づいて、上記対象物の属性情報を特定する特定ステップと、上記特定ステップにて特定された属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御ステップと、を含むことを特徴としている。 In addition, in order to solve the above-described problems, the image processing apparatus control method according to the present invention displays an image and controls an image processing apparatus including a planar member that detects an image of a nearby object. An extraction step for extracting a feature amount of an image detected by the planar member, and a specifying step for specifying attribute information of the object based on the feature amount of the image extracted in the extraction step And an image control step of displaying correspondence information corresponding to the attribute information specified in the specifying step in a state where the object is placed on the planar member.
上記構成によれば、特定手段（特定ステップ）は、抽出手段（抽出ステップ）によって抽出された像の特徴量に基づいて対象物の属性情報を特定する。そして、画像制御手段（画像制御ステップ）は、この特定した属性情報に対応する対応情報を、面状部材に対象物が載置された状態で表示させる。 According to the above configuration, the specifying unit (specifying step) specifies the attribute information of the object based on the feature amount of the image extracted by the extracting unit (extracting step). Then, the image control means (image control step) displays correspondence information corresponding to the specified attribute information in a state where the object is placed on the planar member.
これにより、画像処理装置およびその制御方法では、面状部材に対象物を載置したままで、当該対象物の属性情報に対応する対応情報を表示することができるので、面状部材に表示させる画像の一部として用いることができる。 Accordingly, in the image processing apparatus and the control method thereof, the correspondence information corresponding to the attribute information of the target object can be displayed while the target object is placed on the planar member. It can be used as part of an image.
このため、ユーザは、ユーザ操作を取得可能な操作入力画像に対して、対象物の名称などを入力するというような入力操作を行うことなく、面状部材に対象物を載置するだけで、当該対象物の属性情報に対応する対応情報（すなわち対象物に関係する情報）を確認することができる。 For this reason, the user simply places the object on the planar member without performing an input operation such as inputting the name of the object on the operation input image from which the user operation can be acquired. Correspondence information corresponding to the attribute information of the object (that is, information related to the object) can be confirmed.
従って、画像処理装置およびその制御方法は、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、面状部材に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。そして、ユーザは、面状部材に情報を得たい対象物を載置するだけで、当該対象物に応じた情報を容易に確認することができる。 Therefore, the image processing apparatus and the control method thereof do not perform an input operation on the user (that is, by a user's sensual operation) and use the object placed on the planar member to The corresponding information can be easily displayed. And the user can confirm easily the information according to the said target object only by mounting the target object which wants to obtain information on a planar member.
ここで、属性情報とは、対象物に関するあらゆる情報を指し、例えば対象物が医薬品の場合、品名、品番、効能、飲み合わせ不可能な医薬品の名称、服用日を決定するための情報、賞味期限などが挙げられる。 Here, the attribute information refers to all information related to the target object. For example, when the target object is a drug, the product name, product number, efficacy, name of drug that cannot be swallowed, information for determining the date of taking, expiration date Etc.
また、属性情報に対応する対応情報とは、各属性情報に対応した処理の結果を示す情報であり、例えば対象物が医薬品である場合、当該医薬品の賞味期限が切れているかどうかを示す情報などを指す。 The correspondence information corresponding to the attribute information is information indicating the result of the processing corresponding to each attribute information. For example, when the target is a medicine, information indicating whether the expiration date of the medicine has expired or the like Point to.
さらに、本発明に係る画像処理装置は、上記面状部材は、複数の対象物の像を検知するものであり、上記画像制御手段は、上記複数の対象物それぞれの属性情報に基づいて、当該対象物どうしの関連を示す関連情報を上記対応情報として表示させることが好ましい。 Further, in the image processing apparatus according to the present invention, the planar member detects images of a plurality of objects, and the image control unit is configured to perform the processing based on attribute information of each of the plurality of objects. It is preferable to display related information indicating the relationship between objects as the correspondence information.
上記構成によれば、画像制御手段は、面状部材に載置された複数の対象物それぞれの属性情報に基づいて、対象物どうしの関連を示す関連情報を対応情報として表示させる。このため、画像処理装置は、面状部材に載置された対象物それぞれの対応情報を表示することができるだけでなく、対象物どうしの関連を示す関連情報を表示することができる。 According to the said structure, an image control means displays the relevant information which shows the relationship between target objects as corresponding information based on the attribute information of each of the several target object mounted in the planar member. For this reason, the image processing apparatus can display not only the correspondence information of each target object placed on the planar member but also the related information indicating the relationship between the target objects.
これにより、ユーザは、面状部材に複数の対象物を載置するだけで、当該対象物どうしの関連を示す関連情報を容易に確認することができる。 Thereby, the user can confirm easily the related information which shows the relationship between the said objects only by mounting a several target object in a planar member.
ここで、対象物どうしの関連を示す関連情報とは、複数の対象物が検知されたときの各対象物の属性情報に対応する対応情報を示すものである。例えば対象物が医薬品の場合、属性情報としての飲み合わせ不可能な医薬品の名称から求められる、飲み合わせ可能か不可能かを示す飲み合わせ情報、属性情報としての服用日を決定するための情報から求められる服用日と、当該服用日ごとに対象物を分類したときのグループとを対応付けたグループ情報などを指す。 Here, the related information indicating the relationship between objects indicates correspondence information corresponding to the attribute information of each object when a plurality of objects are detected. For example, if the target is a medicine, it is obtained from the name of the medicine that cannot be swallowed as attribute information, from swallowing information indicating whether swallowing is possible or not, and information for determining the date of taking as attribute information This refers to group information in which a required dosing date is associated with a group when an object is classified for each taking date.
さらに、本発明に係る画像処理装置は、上記画像制御手段は、上記面状部材が像を検知したときの画像における当該像を含む領域に、上記対応情報を表示させることが好ましい。 Furthermore, in the image processing apparatus according to the present invention, it is preferable that the image control means displays the correspondence information in a region including the image in the image when the planar member detects the image.
上記構成によれば、画像処理装置は、面状部材が像を検知したときの画像における当該像を含む領域に対応情報を表示させるので、面状部材に載置された対象物と重なる領域に、当該対象物に関する対応情報を表示することができる。すなわち、画像処理装置は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。 According to the above configuration, the image processing apparatus displays the correspondence information in the area including the image in the image when the planar member detects the image, so that the area is overlapped with the object placed on the planar member. Correspondence information about the object can be displayed. In other words, the image processing apparatus can display an image that allows the user to easily grasp information according to the placed object, thereby improving user convenience.
さらに、本発明に係る画像処理装置は、上記画像制御手段は、上記面状部材が像を検知したときの画像における当該像とは異なる領域に、上記対応情報を表示させることが好ましい。 Furthermore, in the image processing apparatus according to the present invention, it is preferable that the image control means displays the correspondence information in a region different from the image in the image when the planar member detects the image.
例えば、対応情報が文字、数値、記号を含む場合、当該対応情報を対象物と重なる領域に表示すると、文字、数値、記号の少なくとも一部が対象物に隠れてしまうため、ユーザがこれらの情報を確認することができなくなる可能性がある。 For example, when the correspondence information includes characters, numerical values, and symbols, if the correspondence information is displayed in an area that overlaps the target object, at least a part of the characters, numerical values, and symbols are hidden by the target object. May not be able to be confirmed.
上記構成によれば、画像処理装置は、面状部材が像を検知したときの画像における当該像とは異なる領域に対応情報を表示させるので、面状部材に載置された対象物に重ならない領域に、当該対象物に関する対応情報を表示することができる。従って、対応情報が文字、数値、記号を含む場合であっても、画像処理装置は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。 According to the above configuration, the image processing apparatus displays the correspondence information in a region different from the image in the image when the planar member detects the image, and thus does not overlap the object placed on the planar member. Correspondence information related to the object can be displayed in the area. Therefore, even if the correspondence information includes characters, numerical values, and symbols, the image processing apparatus can display an image that allows the user to easily grasp information according to the placed object. , User convenience can be improved.
さらに、本発明に係る画像処理装置は、上記対象物は、医薬品またはサプリメントであることが好ましい。 Furthermore, in the image processing apparatus according to the present invention, it is preferable that the object is a medicine or a supplement.
上記構成によれば、画像処理装置は、医薬品またはサプリメントに応じた情報を表示することができる。このため、ユーザは、面状部材に載置した医薬品またはサプリメントが服用可能かどうか（服用すべきかどうか）を容易に確認することができると共に、服用可能（服用すべき）であると判断した医薬品またはサプリメントを面状部材から取り上げて、そのまま服用することができる。 According to the above configuration, the image processing apparatus can display information according to the medicine or supplement. For this reason, the user can easily check whether or not the medicine or supplement placed on the planar member can be taken (whether it should be taken) and can be taken (should be taken). Alternatively, the supplement can be taken from the planar member and taken as it is.
従って、画像処理装置は、ユーザに、医薬品またはサプリメントが服用可能（服用すべき）かどうかを適切に知らせることができるだけでなく、ユーザが、服用する医薬品またはサプリメントを取り違えて服用することを未然に防止することができる。 Therefore, the image processing apparatus can not only properly notify the user whether or not the medicine or supplement can be taken (should be taken) but also prevent the user from taking the medicine or supplement to be taken in advance. Can be prevented.
本発明に係る画像処理装置は、画像を表示するとともに、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した像の特徴量を抽出する抽出手段と、上記抽出手段が抽出した像の特徴量に基づいて、上記対象物の属性情報を特定する特定手段と、上記特定手段が特定した属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御手段と、を備える構成である。 An image processing apparatus according to the present invention includes a planar member that displays an image and detects an image of a nearby object, an extraction unit that extracts a feature amount of the image detected by the planar member, and the extraction unit The object is placed on the planar member, with the specifying means for specifying the attribute information of the object based on the feature amount of the image extracted by the image, and the correspondence information corresponding to the attribute information specified by the specifying means. And image control means for displaying in a state of being displayed.
本発明に係る画像処理装置の制御方法は、上記面状部材が検知した像の特徴量を抽出する抽出ステップと、上記抽出ステップにて抽出された像の特徴量に基づいて、上記対象物の属性情報を特定する特定ステップと、上記特定ステップにて特定された属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御ステップと、を含む方法である。 An image processing apparatus control method according to the present invention includes: an extraction step for extracting an image feature amount detected by the planar member; and an image feature amount extracted in the extraction step based on the feature amount of the object. A method comprising: a specifying step for specifying attribute information; and an image control step for displaying correspondence information corresponding to the attribute information specified in the specifying step in a state where an object is placed on the planar member. It is.
それゆえ、画像処理装置およびその制御方法は、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、面状部材に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。 Therefore, the image processing apparatus and the control method thereof use the object placed on the planar member without performing an input operation on the user (that is, by a user's sensory operation). It is possible to easily display information corresponding to
本発明の一実施形態について、図１から図２０に基づいて説明すると以下の通りである。 An embodiment of the present invention will be described below with reference to FIGS.
本実施形態に係るデータ表示／センサ装置１００（画像処理装置（その制御方法））は、画像を表示するとともに、近傍の対象物の像を検知するセンサ内蔵液晶パネル３０１（面状部材）と、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出する特徴量抽出部８０２（抽出手段、抽出ステップ）と、特徴量抽出部８０２が抽出した像の特徴量に基づいて、対象物の属性情報を特定する属性情報特定部８０４（特定手段、特定ステップ）と、属性情報特定部８０４が特定した属性情報に対応する対応情報を、センサ内蔵液晶パネル３０１に対象物が載置された状態で表示させる画像制御部８０６（画像制御手段、画像制御ステップ）と、を備える構成である。
A data display / sensor device 100 (image processing device (its control method)) according to the present embodiment displays an image and a sensor built-in liquid crystal panel 301 (planar member) that detects an image of a nearby object, Based on the feature quantity extraction unit 802 (extraction means, extraction step) that extracts the feature quantity of the image detected by the sensor built-in
これにより、データ表示／センサ装置１００は、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、センサ内蔵液晶パネル３０１に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。
Thereby, the data display /
まず、以下で、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
First, an outline of the sensor built-in
〔センサ内蔵液晶パネルの概要〕
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
[Outline of LCD panel with built-in sensor]
The sensor built-in
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
The structure of the sensor built-in
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
As shown in the figure, the sensor built-in
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
The
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
Next, with reference to FIGS. 3A and 3B, two types of methods for detecting the position where the user touches the sensor built-in
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
FIG. 3A is a schematic diagram illustrating a state in which a position touched by the user is detected by detecting a reflected image. When the light 63 is emitted from the
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
FIG. 3B is a schematic diagram illustrating a state in which a position touched by the user is detected by detecting a shadow image. As shown in FIG. 3B, the
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
As described above, the
〔データ表示／センサ装置の要部構成〕
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。
[Data display / sensor configuration]
Next, with reference to FIG. 4, the configuration of the main part of the data display /
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
The display /
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
The sensor built-in
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
The
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
The liquid crystal
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
The optical
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
The
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
The
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
The
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
Next, the
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
The
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
The
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
The
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
In addition, the
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
The
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
When the data display /
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
Next, the
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
The
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
The display
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
The sensor
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
The sensor
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
Next, the
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
An application program executed by the
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
The
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
Next, the
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
Next, the
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
As an example of the switch, a hardware switch such as a
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
In addition, the data display /
〔コマンドの詳細〕
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
[Details of command]
Next, details of commands transmitted from the
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。 As shown in FIG. 5, the commands are “header”, “data acquisition timing”, “data type”, “scan method”, “scan image gradation”, “scan resolution”, “scan panel”, “display panel”. "And" Reserve "fields. In each field, for example, values shown in FIG. 6 can be designated.
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。 The “header” field is a field indicating the start of a frame. As long as it is possible to identify the “header” field, the value of the “header” field may be any value.
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
Next, the “data acquisition timing” field is a field for designating a timing at which data should be transmitted to the
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
Here, “sense” specifies that the latest data is to be transmitted immediately. Therefore, when the sensor
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
The “event” designates transmission at a timing when a change occurs in the image data received from the
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
“All” designates data transmission at a predetermined cycle. Therefore, when the sensor
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
Next, the “data type” field is a field for designating the type of data acquired from the sensor
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
When the sensor
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
In addition, when the sensor
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
Further, when the sensor
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
Next, when receiving a command whose value of the “data type” field is “coordinate”, the sensor
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。 Specific examples of the whole image data, the partial image data, and the coordinate data will be described later with reference to schematic diagrams.
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
Next, the “scan method” field is a field for designating whether or not the
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
“Reflection” specifies that scanning is performed with the
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
“Transmission” specifies that scanning is performed with the
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。 Next, the “scanned image gradation” field is a field for designating gradations of the partial image data and the entire image data. In the “scanned image gradation” field, for example, values of “00” (binary) and “01” (multivalue) can be designated.
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
When the sensor
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
When the sensor
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。 Next, the “scan resolution” field is a field for designating the resolution of the partial image data and the entire image data. In the “resolution” field, for example, values of “0” (high) and “1” (low) can be designated.
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
Here, “high” designates a high resolution. Therefore, when the sensor
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
“Low” designates a low resolution. Therefore, when the sensor
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００（第１表示／光センサ部））、“010”（二番目の表示／光センサ部３００（第２表示／光センサ部））という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
Next, in the “scan panel” field, when the data display /
ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
Here, the sensor
なお、本実施形態に係るデータ表示／センサ装置１００は、単一の表示／光センサ部３００を備えた構成となっている。ここでは、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部”であるコマンドを受信すると、表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与えるものとする。
Note that the data display /
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（一番目の表示／光センサ部３００（第１表示／光センサ部））、“010” （二番目の表示／光センサ部３００（第２表示／光センサ部））という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
Next, the “display panel” field specifies which display /
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
Here, for example, when the display
なお、本実施形態に係るデータ表示／センサ装置１００は、単一の表示／光センサ部３００を備えた構成となっている。ここでは、表示データ処理部７０１は、「表示パネル」フィールドの値が“第１表示／光センサ部”であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与えるものとする。
Note that the data display /
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。 Next, the “reserved” field is a field that is appropriately specified when it is necessary to further specify information other than information that can be specified in the above-described fields.
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
Note that an application executed by the
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
When the user wants to acquire coordinate data of a position touched with a finger or pen, a command specifying “coordinate” in the “data type” field is transmitted to the
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
Further, when “coordinate” is specified in the “data type” field of the command, for example, when the user touches the sensor built-in
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
When acquiring image data of an object such as a document, a command specifying “whole image” in the “data type” field is transmitted to the
〔全体画像データ／部分画像データ／座標データ〕
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
[Whole image data / Partial image data / Coordinate data]
Next, the whole image data, the partial image data, and the coordinate data will be described with reference to FIG. The image data shown in FIG. 7A is image data obtained as a result of scanning the entire sensor built-in
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
When the user touches the sensor built-in
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。 In the image data shown in FIG. 7B, the brightness of the pixel value of the portion corresponding to the user's finger is higher than that in the image data shown in FIG. In the image data shown in FIG. 7B, the smallest rectangular area (area PP) that includes all pixel values whose lightness changes more than a predetermined threshold is “partial image data”.
なお、領域ＡＰで示される画像データが、“全体画像データ”である。 The image data indicated by the area AP is “whole image data”.
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。 Also, the coordinate data in the whole image data (area AP) of the representative coordinates Z of the partial image data (area PP) is (Xa, Ya), and the coordinate data in the partial image data (area PP) is (Xp, Yp). It is.
〔センサ内蔵液晶パネルの構成〕
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
[Configuration of LCD panel with built-in sensor]
Next, the configuration of the sensor built-in
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
The sensor built-in
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
The
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
In order to set the light transmittance of the
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
Next, the
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
In order for the
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
Next, the liquid crystal
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
The liquid crystal
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
The scanning signal
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
Based on the display data D (DR, DG, and DB) received from the
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
The optical
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
The sensing data output signal lines SP1 to SPn are grouped into p groups (p is an integer of 1 to n), and the sensing data output signal lines belonging to each group are connected via a
〔データ表示／センサ装置のより詳細な構成〕
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、画像の表示および医薬品またはサプリメント（以下、服用品とする）のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
[More detailed configuration of data display / sensor device]
Next, a more detailed configuration of the data display /
図１は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。図示のように、主制御部８００は、例えば対象物（例えば実物である服用品）の情報を多数同時に画像認識で読み取り、個々の関連性の情報を得るために、像取得部８０１、特徴量抽出部８０２、種別／文字認識部８０３、属性情報特定部８０４、位置情報書込部８０５、画像制御部８０６、モード設定部８０７および計時部８０８を備えている。
FIG. 1 is a block diagram showing a more detailed configuration of the data display /
像取得部８０１は、センサ内蔵液晶パネル３０１が検知した対象物の像のデータを全体画像データとして取得すると共に、当該全体画像データに含まれる各像の位置のデータを座標データとして取得するものである。
The
特徴量抽出部８０２は、一般的な画像認識技術（文字認識技術）を用いて、全体画像データに対する画像補正を行い、当該画像補正を行った全体画像データから、像の特徴量を抽出するものである。すなわち、特徴量抽出部８０２は、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出するものといえる。
The feature
種別／文字認識部８０３は、センサ内蔵液晶パネル３０１上に対象物の種別、または、対象物に印字された文字、記号などの認識を行うものである。種別／文字認識部８０３は、特徴量抽出部８０２が抽出した像の特徴量と記憶部９０１に格納された複数の標準パターンとを比較することにより、当該像の特徴量が、何れの標準パターンと最もよく類似しているのかを判定することにより、上記種別または文字、記号などの認識を行う。
The type /
属性情報特定部８０４は、種別／文字認識部８０３の認識結果に基づいて、記憶部９０１に格納された属性情報を参照して、各像に対応した属性情報を特定するものである。すなわち、属性情報特定部８０４は、特徴量抽出部８０２が抽出した像の特徴量に基づいて、対象物の属性情報を特定するものといえる。
The attribute
また、属性情報特定部８０４は、各像に対応した属性情報が記憶部９０１に格納されていないと判断した場合には、外部通信部９０７を介して、ネットワーク上から当該属性情報を取得してもよい。
If the attribute
画像制御部８０６は、モード設定部８０７が設定する画像データ作成モードに応じた画像データを作成し、当該画像データをセンサ内蔵液晶パネル３０１に表示させるものである。
The
モード設定部８０７は、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、画像データ作成モードを設定するものである。また、計時部８０８は、現在時刻を計時するものである。
The
また、図１に示すように、画像制御部８０６は、表示領域決定部８６１、属性情報取得部８６２、関連情報処理部８６３および画像データ作成部８６４を備えている。
As illustrated in FIG. 1, the
表示領域決定部８６１は、記憶部９０１に格納された属性情報または関連情報処理部８６３で求められる対応情報（対応情報としての関連情報）を表示するために、像取得部８０１が取得した全体画像データにおける仮想領域を決定するものである。
The display
属性情報取得部８６２は、各画像データ作成モードに応じて、各対象物の属性情報を取得するものである。
The attribute
関連情報処理部８６３は、各画像データ作成モードに応じて対応情報（関連情報）を求め、対応情報に対応したテンプレート画像を決定し、当該テンプレート画像と対象物（あるいは仮想領域）とを対応付けるものである。
The related
画像データ作成部８６４は、属性情報および／または対応情報（関連情報）を、像取得部８０１が取得した全体画像データに重畳させた画像データを作成し、当該画像データをセンサ内蔵液晶パネル３０１に表示させるものである。画像データ作成部８６４は、例えば対応情報に基づいて加工したテンプレート画像を、決定した仮想領域に重畳させた画像データを作成する。
The image
すなわち、画像制御部８０６は、特徴量抽出部８０２が特定した属性情報に対応する対応情報を、センサ内蔵液晶パネル３０１に対象物が載置された状態で表示させるものといえる。
That is, it can be said that the
また、画像制御部８０６は、センサ内蔵液晶パネル３０１に複数の対象物が載置された場合、複数の対象物それぞれの属性情報に基づいて、当該対象物どうしの関連を示す関連情報を対応情報として表示させるものといえる。
Further, when a plurality of objects are placed on the sensor built-in
なお、記憶部９０１には、主制御部８００が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９０１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。本実施形態では、記憶部９０１は、例えば各対象物の属性情報が格納された属性情報テーブル、各種テンプレート画像、取得した全体画像データおよび座標データ、算出される関連情報などのデータが格納されるものである。また、以下の説明では、これらのデータを記憶部９０１に格納しているものとして説明するが、例えば全体画像データ、座標データなど、主制御部８００の処理において一時的に格納されるものについては一次記憶部９０２に格納される構成であってもよい。
The
〔データ表示／センサ装置における処理の流れ〕
次に、図９を参照しながら、データ表示／センサ装置１００において、センサ内蔵液晶パネル３０１に対象物が載置された際の処理の流れについて説明する。図９は、データ表示／センサ装置１００において、センサ内蔵液晶パネル３０１に対象物が載置された際の処理の流れを示すフローチャートである。なお、以下に示すコマンドの使用例は、あくまで一例であり、適宜フィールドの値を変更することが可能である。
[Data display / processing flow in sensor device]
Next, the flow of processing when an object is placed on the sensor built-in
なお、ここでは主に、服用品が対象物として載置された場合（すなわち、品名、品番などの文字または記号の認識を行う場合）のデータ表示／センサ装置１００における処理の流れについて説明する。
Here, mainly the flow of processing in the data display /
まず、服用品の対象物がセンサ内蔵液晶パネル３０１上に載置されると、当該センサ内蔵液晶パネル３０１は、載置された対象物の像を検知する。センサ内蔵液晶パネル３０１が検知した像は、回路制御部６００を介してデータ処理部７００を送信される。そして、主制御部８００の像取得部８０１は、データ処理部７００に送信されてきた像のデータを全体画像データとして取得する。また、像取得部８０１は、全体画像データを取得するときに、全体画像データに含まれる各像の位置のデータを座標データとして取得する。すなわち、像取得部８０１は、センサ内蔵液晶パネル３０１が検知した像と、当該像の位置とを取得する（Ｓ１）。
First, when a clothing object is placed on the sensor-equipped
このとき、像取得部８３０１は、センサ内蔵液晶パネル３０１が対象物の像を検知することができるように、「スキャン方式」フィールドの値として“反射”（“00”）、“透過”（“01”）、“反射／透過”（“10”）のいずれか、「スキャン画像階調」フィールドの値として“２値”（“00”）、“多値”（“01”）のいずれか、「スキャン解像度」フィールドの値として“２値”（“00”）、“多値”（“01”）のいずれか、「スキャンパネル」フィールドの値として“第１表示／光センサ部”（“001”）を指定したコマンドを、データ処理部７００に送信する。
At this time, the image acquisition unit 8301 uses “reflection” (“00”), “transmission” (“” as the value of the “scan method” field so that the sensor built-in
また、像取得部８０１は、センサ内蔵液晶パネル３０１上で変化があったときの全体画像データをデータ処理部７００から取得するために、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“全体画像”（“100”）を指定したコマンドを、データ処理部７００に送信する。
Further, the
さらに、像取得部８０１は、全体画像データに含まれる各像の座標データをデータ処理部７００から取得するために、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“座標”（“100”）を指定したコマンドを、データ処理部７００に送信する。この場合、「データ取得タイミング」フィールドの値としては、“全体画像”および“座標”をあわせた“101”を指定したコマンドを、データ処理部７００に送信する。
Further, the
なお、像取得部８０１が全体画像データの代わりに部分画像データを取得する場合には、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“部分画像”（“010”）を指定したコマンドを、データ処理部７００に送信する。
When the
像取得部８０１は、取得した全体画像データを特徴量抽出部８０２に送信する。特徴量抽出部８０２は、この全体画像データに含まれる像の特徴量を抽出する（Ｓ２）。ここで、特徴量抽出部８０２における特徴抽出は、一般的な画像認識技術（文字認識技術）により行われるものである。
The
すなわち、特徴量抽出部８０２は、ノイズ除去、平滑化、鮮鋭化、フィルタリング処理、画像の２値化、像の骨格線を抽出する細線化操作、正規化操作等と呼ばれる、全体画像データに対する画像補正を行う。そして、特徴量抽出部８０２は、画像補正を行った全体画像データから、像の特徴量を抽出する。像の特徴量を抽出する手法として、エッジ、輪郭および線成分を抽出する方法（２次微分処理、ハフ変換処理等）、領域分割による方法、テクスチャを抽出する方法などが挙げられる。
That is, the feature
特徴量抽出部８０２は、上記処理を行うことによって像の特徴量を抽出すると、当該特徴量を種別／文字認識部８０３に送信する。種別／文字認識部８０３は、上記像の特徴量を受信すると、記憶部９０１に格納された複数の標準パターンを読み出す。そして、種別／文字認識部８０３は、上記像の特徴量と複数の標準パターンとを比較することにより、当該像の特徴量が、何れの標準パターンと最もよく類似しているのかを判定する。すなわち、種別／文字認識部８０３は、上記の判定を行うことにより、センサ内蔵液晶パネル３０１上に対象物の種別、または、対象物に印字された文字、記号などの認識を行う（Ｓ３）。なお、種別／文字認識部８０３は、上記判定を行うために、一般的な画像認識技術（文字認識技術）に用いられる手法であるパターンマッチング手法、統計的識別手法等を用いた処理を行うものとする。
When the feature
また、上記標準パターンとしては、指、ペンなどを示すパターン、文字、記号などを示すパターン（すなわち、辞書）、特殊な形状（例えばビス、ナット、ビーズ、種など）を認識するためのパターンなどが挙げられる。 In addition, as the standard pattern, a pattern indicating a finger, a pen, a pattern indicating a character, a symbol, or the like (that is, a dictionary), a pattern for recognizing a special shape (such as a screw, a nut, a bead, or a seed) Is mentioned.
ここで、センサ内蔵液晶パネル３０１上に対象物として服用品が載置された場合、種別／文字認識部８０３は、品名または品番が印字されているため、これらに含まれる文字または記号のそれぞれが、文字、記号などを示す標準パターンのうち、何れの標準パターンと最もよく類似するのかを判定する。すなわち、種別／文字認識部８０３は、品名または品番を示す文字または記号それぞれに最もよく類似した標準パターンを特定する。
Here, when clothing is placed as an object on the sensor built-in
このとき、種別／文字認識部８０３は、各文字または各記号と最もよく類似した標準パターンを特定すると、各文字または各記号が含まれる像ごとに、特定した標準パターンを文字列として属性情報特定部８０４に送信する。すなわち、種別／文字認識部８０３は、像取得部８０１が取得した像の位置と、像ごとに特定した文字列とを対応付けた取得情報を、属性情報特定部８０４に送信する。
At this time, when the type /
属性情報特定部８０４は、種別／文字認識部８０３から取得情報を受信すると、記憶部９０１に格納された属性情報テーブル（後述）を検索する（Ｓ４）。そして、属性情報特定部８０４は、属性情報テーブルの中に、取得情報に示される文字列と一致する「品名」または「品番」をもつ属性情報が存在するか否かを判定する（Ｓ５）。
Upon receiving the acquired information from the type /
属性情報特定部８０４は、文字列と一致する「品名」または「品番」をもつ属性情報が存在すると判定した場合（Ｓ５でＹＥＳ）、各像に対応した属性情報を特定する（Ｓ６）。また、属性情報特定部８０４は、各像に対応した属性情報を特定すると、取得情報に示される像の位置を、属性情報テーブルにおける当該属性情報の「位置」に書き込む。すなわち、属性情報特定部８０４は、特定された属性情報と、当該属性情報に対応する像の位置との対応付けを行う（Ｓ７）。
If it is determined that there is attribute information having “product name” or “product number” that matches the character string (YES in S5), the attribute
属性情報特定部８０４は、特定した属性情報と、当該属性情報に対応する像の位置との対応付けを行うと、当該対応付けが完了したことを示す完了通知および各像の位置のデータを、画像制御部８０６に送信する。画像制御部８０６は、完了通知を受信すると、画像データ作成処理を行い（Ｓ８）、当該処理で作成された画像データを表示データとしてデータ処理部７００に送信する。これにより、画像制御部８０６により作成された画像が、センサ内蔵液晶パネル３０１に表示されることとなる。なお、この画像データ作成処理の具体例については、後述する。
When the attribute
なお、画像制御部８０６は、作成した画像データをセンサ内蔵液晶パネル３０１に表示させるために、「表示パネル」フィールドの値として“第１表示／光センサ部”（“001”）を指定したコマンドを、データ処理部７００に送信する。
Note that the
一方、属性情報特定部８０４は、文字列と一致する「品名」または「品番」をもつ属性情報が存在しないと判定した場合（Ｓ５でＮＯ）、各像に対応した属性情報を特定するために、各文字列に対応した属性情報をネットワーク上から取得する（Ｓ９）。
On the other hand, when it is determined that there is no attribute information having “product name” or “product number” that matches the character string (NO in S5), the attribute
具体的には、属性情報特定部８０４は、記憶部９０１に属性情報が存在しないと判断した文字列（服用品）の属性情報の取得命令を、図４に示す外部通信部９０７に送信する。外部通信部９０７は、取得命令を受信すると、上記文字列の属性情報を検索するために、無線／有線通信によってネットワーク上の外部装置（例えば属性情報を管理するサーバ）と通信を行う。
Specifically, the attribute
外部通信部９０７は、上記文字列の属性情報を取得すると、当該属性情報を属性情報特定部８０４に送信する。そして、属性情報特定部８０４は、受信した属性情報を属性情報テーブルに追記することにより、当該属性情報を記憶部９０１に格納する（Ｓ１０）。属性情報特定部８０４は、属性情報を記憶部９０１に格納すると、Ｓ９の処理に移行する。
When the external communication unit 907 acquires the attribute information of the character string, the external communication unit 907 transmits the attribute information to the attribute
なお、上記の処理では、属性情報特定部８０４は、センサ内蔵液晶パネル３０１上に載置された対象物の像の位置を、属性情報テーブルの当該対象物に対応する「位置」に書き込み、各像の位置を画像制御部８０６に送信している。これにより、画像制御部８０６が像の位置と、上記「位置」に書き込まれた位置情報とを比較することにより、各像に対応する属性情報を適切に取得することができる。しかし、この処理は一例であり、画像制御部８０６が各像に対応する属性情報を適切に取得することが可能であれば、どのような情報を用いてもよい。
In the above process, the attribute
以上のように、データ表示／センサ装置１００は、画像を表示するとともに、近傍の対象物の像を検知するセンサ内蔵液晶パネル３０１と、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出する特徴量抽出部８０２と、特徴量抽出部８０２が抽出した像の特徴量に基づいて、対象物の属性情報を特定する属性情報特定部８０４と、属性情報特定部８０４が特定した属性情報に対応する対応情報を、センサ内蔵液晶パネル３０１に対象物が載置された状態で表示させる画像制御部８０６と、を備える構成である。
As described above, the data display /
これにより、データ表示／センサ装置１００は、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、センサ内蔵液晶パネル３０１に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。そして、ユーザは、センサ内蔵液晶パネル３０１に情報を得たい対象物を載置するだけで、当該対象物に応じた情報を容易に確認することができる。
Thereby, the data display /
また、データ表示／センサ装置１００では、センサ内蔵液晶パネル３０１が複数の対象物の像を検知した場合、画像制御部８０６は、複数の対象物それぞれの属性情報に基づいて、当該対象物どうしの関連を示す関連情報を対応情報として表示させる構成である。これにより、ユーザは、センサ内蔵液晶パネル３０１に複数の対象物を載置するだけで、当該対象物どうしの関連を示す関連情報を容易に確認することができる。
In the data display /
特に、データ表示／センサ装置１００は、対象物が服用品である場合には、種類の常備薬を所持するユーザに対して、例えば服用すべき常備薬など、ユーザにとって必要となる情報を手軽に確認させることができる。また、ユーザは、載置した服用品が服用可能（服用すべき）であると判断した服用品をセンサ内蔵液晶パネル３０１から取り上げて、そのまま服用することができる。このため、データ表示／センサ装置１００は、ユーザが、服用品を取り違えて服用することを未然に防止することができる。
In particular, the data display /
〔属性情報テーブル〕
次に、図１０を参照しながら、主制御部８００において用いられる、記憶部９０１に格納された属性情報テーブルについて説明する。図１０は、主制御部８００において参照される、記憶部９０１に格納された属性情報テーブルを示す図である。
[Attribute information table]
Next, the attribute information table stored in the
属性情報テーブルには、図示のように、「品名」、「品番」、「効能」、「飲み合わせ不可品名」、「服用日」、「時間帯」、「賞味期限」および「成分量」を示す情報が格納される。なお、属性情報テーブル内の「品名」または「品番」に対応する「効能」などの情報を属性情報と称する。また、これらの情報は、予め記憶部９０１に格納されているものであるが、これに限らず、上述のように、属性情報特定部８０４が外部通信部９０７を介してネットワーク上から取得したものであってもよい。
In the attribute information table, as shown in the figure, “Product Name”, “Product Number”, “Efficacy”, “Non-drinkable Product Name”, “Dosage Date”, “Time Zone”, “Expiration Date”, and “Ingredient Amount” are displayed. Information to be stored is stored. Information such as “efficiency” corresponding to “product name” or “product number” in the attribute information table is referred to as attribute information. These pieces of information are stored in the
「品名」には、服用品の品名を示す文字情報（品名情報）が格納される。 In the “product name”, character information (product name information) indicating the product name of the clothing is stored.
「品番」には、服用品のそれぞれに付される製造番号を示す記号、数値などの情報（品番情報）が格納される。 The “product number” stores information (product number information) such as a symbol and a numerical value indicating a production number assigned to each clothing item.
「効能」には、各服用品の効能を示す文字情報（効能情報）が格納される。例えば図１０のように、各効能に対して、「コードｎ」（ｎ＝１、２、…）のような簡素な情報を格納しておき、属性情報テーブルとは異なるテーブルにて、各コードに対応する文字情報が格納されていてもよい。 “Effectiveness” stores character information (efficacy information) indicating the efficacy of each clothing item. For example, as shown in FIG. 10, simple information such as “code n” (n = 1, 2,...) Is stored for each effect, and each code is stored in a table different from the attribute information table. The character information corresponding to may be stored.
例えば、コード１は「ガロイン：胃がもたれる、はきけがする等の胃の諸症状に効果を発揮する健胃・消化薬です」、コード２は「ＥＣ１０：ビタミンＥ・Ｃ・Ｂ２、コエンザイムＱ１０を１つに集約した栄養機能食品」、コード３は「フェイチ１００：効果的にヘモグロビンを造り貧血を改善する鉄剤です」とした文字情報に対応付けられている。
For example,
「飲み合わせ不可品名」には、同時に飲み合わせてはいけない（または飲み合わせない方が好ましい）服用品を示す文字情報が飲み合わせ不可情報として格納されている。図１０では、例えばＥＣ１０と飲み合わせ不可能な服用品がフェイチ１００であることが示されている。なお、飲み合わせ不可能な服用品がない場合には、「飲み合わせ不可用品」に例えば「Ｎｕｌｌ」（図１０では「−」で示す）の値が格納されていてもよい。また、この場合、「飲み合わせ不可用品」以外においても、属性情報テーブルの「−」には、「飲み合わせ不可用品」と同様に「ＮＵｌｌ」の値が格納されていてもよい。
Character information indicating clothes that should not be swallowed at the same time (or preferably not swallowed) is stored in the “unswallowable product name” as non-swallowable information. In FIG. 10, for example, it is shown that the clothes that cannot be swallowed with the
「服用日」には、服用品が支給されたとき（または、像取得部８０１が全体画像データを取得したとき）からの日数を示す数値情報（服用日情報）が格納される。画像制御部８０６では、この数値情報に基づいて、服用すべき曜日を算出することができる。
In the “taking day”, numerical information (dosing day information) indicating the number of days from when the article is supplied (or when the
「時間帯」には、服用品を服用するのに適した時間帯を示す文字情報（時間帯情報）が格納される。図１０では、例えばガロインの「時間帯」に示される文字情報として「食後毎」が示されている。なお、「時間帯」の文字情報としては、例えば「食後毎」、「朝食前」、「夕食前」、「食間」などが挙げられ、これらの情報に対応する時間情報（例えば「朝食前」に対応する時間情報として「午前６時〜午前７時」を示す情報）が対応付けて格納されている。 In the “time zone”, character information (time zone information) indicating a time zone suitable for taking clothes is stored. In FIG. 10, for example, “every meal” is shown as the character information shown in the “time zone” of galloin. The text information of “time zone” includes, for example, “after every meal”, “before breakfast”, “before dinner”, “between meals”, etc., and time information corresponding to these information (for example, “before breakfast”). (Information indicating “6 am to 7 am”) is stored in association with each other as time information corresponding to.
「賞味期限」には、服用品の賞味期限の日時を示す情報（期限情報）が格納される。なお、「賞味期限」の代わりに製造日時を示す情報が格納され、必要に応じて、主制御部８００が賞味期限を算出する構成であってもよい。
The “expiration date” stores information (date information) indicating the date and time of the expiration date of the clothes. Note that information indicating the manufacturing date and time may be stored instead of the “best before date”, and the
「成分量」は、服用品の成分量を示す数値情報（成分情報）が成分ごとに格納される。図１０では、成分としてカルシウム、ビタミンＣおよび鉄分の１粒あたりの重量（ｍｇ）が格納されているが、これに限らず、様々な成分の成分量が格納されてもよい。 In the “component amount”, numerical information (component information) indicating the component amount of the clothing is stored for each component. In FIG. 10, the weight (mg) per grain of calcium, vitamin C, and iron is stored as the component, but the present invention is not limited to this, and component amounts of various components may be stored.
さらに、属性情報テーブルには「位置」を示す情報が格納される。「位置」には、属性情報特定部８０４が特定した属性情報に対応する像の位置を書き込むことにより、当該像の位置を示す位置情報（すなわち、座標データ）が格納される。
Furthermore, information indicating “position” is stored in the attribute information table. In “position”, position information (that is, coordinate data) indicating the position of the image is stored by writing the position of the image corresponding to the attribute information specified by the attribute
〔画像データ作成処理（飲み合わせの相互関係を示すときの表示処理）〕
次に、図１１から図２０を参照しながら、画像データ作成処理、および、その結果としてセンサ内蔵液晶パネル３０１に表示される画像の具体例について説明する。なお、図１２（ｂ）、図１４（ｂ）、図１６（ｂ）、図１８（ｂ）および図２０（ｂ）では、センサ内蔵液晶パネル３０１に服用品（または包装された状態の服用品）が載置され、その状態で（すなわち実物が載置された状態で）、画像データ作成処理の結果が表示されているものとする。
[Image data creation process (display process when showing the mutual relationship of drinking)]
Next, a specific example of the image data creation process and the resulting image displayed on the sensor built-in
まず、図１１および図１２を参照しながら、飲み合わせの相互関係を示すときの表示処理としての画像データ作成処理について説明する。図１１は、飲み合わせの相互関係を示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図１２（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１２（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
First, an image data creation process as a display process when showing the mutual relationship of drinking will be described with reference to FIGS. 11 and 12. FIG. 11 is a flowchart showing an image data creation process as a display process when showing a mutual relationship of drinking, and FIG. 12A shows a virtual area specified when the image data creation process is executed. FIG. 12B is a diagram illustrating a display example when an image as a result of the execution of the image data creation process is displayed on the sensor built-in
まず、図９に示すＳ３において、種別／文字認識部８０３が、対象物の文字または記号を認識すると（すなわち、対象物が服用品であると判断すると）、モード設定部８０７に文字認識通知を送信する。モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、画像データ作成モード（以下では単にモードとする）を設定する。
First, in S3 shown in FIG. 9, when the type /
モード設定部８０７におけるモード設定処理方法としては、例えば文字認識通知と共に取得情報を受信し、当該取得情報に示される像の位置からどのモードに設定するかを決定することが挙げられる。この他、センサ内蔵液晶パネル３０１例えば載置された対象物の像の形状および／または個数、予め設定された領域への対象物の載置などを判断してモードを設定したり、モードを問い合わせるための問い合わせ画像を画像制御部８０６に作成させ、当該問い合わせ画像をセンサ内蔵液晶パネル３０１に表示させて、ユーザにモードを選択させてもよい。
As a mode setting processing method in the
ここでは、モード設定部８０７は、飲み合わせの相互関係を示すときの表示処理を示す飲み合わせ表示モードに設定するものとする。
Here, it is assumed that the
次に、画像制御部８０６の表示領域決定部８６１は、完了通知を受信すると、図９に示すＳ１で取得された全体画像データを記憶部９０１から取得すると共に、モード設定部８０７で設定された、飲み合わせ表示モードを示すモード情報を取得する。なお、ここでは、像取得部８０１が取得した全体画像データが記憶部９０１に格納されているものとして説明するが、これに限らず、像取得部８０１（または主制御部８００）内に一時的に格納されていてもよい。また、座標データおよび部分画像データについても同様である。
Next, when receiving the completion notification, the display
表示領域決定部８６１は、飲み合わせ表示モードに対応した各服用品の属性情報（ここでは効能情報）および服用品どうしの関係を示す関連情報（ここでは飲み合わせ情報）を表示するための全体画像データにおける仮想領域を決定する。すなわち、表示領域決定部８６１は、図１２（ａ）に示すように、像（図１２（ａ）に示す斜線部）と重ならない領域を、効能情報および関連情報を表示するための仮想領域として決定する（Ｓ２１）。
The display
表示領域決定部８６１は、効能情報を像（服用品）の近傍に表示させるために、例えば各像の位置（属性情報テーブルに書き込まれた各服用品の位置情報）から所定の距離（像と重ならない程度の距離）だけ離れた位置に、仮想領域としての矩形領域Ｑ１、Ｑ２およびＱ３をそれぞれ決定する。また、表示領域決定部８６１は、対応情報としての関連情報を各像の間に表示させるために、例えば各像を結ぶ線分を算出し、像と重ならない当該線分を含む位置に、仮想領域としての矩形領域Ｐ１、Ｐ２およびＰ３をそれぞれ決定する。
In order to display the efficacy information in the vicinity of the image (clothes), the display
次に、表示領域決定部８６１は、全体画像データにおける仮想領域を決定すると、領域決定通知を属性情報取得部８６２に送信し、決定した仮想領域の位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、各服用品、または、線分を算出したときの２つの像（服用品）ごとに対応付けて記憶部９０１に格納する。
Next, when the display
属性情報取得部８６２は、領域決定通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、飲み合わせ表示モードのときの属性情報、すなわち各服用品の効能情報および飲み合わせ不可情報を取得する（Ｓ２２）。そして、属性情報取得部８６２は、効能情報を画像データ作成部８６４に送信し、飲み合わせ不可情報を関連情報処理部８６３に送信する。
When the attribute
関連情報処理部８６３は、飲み合わせ不可情報を受信すると、記憶部９０１の属性情報テーブルの「品名」を参照することにより、当該飲み合わせ不可情報と一致する服用品があるか否かを判定する（Ｓ２３）。すなわち、関連情報処理部８６３は、属性情報テーブルを参照することにより、属性情報である飲み合わせ不可情報と品名情報とを比較することにより、各服用品の飲み合わせが可能または不可能であることを示す飲み合わせ情報を関連情報として求める。
When the related
具体的には、関連情報処理部８６３は、飲み合わせ不可情報と一致する服用品があると判定した場合（Ｓ２３でＹＥＳ）、服用品どうしの飲み合わせが不可能であることを示す飲み合わせ情報として、記憶部９０１に格納された仮想領域と飲み合わせ不可を示すテンプレート画像とを対応付ける（Ｓ２４）。一方、関連情報処理部８６３は、飲み合わせ不可情報と一致する服用品がないと判定した場合（Ｓ２３でＮＯ）、服用品どうしの飲み合わせが可能であることを示す飲み合わせ情報として、記憶部９０１に格納された仮想領域と飲み合わせ可を示すテンプレート画像とを対応付ける（Ｓ２５）。関連情報処理部８６３は、各仮想領域とテンプレート画像との対応付けが完了すると、対応付け完了通知を画像データ作成部８６４に送信する。
Specifically, when the related
ここで、飲み合わせ可／不可を示すテンプレート画像とは、センサ内蔵液晶パネル３０１に画像が表示されたときに、ユーザが服用品どうしの飲み合わせが可能か不可能かを判断できるような画像であればよい。例えば、図１２（ｂ）に示すように、飲み合わせ可を示すテンプレート画像としては「○（線分を含む）」、飲み合わせ不可を示すテンプレート画像としては「×（線分を含む）」が挙げられる。
Here, the template image indicating whether or not drinking is possible is an image that allows the user to determine whether or not drinking between clothes is possible when the image is displayed on the sensor built-in
画像データ作成部８６４は、対応付け完了通知を受信すると、記憶部９０１に格納された各仮想領域に対応付けられたテンプレート画像と全体画像データとを読み出し、各仮想領域の大きさにあわせてテンプレート画像の拡大／縮小を行う。そして、画像データ作成部８６４は、拡大／縮小処理が行われたテンプレート画像と効能情報とを、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ２６）。
When the image
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図１２（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。
When the image
なお、上記では、画像制御部８０６は、飲み合わせの相互関係を示すときの表示処理としての画像データ作成処理を行うときに、各服用品の効能情報を表示する構成となっているが、これに限らず、効能情報を表示しない構成であってもよい。また、画像制御部８０６は、効能情報だけを表示させるように画像データ作成処理を行ってもよい。
In the above, the
以上のように、データ表示／センサ装置１００では、画像制御部８０６は、センサ内蔵液晶パネル３０１が像を検知したときの画像における当該像とは異なる領域に、対応情報（関連情報）を表示させる構成である。これにより、対応情報が文字、数値、記号を含む場合であっても、データ表示／センサ装置１００は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
As described above, in the data display /
〔画像データ作成処理（服用時間の順番を示すときの表示処理）〕
次に、図１３および図１４を参照しながら、服用時間の順番を示すときの表示処理としての画像データ作成処理について説明する。図１３は、服用時間の順番を示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図１４（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１４（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
[Image data creation processing (display processing when showing the order of taking time)]
Next, image data creation processing as display processing for indicating the order of taking time will be described with reference to FIGS. 13 and 14. FIG. 13 is a flowchart showing image data creation processing as display processing when the order of taking time is shown. FIG. 14A shows a virtual area specified when the image data creation processing is executed. FIG. 14B is a diagram showing a display example when an image as a result of executing the image data creation processing is displayed on the sensor built-in
まず、モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、服用時間の順番を示すときの表示処理を示す順番表示モードに設定するものとする。
First, when the
次に、画像制御部８０６の表示領域特定部８６１は、完了通知を受信すると、図９に示すＳ１で取得された全体画像データを記憶部９０１から取得すると共に、モード設定部８０７で設定された順番表示モードを示すモード情報を取得する。
Next, when receiving the completion notification, the display
なお、画像制御部８０６は、モード設定部８０７が順番表示モードに設定した場合には、例えば図１４（ａ）に示す仮想領域Ｐ４に服用品を載置するようにユーザに指示するためのメッセージをセンサ内蔵液晶パネル３０１に表示させてもよい。
Note that when the
表示領域決定部８６１は、順番表示モードに対応した各服用品の属性情報（ここでは時間帯情報）および服用品どうしの関係を示す関連情報（ここでは順位情報）を表示するための全体画像データにおける仮想領域を決定する。すなわち、表示領域決定部８６１は、図１４（ａ）に示すように、像（図１４（ａ）に示す斜線部）と重ならない領域を、時間帯情報および関連情報を表示するための仮想領域として決定する（Ｓ４１）。
The display
表示領域決定部８６１は、時間帯情報（服用時間）を示す棒グラフを表示するために、仮想領域としての矩形領域Ｐ５を決定する。また、表示領域決定部８６１は、各服用品に対応する棒グラフを表示するために、例えば像の位置または像の個数に基づいて、矩形領域Ｐ５１からＰ５３を決定する。さらに、表示領域決定部８６１は、上記と同様に、服用すべき時間が早い服用品の順番を示す番号を表示するために、仮想領域としての矩形領域Ｐ６（Ｐ６１からＰ６３）を決定する。なお、矩形領域Ｐ５およびＰ６は、順番表示モードである場合には記憶部９０１に予め格納されていてもよい。
The display
次に、表示領域決定部８６１は、全体画像データにおける仮想領域を決定すると、領域決定通知を属性情報取得部８６２に送信し、決定した仮想領域としての矩形領域Ｐ５１からＰ５３、および、矩形領域Ｐ６１からＰ６３の各位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、各服用品に対応付けて記憶部９０１に格納する。
Next, when the display
属性情報取得部８６２は、領域決定通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、順番表示モードのときの属性情報、すなわち各服用品の時間帯情報を取得する（Ｓ４２）。そして、属性情報取得部８６２は、時間帯情報を関連情報処理部８６３および画像データ作成部８６４に送信する。
When the attribute
関連情報処理部８６３は、時間帯情報を受信すると、服用品を服用する順番を決定する（Ｓ４３）。具体的には、関連情報処理部８６３は、時間帯情報を受信したときの計時部８０８から現在時刻を取得する。そして、関連情報処理部８６３は、各服用品の時間帯情報と現在時刻とを比較し、各服用品に対して現在時刻に近い順から若い番号を付与する。
When the related
例えば現在時刻が午前６時である場合、フェイチ１００（朝食前）、ガロイン（食後毎）、ＡＲ１５０（食間）の順番で服用される。従って、この場合には、関連情報処理部８６３は、フェイチ１００に「１」、ガロインに「２」、ＡＲ１５０に「３」の順番を与える。そして、関連情報処理部８６３は、服用品を服用する順番を決定すると、順番決定通知を画像データ作成部８６４に送信する。
For example, when the current time is 6:00 am, the dose is taken in the order of fetish 100 (before breakfast), galloin (after each meal), and AR150 (between meals). Therefore, in this case, the related
画像データ作成部８６４は、順番決定通知を受信すると、記憶部９０１に格納された棒グラフを示すテンプレート画像を読み出す。そして、画像データ作成部８６４は、属性情報取得部８６２から受信した時間帯情報の示す時間帯における棒グラフの表示色を予め決められた表示色に変更することにより、棒グラフを示すテンプレート画像を加工する。また、画像データ作成部８６４は、順番決定通知を受信すると、記憶部９０１に格納された各順番を示すテンプレート画像および全体画像データを読み出す。
When the image
画像データ作成部８６４は、加工された棒グラフを示すテンプレート画像および順番を示すテンプレート画像を、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ４４）。
The image
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図１４（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。なお、図１４（ｂ）に示すように、属性情報取得部８６２が各服用品の品名情報も取得し、画像データ作成部８６４が品名情報および時間帯情報を表示させるようにしてもよい。
When the image
以上のように、飲み合わせの相互関係を示すときの表示処理と同様に、対応情報が文字、数値、記号を含む場合であっても、データ表示／センサ装置１００は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
As described above, similarly to the display process when showing the mutual relationship of the drinking, the data display /
〔画像データ作成処理（服用日のグルーピングを示すときの表示処理）〕
次に、図１５および図１６を参照しながら、服用日のグルーピングを示すときの表示処理としての画像データ作成処理について説明する。図１５は、服用日のグルーピングを示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図１６（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１６（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
[Image data creation processing (display processing when showing grouping of taking days)]
Next, with reference to FIGS. 15 and 16, image data creation processing as display processing when showing grouping of taking days will be described. FIG. 15 is a flowchart showing image data creation processing as display processing when showing the grouping of taking days, and FIG. 16A shows a virtual area specified when the image data creation processing is executed. FIG. 16B is a diagram illustrating a display example when an image as a result of the execution of the image data creation process is displayed on the sensor built-in
なお、服用日のグルーピングを示すときの表示処理の場合には、画像制御部８０６は、属性情報取得部８６２が完了通知を受信し、関連情報処理部８６３が服用品どうしの関連を示す関連情報（ここではグループ情報）を算出した後に、表示領域決定部８６１が仮想領域と決定する。
In the case of display processing for indicating grouping of taking days, the
まず、モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、服用日のグルーピングを示すときの表示処理を示す服用日表示モードに設定するものとする。
First, when the
次に、属性情報取得部８６２は、完了通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、服用日表示モードのときの属性情報、すなわち各像の服用日情報を取得する（Ｓ５１）。そして、属性情報取得部８６２は、取得した各像の服用日情報を関連情報処理部８６３に送信する。
Next, when the attribute
関連情報処理部８６３は、服用日情報を受信すると、同じ服用日を示す服用日情報のグループに分類する（Ｓ５２）。例えば、図１０に示す属性情報テーブルでは、「ガロイン」の服用日情報および「ＡＲ１５０」の服用日情報が同じ「＋１」、「フェイチ１００」および「ＡＲ１５０」の服用日情報が「＋２」、「ＥＣ１０」の服用日情報が「＋５」をそれぞれ示している。この場合、関連情報処理部８６３は、取得した服用日情報を、「＋１」（「ガロイン」および「ＡＲ１５０」）を示すグループＧ１、「＋２」（「フェイチ１００」および「ＡＲ１５０」）を示すグループＧ２、「＋５」（「ＥＣ１０」）を示すグループＧ３のように分類する。
When the related
また、関連情報処理部８６３は、服用日情報を受信すると、グループごとに服用すべき曜日を算出する。具体的には、主制御部８００は、例えば像取得部８０１が全体画像データを取得したときの時刻（日時）を計時部８０８から取得し、記憶部９０１に格納されたカレンダーから当該日時の曜日を算出する。そして、関連情報処理部８６３は、算出した曜日（数値情報）に服用日情報の示す数値を加算することにより、服用すべき曜日を算出する。
Moreover, the related
例えば、関連情報処理部８６３は、像取得部８０１が全体画像データを取得した日の曜日が日曜日であった場合、服用日情報が「＋１」であれば服用すべき曜日を月曜日と算出する。同様に、関連情報処理部８６３は、服用日情報が「＋２」であれば服用すべき曜日を火曜日と、服用日情報が「＋５」であれば服用すべき曜日を金曜日と算出する。
For example, if the day of the week on which the
関連情報処理部８６３は、算出した曜日と分類したグループとを対応付け、これをグループ情報（関連情報）として表示領域決定部８６１に送信する。
The related
表示領域決定部８６１は、グループ情報を取得すると、全体画像データにおける各グループに対応した仮想領域を決定する（Ｓ５３）。すなわち、表示領域決定部８６１は、各グループに含まれる品名情報と属性情報テーブルとを参照することにより得られる各グループ内の像の位置に基づいて、図１６（ａ）に示すように、グループ内の像（図１６（ａ）に示す斜線部）をすべて含む領域を、グループ情報を表示するための仮想領域として決定する。例えば、表示領域決定部８６１は、図１６（ａ）に示すように、グループＧ１を表示するための仮想領域としての矩形領域Ｐ７、グループＧ２を表示するための仮想領域としての矩形領域Ｐ８、グループＧ３を表示するための仮想領域としての矩形領域Ｐ９と決定する。
When acquiring the group information, the display
表示領域決定部８６１は、全体画像データにおける仮想領域を決定すると、領域決定通知を画像データ作成部８６４に送信し、決定した仮想領域としての矩形領域Ｐ７からＰ９の各位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、グループに対応付けて記憶部９０１に格納する。
When the display
画像データ作成部８６４は、領域決定通知を受信すると、記憶部９０１に格納された円を示すテンプレート画像および全体画像データを読み出す。そして、画像データ作成部８６４は、各仮想領域の大きさにあわせてテンプレート画像の拡大／縮小を行う。例えば、画像データ作成部８６４は、各仮想領域の４辺に接触するようにテンプレート画像を拡大／縮小させる。そして、画像データ作成部８６４は、拡大／縮小処理が行われたテンプレート画像を、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ５４）。
When the image
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図１６（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。なお、図１６（ｂ）に示すように、画像データ作成部８６４は、グループ情報に含まれる各グループと対応付けられた曜日情報を、センサ内蔵液晶パネル３０１に表示させるようにしてもよい。
When the image
以上のように、データ表示／センサ装置１００では、画像制御部８０６は、センサ内蔵液晶パネル３０１が像を検知したときの画像における当該像を含む領域に、対応情報を表示させる構成である。これにより、データ表示／センサ装置１００は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
As described above, in the data display /
〔画像データ作成処理（総摂取量を示すときの表示処理）〕
次に、図１７および図１８を参照しながら、総摂取量を示すときの表示処理としての画像データ作成処理について説明する。図１７は、総摂取量を示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図１８（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１８（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
[Image data creation process (display process to show total intake)]
Next, image data creation processing as display processing when the total intake is shown will be described with reference to FIGS. 17 and 18. FIG. 17 is a flowchart showing an image data creation process as a display process when the total intake is shown, and FIG. 18A shows an arrangement of virtual areas specified when the image data creation process is executed. FIG. 18B is a diagram illustrating a display example when an image as a result of the execution of the image data creation process is displayed on the sensor built-in
なお、総摂取量を示すときの表示処理の場合には、画像制御部８０６は、属性情報取得部８６２が完了通知を受信し、関連情報処理部８６３が服用品どうしの関連を示す関連情報（ここでは割合情報）を算出した後に、表示領域決定部８６１が仮想領域と決定する。
In the case of display processing for indicating the total intake, the
まず、モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、総摂取量を示すときの表示処理を示す摂取量表示モードに設定するものとする。
First, when receiving a character recognition notification, the
なお、画像制御部８０６は、モード設定部８０７が摂取量表示モードに設定した場合には、例えば図１８（ａ）に示す仮想領域Ｐ１４に服用品を載置するようにユーザに指示するためのメッセージをセンサ内蔵液晶パネル３０１に表示させてもよい。
When the
次に、属性情報取得部８６２は、完了通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、摂取量表示モードのときの属性情報、すなわち各服用品の成分情報を取得する（Ｓ６１）。そして、属性情報取得部８６２は、取得した各服用品の成分情報を関連情報処理部８６３に送信する。
Next, when the attribute
関連情報処理部８６３は、成分情報を受信すると、同じ成分を示す成分情報のグループに分類し、各グループの合計成分量を算出し、１日に必要な摂取量に対する割合を算出する（Ｓ６２）。例えば図１０に示す属性情報テーブルでは、「ＥＣ１０」、「フェイチ１００」および「ＡＲ１５０」の「カルシウム」の成分量がそれぞれ「ａ２」、「ａ３」および「ａ４」で示されている。同様に、「ビタミンＣ」の成分量はそれぞれ「ｂ２」、「ｂ３」および「ｂ４」で示され、「鉄分」の成分量はそれぞれ「ｃ２」、「ｃ３」および「ｃ４」で示されている。この場合、関連情報処理部８６３は、取得した成分情報を「カルシウム」、「ビタミンＣ」および「鉄分」に分類し、「カルシウム」の合計成分量ａ２＋ａ３＋ａ４、「ビタミンＣ」の合計成分量ｂ２＋ｂ３＋ｂ４、「鉄分」の合計成分量ｃ２＋ｃ３＋ｃ４を算出する。
When the related
そして、関連情報処理部８６３は、記憶部９０１に予め格納された各成分の１日に必要な摂取量を読み出し、各グループの合計成分量を当該必要な摂取量で割ることにより、１日に必要な摂取量に対する割合を算出する。関連情報処理部８６３は、この割合を示す割合情報を、服用品どうしの関連を示す関連情報として表示領域決定部８６１および画像データ作成部８６４に送信する。
Then, the related
表示領域決定部８６１は、割合情報を受信すると、全体画像データにおける各グループに対応した仮想領域を決定する（Ｓ６３）。この場合、表示領域決定部８６１は、割合情報からグループ数を算出し、図１８（ａ）に示すように、予め決められている仮想領域Ｐ１５の位置情報（例えば全体画像データにおける４隅の座標）を記憶部９０１から読み出す。そして、表示領域決定部８６１は、読み出した位置情報に基づいて、グループ数分に均等に分割した仮想領域（この例では矩形領域Ｐ１５１からＰ１５３）を決定する。
When receiving the ratio information, the display
表示領域決定部８６１は、全体画像データにおける仮想領域を決定すると、領域決定通知を画像データ作成部８６４に送信し、決定した仮想領域としての矩形領域Ｐ１５１からＰ１５３の各位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、グループに対応付けて記憶部９０１に格納する。
When the display
画像データ作成部８６４は、領域決定通知を受信すると、記憶部９０１に格納された円グラフを示すテンプレート画像および全体画像データを読み出す。そして、画像データ作成部８６４は、表示領域決定部８６１から受信した割合情報の示す割合を表すために、円グラフの表示色を予め決められた表示色に変更することにより、円グラフを示すテンプレート画像を加工する。
When the image
また、画像データ作成部８６４は、各仮想領域の大きさにあわせて、加工されたテンプレート画像の拡大／縮小を行う。そして、画像データ作成部８６４は、拡大／縮小処理が行われたテンプレート画像を、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ６４）。
The image
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図１８（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。
When the image
以上のように、飲み合わせの相互関係を示すときの表示処理と同様に、対応情報が文字、数値、記号を含む場合であっても、データ表示／センサ装置１００は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
As described above, similarly to the display process when showing the mutual relationship of the drinking, the data display /
〔画像データ作成処理（賞味期限の判断を示すときの表示処理）〕
次に、図１９および図２０を参照しながら、賞味期限の判断を示すときの表示処理としての画像データ作成処理について説明する。図１９は、賞味期限の判断を示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図２０（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図２０（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
[Image data creation process (display process when determining the expiration date)]
Next, image data creation processing as display processing when indicating the expiration date is described with reference to FIGS. 19 and 20. FIG. 19 is a flowchart showing image data creation processing as display processing when the expiration date is determined. FIG. 20A shows a virtual area specified when the image data creation processing is executed. FIG. 20B is a diagram illustrating a display example when an image as a result of the execution of the image data creation process is displayed on the sensor built-in
まず、モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、賞味期限の判断を示すときの表示処理を示す期限表示モードに設定するものとする。
First, when the
次に、画像制御部８０６の表示領域決定部８６１は、完了通知を受信すると、図９に示すＳ１で取得された全体画像データを記憶部９０１から取得すると共に、モード設定部８０７で設定された、期限表示モードを示すモード情報を取得する。
Next, when receiving the completion notification, the display
表示領域決定部８６１は、期限表示モードに対応した各服用品の属性情報に対応した対応情報（ここでは期限判定情報）を表示するための全体画像データにおける仮想領域を決定する。表示領域決定部８６１は、属性情報テーブルから各服用品に対応した像の位置を読み出し、例えば図２０（ａ）に示すように、各服用品の像（図２０（ａ）に示す斜線部）の位置を中心とした矩形領域Ｐ１１からＰ１３を仮想領域として決定する（Ｓ７１）。
The display
また、表示領域決定部８６１は、記憶部９０１に格納された期限超過を示すテンプレート画像および期限内を示すテンプレート画像それぞれに対応するメッセージ情報を示すテンプレート画像を表示するための仮想領域として矩形領域Ｐ１０を決定する。そして、表示領域決定部８６１は、仮想領域を決定すると、領域決定通知を属性情報取得部８６２に送信する。このとき、表示領域決定部８６１は、決定した仮想領域としての矩形領域Ｐ１１からＰ１３の各位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、各服用品に対応付けて記憶部９０１に格納する。また、表示領域決定部８６１は、メッセージ情報を含むテンプレート画像を表示するための仮想領域Ｐ１０の位置情報を記憶部９０１に格納する。
In addition, the display
次に、属性情報取得部８６２は、領域決定通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、期限表示モードのときの属性情報、すなわち各像の期限情報を取得する（Ｓ７２）。そして、属性情報取得部８６２は、取得した各像の期限情報を関連情報処理部８６３に送信する。
Next, when the attribute
関連情報処理部８６３は、期限情報を受信すると、計時部８０８から現在時刻（日時）を取得し、各服用品の賞味期限に示される日が現在時刻を過ぎているか否かを判定する（Ｓ７３）。
When the related
関連情報処理部８６３は、服用品の賞味期限に示される日が現在時刻を過ぎていると判定した場合（Ｓ７３でＹＥＳ）、賞味期限が切れていることを示す期限判定情報として、記憶部９０１に格納された期限超過を示すテンプレート画像と当該服用品とを対応付ける（Ｓ７４）。一方、服用品の賞味期限に示される日が現在時刻を過ぎていないと判定した場合（Ｓ７３でＮＯ）、賞味期限が切れていないことを示す期限判定情報として、記憶部９０１に格納された期限内を示すテンプレート画像と当該服用品とを対応付ける（Ｓ７５）。関連情報処理部８６３は、各服用品とテンプレート画像との対応付けが完了すると、対応付け完了通知を表示領域決定部８６１に送信する。
When the related
例えば、図１０に示す属性情報テーブルでは、「ガロイン」、「ＥＣ１０」および「フェイチ１００」の期限情報は、それぞれ「２０１０／７／１」、「２００９／３／１」および「２０１１／４／１」を示している。従って、関連情報処理部８６３は、例えば計時部８０８から「２００９／４／１」を示す現在時刻（日時）を取得した場合には、「ＥＣ１０」を期限超過を示すテンプレート画像と対応付ける一方、「ガロイン」および「フェイチ１００」を期限内を示すテンプレート画像と対応付ける。
For example, in the attribute information table shown in FIG. 10, the deadline information of “Garoin”, “EC10”, and “
上記のように、テンプレート画像は、服用品の属性情報と現在時刻との比較により服用品との対応付けが行われたときの期限判定情報（すなわち服用品の属性情報に対応する対応情報）である。また、上記期限超過を示すテンプレート画像は、服用品が期限切れであることを示す「期限切れ」のメッセージおよび図形（ここでは、例えば色付き（例えば赤）の丸印）とを含む情報を示すものであり、上記期限内を示すテンプレート画像は、服用品が期限切れでないことを示す「ＯＫ」のメッセージおよび図形（ここでは、例えば上記とは異なる色付き（例えば青）の丸印）とを含む情報を示すものである。 As described above, the template image is deadline determination information (that is, correspondence information corresponding to the clothing attribute information) when the clothing attribute is associated with the clothing by comparing the clothing attribute information with the current time. is there. In addition, the template image indicating that the expiration date has passed indicates information including an “expired” message and a figure (here, for example, a colored (for example, red) circle) indicating that the clothing has expired. The template image indicating the expiration date indicates information including an “OK” message and a graphic (here, for example, a colored (for example, blue) circle different from the above) indicating that the clothes are not expired. It is.
画像データ作成部８６４は、対応付け完了通知を受信すると、記憶部９０１に格納されたテンプレート画像および全体画像データを読み出す。そして、画像データ作成部８６４は、各仮想領域の大きさにあわせてテンプレート画像の拡大／縮小を行う。例えば、画像データ作成部８６４は、各仮想領域の４辺に接触するようにテンプレート画像を拡大／縮小させる。そして、画像データ作成部８６４は、拡大／縮小処理が行われたテンプレート画像を、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ７６）。
Upon receiving the association completion notification, the image
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図２０（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。
When the image
なお、上記では、図１２（ｂ）、図１４（ｂ）、図１６（ｂ）、図１８（ｂ）および図２０（ｂ）に示す画像データ作成処理が実行された結果としての画像は、静止画であるものとして説明しているが動画であってもよい。 In the above, the image as a result of executing the image data creation processing shown in FIGS. 12B, 14B, 16B, 18B, and 20B is: Although described as a still image, it may be a moving image.
以上のように、データ表示／センサ装置１００では、センサ内蔵液晶パネル３０１に載置された服用品どうしの関連ではなく、期限判定情報のように、服用品それぞれに対応する対応情報を表示することも可能である。この場合であっても、データ表示／センサ装置１００は、上記の表示処理と同様、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、センサ内蔵液晶パネル３０１に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。
As described above, the data display /
〔補足１（主制御部８００のソフトウェア化）〕
最後に、本実施形態に係るデータ表示／センサ装置１００の各ブロック、特に像取得部８０１、特徴量抽出部８０２、種別／文字認識部８０３、属性情報特定部８０４、画像制御部８０６（表示領域決定部８６１、属性情報取得部８６２、関連情報処理部８６３および画像データ作成部８６４）、モード設定部８０７および計時部８０８は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
[Supplement 1 (Softwareization of main control unit 800)]
Finally, each block of the data display /
すなわち、本実施形態に係るデータ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit）、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
That is, the data display /
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。 Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R. Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
また、本実施形態に係るデータ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
In addition, the data display /
〔補足２（データ表示／センサ装置１００の他の使用例）〕
なお、上記では主に、服用品が対象物として載置された場合（すなわち、品名、品番などの文字または記号の認識を行う場合）のデータ表示／センサ装置１００における処理の流れについて説明したが、これに限られたものではない。
[Supplement 2 (Data display / other use examples of sensor device 100)]
In the above description, the flow of processing in the data display /
例えば、センサ内蔵液晶パネル３０１に載置された対象物が個人情報の印字されたＩＣカードである場合には、服用品が載置されたときと同様の文字認識技術を用いた処理が行われる。データ表示／センサ装置１００は、少なくとも２人分の個人情報（例えば氏名、生年月日）を取得することにより、ＩＣカードの属性情報を取得する。そして、データ表示／センサ装置１００は、取得したＩＣカードの属性情報に基づいて、ＩＣカードどうしの関連を示す関連情報（例えば相性診断を示す情報）を、決定した仮想領域（あるいは予め決められた仮想領域）に表示させる。
For example, when the object placed on the sensor built-in
また、センサ内蔵液晶パネル３０１に載置された対象物がナットおよびビスの場合には、ナットに適応するビスを選択表示することができる。この場合、データ表示／センサ装置１００は、例えば、２つの領域の一方に１つのナットを、他方に複数のビスを載置させ、当該ナットおよびビスそれぞれの形状を一般的な画像認識技術を用いた処理により取得する。そして、データ表示／センサ装置１００は、ナットおよびビスの属性情報に基づいて、ナットとビスとの関連を示す関連情報（例えばナットに適応するビスの選択）を、決定した仮想領域（あるいは予め決められた仮想領域）に表示させる。
Further, when the object placed on the sensor built-in
さらに、センサ内蔵液晶パネル３０１に載置された対象物が複数のビーズである場合には、データ表示／センサ装置１００は、ビーズを用いた工芸品を作成するための配置の仕方や完成予想図などの提供を行うことができる。この場合、データ表示／センサ装置１００は、ビーズの形状および色彩を一般的な画像認識処理を用いた処理により取得し、形状および色彩に基づいて、ビーズどうしの関連を示す関連情報（例えば使用可能なビーズ、ビーズの使用順番）を、決定した仮想領域（あるいは予め決められた仮想領域）に表示させる。
Further, when the target object placed on the sensor built-in
また、センサ内蔵液晶パネル３０１に載置された対象物が複数の種である場合には、データ表示／センサ装置１００は、種の種別ごとに分類して分類結果を表示させたり、各種別の属性情報を表示させたりすることができる。この場合、データ表示／センサ装置１００は、種の形状および色彩を一般的な画像認識処理を用いた処理により取得する。また、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に載置された複数の種それぞれの重さを測定することが可能な構造となっている。そして、データ表示／センサ装置１００は、取得した形状、色彩および重さに基づいて、種どうしの関連を示す関連情報（例えば種の種別）を表示させる。
In addition, when the object placed on the sensor built-in
〔補足３（本発明の別の表現）〕
なお、本発明は、以下のように表現してもよい。
[Supplement 3 (another expression of the present invention)]
The present invention may be expressed as follows.
本発明に係る画像処理装置は、表示機能とスキャナ機能を備えたデバイス（表示面とスキャナ面が同一であることが前提）に置いた物体をスキャンして固体認識を行い、認識結果を物体の近傍に表示する構成である。 An image processing apparatus according to the present invention performs solid recognition by scanning an object placed on a device having a display function and a scanner function (assuming that the display surface and the scanner surface are the same), and obtains the recognition result of the object. It is the structure displayed in the vicinity.
さらに、本発明に係る画像処理装置は、複数の物体を同時に読み取って固体認識を行い、認識結果を用いて論理検索することが好ましい。 Furthermore, the image processing apparatus according to the present invention preferably performs solid recognition by simultaneously reading a plurality of objects, and performs a logical search using the recognition result.
さらに、本発明に係る画像処理装置は、論理検索の検索条件を表す図形を、論理検索の対象となった複数の物体の位置を含めて表示することが好ましい。 Furthermore, the image processing apparatus according to the present invention preferably displays a graphic representing a search condition for logical search including the positions of a plurality of objects subjected to the logical search.
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope shown in the claims. That is, embodiments obtained by combining technical means appropriately modified within the scope of the claims are also included in the technical scope of the present invention.
本発明に係る画像処理装置は、撮像対象となる対象物を用いて、当該対象物に対応ずる情報を容易に表示させることが可能であり、特に、ノート型ＰＣ、ＰＤＡ、電子辞書、携帯電話機などのユーザが持ち運び可能な携帯型端末に適用することができる。 The image processing apparatus according to the present invention can easily display information corresponding to the object using the object to be imaged, and in particular, a notebook PC, a PDA, an electronic dictionary, and a mobile phone. The present invention can be applied to a portable terminal that can be carried by a user.
１００ データ表示／センサ装置（画像処理装置）
３０１ センサ内蔵液晶パネル（面状部材）
８０２ 特徴量抽出部（抽出手段）
８０４ 属性情報特定部（特定手段）
８０６ 画像制御部（画像制御手段）
100 Data display / sensor device (image processing device)
301 Liquid crystal panel with built-in sensor (planar member)
802 Feature amount extraction unit (extraction means)
804 Attribute information identification unit (identification means)
806 Image control unit (image control means)
Claims (6)
上記面状部材が検知した像の特徴量を抽出する抽出手段と、
上記抽出手段が抽出した像の特徴量に基づいて、上記対象物の属性情報を特定する特定手段と、
上記特定手段が特定した属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御手段と、を備えることを特徴とする画像処理装置。 A planar member that displays an image and detects an image of a nearby object;
Extraction means for extracting the feature amount of the image detected by the planar member;
Identification means for identifying attribute information of the object based on the feature amount of the image extracted by the extraction means;
An image processing apparatus comprising: image control means for displaying correspondence information corresponding to the attribute information specified by the specifying means in a state where an object is placed on the planar member.
上記画像制御手段は、上記複数の対象物それぞれの属性情報に基づいて、当該対象物どうしの関連を示す関連情報を上記対応情報として表示させることを特徴とする請求項１に記載の画像処理装置。 The planar member detects images of a plurality of objects,
The image processing apparatus according to claim 1, wherein the image control unit displays related information indicating a relationship between the objects as the correspondence information based on attribute information of each of the plurality of objects. .
上記面状部材が検知した像の特徴量を抽出する抽出ステップと、
上記抽出ステップにて抽出された像の特徴量に基づいて、上記対象物の属性情報を特定する特定ステップと、
上記特定ステップにて特定された属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御ステップと、を含むことを特徴とする画像処理装置の制御方法。 A method of controlling an image processing apparatus including an image and a planar member that detects an image of a nearby object,
An extraction step of extracting a feature amount of the image detected by the planar member;
A specifying step for specifying attribute information of the object based on the feature amount of the image extracted in the extraction step;
An image control step of displaying correspondence information corresponding to the attribute information specified in the specifying step in a state where an object is placed on the planar member, and controlling the image processing apparatus Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009098394A JP2010250506A (en) | 2009-04-14 | 2009-04-14 | Image processing apparatus and method for controlling the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009098394A JP2010250506A (en) | 2009-04-14 | 2009-04-14 | Image processing apparatus and method for controlling the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010250506A true JP2010250506A (en) | 2010-11-04 |
Family
ID=43312769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009098394A Pending JP2010250506A (en) | 2009-04-14 | 2009-04-14 | Image processing apparatus and method for controlling the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010250506A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9423641B2 (en) | 2013-01-02 | 2016-08-23 | Samsung Display Co., Ltd. | Display having touch sensing function |
| JP2017021644A (en) * | 2015-07-13 | 2017-01-26 | 東日本メディコム株式会社 | Medicine information providing system, medicine information providing method, program, and envelope |
| JP2017021645A (en) * | 2015-07-13 | 2017-01-26 | 東日本メディコム株式会社 | Medicine taking support system, medicine taking support method, program, and envelope |
| JP2018101441A (en) * | 2018-02-27 | 2018-06-28 | 東日本メディコム株式会社 | Medicine taking support system, medicine taking support method, and program |
| JP2020017307A (en) * | 2019-10-16 | 2020-01-30 | 東日本メディコム株式会社 | Medicine taking support system, medicine taking support method, and program |
-
2009
- 2009-04-14 JP JP2009098394A patent/JP2010250506A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9423641B2 (en) | 2013-01-02 | 2016-08-23 | Samsung Display Co., Ltd. | Display having touch sensing function |
| JP2017021644A (en) * | 2015-07-13 | 2017-01-26 | 東日本メディコム株式会社 | Medicine information providing system, medicine information providing method, program, and envelope |
| JP2017021645A (en) * | 2015-07-13 | 2017-01-26 | 東日本メディコム株式会社 | Medicine taking support system, medicine taking support method, program, and envelope |
| JP2018101441A (en) * | 2018-02-27 | 2018-06-28 | 東日本メディコム株式会社 | Medicine taking support system, medicine taking support method, and program |
| JP2020017307A (en) * | 2019-10-16 | 2020-01-30 | 東日本メディコム株式会社 | Medicine taking support system, medicine taking support method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11650626B2 (en) | Systems and methods for extending a keyboard to a surrounding surface using a wearable extended reality appliance | |
| CN108234693A (en) | Electronic equipment with biosensor | |
| JP5367339B2 (en) | MENU DISPLAY DEVICE, MENU DISPLAY DEVICE CONTROL METHOD, AND MENU DISPLAY PROGRAM | |
| JP2010250506A (en) | Image processing apparatus and method for controlling the same | |
| US20170249061A1 (en) | Method and Apparatus for Providing User Interfaces with Computerized Systems and Interacting with a Virtual Environment | |
| WO2011102038A1 (en) | Display device with touch panel, control method therefor, control program, and recording medium | |
| JP2010108081A (en) | Menu display device, method of controlling the menu display device, and menu display program | |
| JP2010140300A (en) | Display, control method, control program and recording medium | |
| JP2010092340A (en) | Image display/image detection apparatus, image display method, image display program, and recording medium with program recorded thereon | |
| JP5306780B2 (en) | Input device | |
| JP5254753B2 (en) | Numerical input device, numerical input method, numerical input program, and computer-readable recording medium | |
| JP5236536B2 (en) | Image display / image detection apparatus, control method, control program, and computer-readable recording medium recording the control program | |
| JP2010123082A (en) | Display device, control method of the same, display device control program, and computer readable recording medium recording the program | |
| JP2010118018A (en) | Position identifying device, position identification program, computer-readable storage medium, and position identification method | |
| JP2010182066A (en) | Device and program for estimating contact state, computer-readable recording medium, and method for estimating contact state | |
| JP2010117841A (en) | Image detection device, recognition method of input position and program | |
| JP2010108446A (en) | Information processor, control method of information processor, and information processing program | |
| JP5179325B2 (en) | Image analysis apparatus, image analysis method, display apparatus, image analysis program, and recording medium | |
| JP2010119064A (en) | Color detection device, color detection program, computer readable recording medium, and color detection method | |
| JP2010122444A (en) | Map display apparatus, method for controlling map display apparatus, program for controlling map display apparatus, and computer readable recording medium | |
| JP2010062938A (en) | Image display/image detection apparatus | |
| JP2010128566A (en) | Image detection device, recognition method for input region, and program | |
| JP6334994B2 (en) | Medication management device, medication management method, and medication management program | |
| US20230395223A1 (en) | User interfaces to track medications | |
| JP2010092272A (en) | Image display/image detection device, auxiliary image display method, and program |