JP2009224919A - Portable communication terminal - Google Patents

Portable communication terminal Download PDF

Info

Publication number
JP2009224919A
JP2009224919A JP2008065152A JP2008065152A JP2009224919A JP 2009224919 A JP2009224919 A JP 2009224919A JP 2008065152 A JP2008065152 A JP 2008065152A JP 2008065152 A JP2008065152 A JP 2008065152A JP 2009224919 A JP2009224919 A JP 2009224919A
Authority
JP
Japan
Prior art keywords
image
condition
unit
search
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008065152A
Other languages
Japanese (ja)
Other versions
JP5242202B2 (en
Inventor
Koji Ono
紘司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2008065152A priority Critical patent/JP5242202B2/en
Publication of JP2009224919A publication Critical patent/JP2009224919A/en
Application granted granted Critical
Publication of JP5242202B2 publication Critical patent/JP5242202B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a portable communication terminal supporting registration of an image into an address book. <P>SOLUTION: A cellular phone 2 photographs a name card 70 and creates a text sentence 72. The phone generates a query using a character string extracted from the text sentence 72 and transmits it to an image retrieval server 76. Then, the phone displays a menu screen 78 containing a thumbnail image based on search result obtained by the transmission, and receives user's selection. The phone registers the received image into the address book. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、携帯通信端末に関し、特にアドレス帳への画像登録を支援する技術に関する。   The present invention relates to a mobile communication terminal, and more particularly to a technique for supporting image registration in an address book.

従来から携帯通信端末においては、内蔵するカメラで名刺を撮影して文字認識し、文字認識結果を利用して(1)名前、(2)電話番号、(3)住所などをアドレス帳に一斉登録できる機能がある。   Conventionally, in mobile communication terminals, business cards are photographed with the built-in camera for character recognition, and (1) name, (2) phone number, (3) address, etc. are registered in the address book at the same time using the character recognition results. There is a function that can.

係る機能は名刺リーダ機能と呼ばれており、例えば特許文献1に開示されている。
特開2003-163736号公報
Such a function is called a business card reader function, and is disclosed in Patent Document 1, for example.
Japanese Patent Laid-Open No. 2003-163736

ところで、最近のアドレス帳においては、上記した(1)名前、(2)電話番号、(3)住所といった一般的な項目に加えて、画像(例えば、ロゴマークや顔写真)も項目として用意される傾向にある。アドレス帳に画像を登録しておけば、アドレス帳上の相手を思い出すときなどに非常に便利である。   By the way, in the recent address book, in addition to the general items such as (1) name, (2) telephone number, and (3) address, images (for example, logo marks and facial photos) are also prepared as items. Tend to. If you register an image in the address book, it is very convenient when you want to remember the other person in the address book.

しかし、アドレス帳への画像の登録は、一般的なユーザにとっては障壁が高い。例えば、いざ顔写真を取得しようにも、名刺交換の際に、交換相手に撮影を申し出るということは現実的には考えにくい。   However, the registration of images in the address book has a high barrier for general users. For example, in order to obtain a face photo, it is difficult to realistically ask the exchange partner to take a picture when exchanging business cards.

このように、アドレス帳の項目として画像が用意されているにも関わらず、登録が行われていないことが多々あり、せっかくの有益な機能がユーザに広く享受されていないと考えられる。   As described above, although images are prepared as items in the address book, registration is often not performed, and it is considered that the valuable functions are not enjoyed widely by users.

なお、係る問題は、名刺リーダ機能を備えた携帯通信端末に限られない問題であり、画像の取得は、テキスト文などの文字の取得に比べて操作負担が大きい。   Note that such a problem is not limited to a mobile communication terminal having a business card reader function, and acquiring an image has a larger operation burden than acquiring a character such as a text sentence.

本発明は、上述の問題に鑑みてなされたものであって、アドレス帳への画像の登録を支援する携帯通信端末を提供する。   The present invention has been made in view of the above-described problems, and provides a mobile communication terminal that supports registration of an image in an address book.

本発明に係る携帯通信端末は、入力された問い合わせを示す情報に応答して1以上の画像を特定する情報を含む検索結果を出力する画像検索サーバと通信する携帯通信端末であって、各アドレス毎に画像の項目を含むアドレス帳を記憶する記憶手段と、テキスト文から第1の条件に基づいて検索文字列を抽出し、第2の条件に基づいてアドレスを抽出する抽出手段と、前記第1の条件に基づいて抽出された検索文字列を用いて問い合わせを示す情報を生成する生成手段と、生成された問い合わせを示す情報を画像検索サーバに送信する送信手段と、前記画像検索サーバから検索結果を受信する受信手段と、受信した検索結果に基づく画像を、前記第2の条件に基づいて抽出されたアドレスと関連付けて前記アドレス帳に登録する登録手段とを備えることを特徴とする。   A mobile communication terminal according to the present invention is a mobile communication terminal that communicates with an image search server that outputs a search result including information for specifying one or more images in response to information indicating an input inquiry, each address Storage means for storing an address book including an image item for each; extraction means for extracting a search character string from a text sentence based on a first condition; and extracting an address based on a second condition; A generating unit that generates information indicating an inquiry using a search character string extracted based on a condition of 1, a transmitting unit that transmits information indicating the generated inquiry to an image search server, and a search from the image search server Receiving means for receiving the result; and registration means for registering an image based on the received search result in the address book in association with the address extracted based on the second condition. Characterized in that it obtain.

課題を解決するための手段に記載した構成によれば、前記画像検索サーバから受信した検索結果に基づく画像を、アドレスと関連付けてアドレス帳に登録することができる。   According to the configuration described in the means for solving the problem, an image based on the search result received from the image search server can be registered in the address book in association with the address.

また、前記アドレス帳における前記アドレスとは、電話番号であって、前記携帯通信端末は、着信時に発呼者の電話番号に基づき、前記アドレス帳から画像を読み出し表示する着信通知手段を備えることを特徴とする。   Further, the address in the address book is a telephone number, and the mobile communication terminal includes an incoming call notification means for reading out and displaying an image from the address book based on the caller's telephone number when an incoming call is received. Features.

この構成によれば、登録した画像を着信時に表示することで、着信の発呼者が誰であるかを容易にユーザに思い起こさせることが可能となる。   According to this configuration, it is possible to easily remind the user of who is the incoming caller by displaying the registered image at the time of incoming call.

また、前記携帯通信端末は、受信手段により受信した検索結果に基づき画像を表示し、表示した画像の中からユーザによる選択を受け付けるメニュー表示手段を備え、前記登録手段が登録する前記画像は、ユーザの選択に係る画像であることを特徴とする。   The portable communication terminal includes a menu display unit that displays an image based on the search result received by the receiving unit and receives a selection by the user from the displayed image. The image registered by the registration unit is a user It is the image which concerns on selection of this.

この構成によれば、画像の登録にユーザの意向を反映することができる。   According to this configuration, the user's intention can be reflected in the registration of the image.

また、名刺を撮影する撮影手段と、撮影した画像を文字認識してテキスト文に変換する文字認識手段とを備え、前記抽出手段の抽出対象は前記変換されたテキスト文であって、前記第1の条件は、前記テキスト文から会社名を抽出するための条件であって、前記生成手段は、抽出された会社名とロゴマーク取得のための文字列とをAND条件で指定した問い合わせを示す情報を生成し、前記登録手段は、受信した検索結果に基づくロゴマークを示す画像を、前記アドレスと関連付けて登録することを特徴とする。   The image capturing means for capturing a business card and the character recognition means for recognizing the captured image and converting it to a text sentence, the extraction object of the extraction means is the converted text sentence, the first text Is a condition for extracting a company name from the text sentence, and the generation means is information indicating an inquiry in which the extracted company name and a character string for obtaining a logo mark are specified by an AND condition. The registration means registers an image indicating a logo mark based on the received search result in association with the address.

この構成によれば、アドレスと関連付けてロゴマーク画像を登録することができ、例えば、登録したロゴマーク画像を表示することで、ユーザが登録内容を思い浮かべることを後押しできる。   According to this configuration, it is possible to register a logo mark image in association with an address. For example, by displaying a registered logo mark image, it is possible to encourage the user to think of registered contents.

また、名刺を撮影する撮影手段と、撮影した画像を文字認識してテキスト文に変換する文字認識手段とを備え、前記抽出手段の抽出対象は前記変換されたテキスト文であって、前記第1の条件は、前記テキスト文から名前を抽出するための条件であって、前記第2の条件は、前記アドレスに加えて名前を抽出するための条件であって、前記生成手段は、名前と顔画像取得のための検索条件を含めた問い合わせを示す情報を生成し、前記登録手段は、受信した検索結果に基づく顔画像を、前記第2の条件に基づいて抽出された前記アドレス及び名前と関連付けて登録することを特徴とする。   The image capturing means for capturing a business card and the character recognition means for recognizing the captured image and converting it to a text sentence, the extraction object of the extraction means is the converted text sentence, the first text Is a condition for extracting a name from the text sentence, and the second condition is a condition for extracting a name in addition to the address, and the generating means includes a name and a face Information indicating a query including a search condition for image acquisition is generated, and the registration unit associates a face image based on the received search result with the address and name extracted based on the second condition Registered.

ここで、「顔画像取得のための検索条件」とは、例えば、顔画像検索に特化した画像検索サーバのURL(Uniform Resource Locator)などクエリの送信先に関する条件を含む。また、例えば、画像検索サーバ側で定義された顔画像検索のための検索条件を含んでいる。   Here, the “search condition for acquiring a face image” includes, for example, a condition regarding a query transmission destination such as a URL (Uniform Resource Locator) of an image search server specialized for face image search. In addition, for example, a search condition for a face image search defined on the image search server side is included.

この構成によれば、名前と関連付けて顔画像を登録することができる。このため、例えば、登録した顔画像を表示することで、ユーザが顔画像の人物を想起することを支援できる。   According to this configuration, a face image can be registered in association with a name. For this reason, for example, by displaying the registered face image, it is possible to assist the user to recall the person of the face image.

また、前記画像を特定する情報は、画像の所在を特定する所在情報であって、前記受信手段は、前記検索結果に含まれる前記画像の所在を示す所在情報を受信し、さらに、前記メニュー表示手段がユーザから表示開始指示を受けた場合に、前記所在情報を用いて対応する画像を取得して、当該メニュー表示手段における画像の表示に供する画像取得手段を備えることを特徴とする。   The information for specifying the image is location information for specifying the location of the image, and the receiving means receives the location information indicating the location of the image included in the search result, and further displays the menu. When the means receives a display start instruction from the user, the image acquisition means is provided for acquiring a corresponding image using the location information and displaying the image on the menu display means.

この構成によれば、例えば、前記メニュー表示手段がユーザから表示開始指示を受けるまでは、前記所在情報だけを取得して、画像そのものは受信しないとすることで記憶容量が無駄に占有されることを防ぐ。   According to this configuration, for example, until the menu display unit receives a display start instruction from the user, only the location information is acquired and the image itself is not received, so that the storage capacity is unnecessarily occupied. prevent.

また、前記アドレス帳には、前記名前1個に対応して2個以上の電話番号を登録可能であって、前記登録手段は、前記画像の登録の際に、前記名前、電話番号、及び当該画像の三者を一組にして前記アドレス帳に登録することを特徴とする。   Further, in the address book, two or more telephone numbers corresponding to the one name can be registered, and the registration unit is configured to register the name, the telephone number, and the name when registering the image. A set of three images is registered in the address book.

この構成によれば、より細分化した形での画像登録が実現できる。また、例えば、
勤務先電話番号と自宅電話番号とを持つ人物について、勤務先と自宅とで関連付けする画像を異ならせることで、より適切な着信画面表示を実現することができる。
According to this configuration, it is possible to realize image registration in a more detailed form. For example,
For a person who has a work phone number and a home phone number, a more appropriate incoming screen display can be realized by making the images associated with the work and home different.

また、本発明に係るプログラムは、入力された問い合わせを示す情報に応答して1以上の画像を特定する情報を含む検索結果を出力する画像検索サーバと通信する携帯通信端末において画像登録の制御処理を実行させるためのプログラムであって、前記携帯通信端末は、各アドレス毎に画像の項目を含むアドレス帳を記録する記録媒体を備えており、前記画像登録の制御処理は、テキスト文から第1の条件に基づいて検索文字列を抽出し、第2の条件に基づいて名前を抽出する抽出ステップと、前記第1の条件に基づいて抽出された検索文字列を用いて問い合わせを示す情報を生成する生成ステップと、生成された問い合わせを示す情報を画像検索サーバに送信する送信ステップと、前記画像検索サーバから検索結果を受信する受信ステップと、受信した検索結果に基づく画像を、前記第2の条件に基づいて抽出されたアドレスと関連付けて前記アドレス帳に登録する登録ステップとを含むことを特徴とする。   In addition, the program according to the present invention provides an image registration control process in a mobile communication terminal that communicates with an image search server that outputs a search result including information specifying one or more images in response to information indicating an input inquiry. The mobile communication terminal includes a recording medium that records an address book including an image item for each address, and the image registration control process is performed from a text sentence. A search character string is extracted based on the above condition, a name is extracted based on the second condition, and information indicating a query is generated using the search character string extracted based on the first condition A generating step for transmitting, a transmitting step for transmitting information indicating the generated inquiry to the image search server, and a receiving step for receiving a search result from the image search server. , An image based on the received search results, characterized in that it comprises a registration step of registering in the address book in association with address extracted based on the second condition.

また、本発明に係る携帯通信端末は、受信した文字列に基づいて情報を検索した後に検索結果を送信するサーバと通信可能な携帯通信端末であって、画像を撮像する撮像手段と、前記撮像手段によって撮像された画像から第1の文字列と第2の文字列とを抽出する抽出手段と、前記抽出された第1の文字列を前記サーバに送信する送信手段と、前記送信手段によって前記第1の文字列が送信された後に前記サーバから検索結果を受信する受信手段と、前記受信手段により受信した検索結果に画像が含まれている場合に、検索結果に含まれている画像と前記抽出手段により抽出された第2の文字列とを関連づけて記憶する記憶手段と、を備えることを特徴とする。   The mobile communication terminal according to the present invention is a mobile communication terminal capable of communicating with a server that transmits a search result after searching for information based on a received character string, the imaging means for capturing an image, and the imaging Extracting means for extracting a first character string and a second character string from an image captured by the means; transmitting means for transmitting the extracted first character string to the server; and A receiving unit that receives a search result from the server after the first character string is transmitted; and an image included in the search result when the search result received by the receiving unit includes an image, and Storage means for associating and storing the second character string extracted by the extraction means.

以下、実施の形態について、携帯通信端末として、携帯電話機を例に挙げて説明する。
<構成>
図1は、携帯電話機の外観を示す図である。
Hereinafter, embodiments will be described by taking a mobile phone as an example of a mobile communication terminal.
<Configuration>
FIG. 1 is a diagram illustrating an appearance of a mobile phone.

携帯電話機2は、カメラ4、ディスプレイ6、キー群8を備える。   The mobile phone 2 includes a camera 4, a display 6, and a key group 8.

図2は、携帯電話機の機能ブロック図である。   FIG. 2 is a functional block diagram of the mobile phone.

携帯電話機2は、機能ブロックとして制御部10と記憶部40を備える。   The mobile phone 2 includes a control unit 10 and a storage unit 40 as functional blocks.

制御部10は、操作部12、表示部14、カメラ部16、OCR部17、属性判定部18、抽出部20、画像選択受付部22、アドレス管理部24、Webブラウザ部26、クエリ生成部32、無線通信部34、アンテナ36、着信通知部38を備える。   The control unit 10 includes an operation unit 12, a display unit 14, a camera unit 16, an OCR unit 17, an attribute determination unit 18, an extraction unit 20, an image selection reception unit 22, an address management unit 24, a web browser unit 26, and a query generation unit 32. A wireless communication unit 34, an antenna 36, and an incoming call notification unit 38.

記憶部40は、RAMやROMを含んで構成されており、アドレス帳テーブル42、クエリ生成テーブル44、画像保存部46、画像URLテーブル48を備える。なお、記憶部40は制御部10が実行するための制御プログラムも記憶している。   The storage unit 40 includes a RAM and a ROM, and includes an address book table 42, a query generation table 44, an image storage unit 46, and an image URL table 48. The storage unit 40 also stores a control program to be executed by the control unit 10.

操作部12は、ユーザからキー入力を受け付ける入力インターフェイスであり、キー群8を含んで構成されている。   The operation unit 12 is an input interface that receives a key input from a user, and includes a key group 8.

表示部14は、ディスプレイ6を含んで構成されており、各種表示を行う。   The display unit 14 includes the display 6 and performs various displays.

カメラ部16は、カメラ4を含んで構成されており、対象物を撮影する。   The camera unit 16 includes the camera 4 and shoots an object.

OCR部17は、カメラ部16が撮影した画像などを対象として光学文字認識(OCR:Optical Character Recognition)を行い、画像からテキスト文を作成する。   The OCR unit 17 performs optical character recognition (OCR: Optical Character Recognition) on an image taken by the camera unit 16 and creates a text sentence from the image.

属性判定部18は、OCR部17が作成したテキスト文を対象として、テキスト文中の文字列の属性を判定する。ここで、属性とは、アドレス帳テーブル42が用意する項目に対応したものであり、例えば、電話番号(固定電話、携帯電話、PHSの別に区分してもよい)、名前、姓と名、会社名(勤務先)、部署、役職、勤務先住所、自宅住所などの属性がある。   The attribute determination unit 18 determines the attribute of the character string in the text sentence for the text sentence created by the OCR unit 17. Here, the attributes correspond to items prepared in the address book table 42, and for example, telephone numbers (may be classified according to fixed telephone, mobile phone, PHS), name, surname and first name, company There are attributes such as name (workplace), department, job title, work address, and home address.

属性の判定は、公知の手法を用いることができ、例えば、(1)一定桁数以上の連続する数字は電話番号、(2)「株式会社」を含む文字列は会社名、(3)@を含む文字列はメールアドレスというように属性判定する。   A known method can be used to determine the attribute. For example, (1) a continuous number of a certain number of digits or more is a telephone number, (2) a character string including “corporation” is a company name, and (3) @ A character string including “” is subjected to attribute determination such as a mail address.

抽出部20は、属性判定部18に判定された属性を利用して上記テキスト文から、(1)検索用文字列(例えば、会社名、名前)、(2)アドレス帳に登録するための文字列(例えば、電話番号やメールアドレスなどのアドレス、名前)を抽出する。   The extraction unit 20 uses the attribute determined by the attribute determination unit 18 to (1) a search character string (for example, a company name and name) and (2) a character for registration in the address book. Extract columns (for example, addresses and names such as phone numbers and email addresses).

Webブラウザ部26は、Webページのブラウジング(閲覧)を行う機能ブロックであり、ソース変換部28と、クエリ送信部30とを含む。   The web browser unit 26 is a functional block that performs browsing (browsing) of web pages, and includes a source conversion unit 28 and a query transmission unit 30.

ソース変換部28は、Webサイトから取得したHTML形式のソースを変換して、閲覧に供する。また、画像検索サーバ(画像検索サイト)から画像検索結果を示すソースを受信した場合には、当該ソースを解析して、検索順位と順位毎に対応する画像の所在を示すURLとを対応付けて、画像URLテーブル48に登録する。   The source conversion unit 28 converts the HTML format source acquired from the Web site and provides it for browsing. When a source indicating an image search result is received from an image search server (image search site), the source is analyzed, and the search order is associated with the URL indicating the location of the image corresponding to each rank. And is registered in the image URL table 48.

クエリ生成部32は、クエリ生成テーブル44に記述されたクエリ生成条件に従ってクエリを生成する。   The query generation unit 32 generates a query according to the query generation conditions described in the query generation table 44.

クエリ送信部30は、クエリ生成部32が生成した検索用のクエリを画像検索サーバ宛に送信する。本実施の形態では、クエリをHTTPクエリとして送信する。   The query transmission unit 30 transmits the search query generated by the query generation unit 32 to the image search server. In the present embodiment, the query is transmitted as an HTTP query.

画像選択受付部22は、クエリ送信部30が送信したクエリに基づいてサーバが検索した検索結果を用いて、表示部14に複数の画像を表示させ、操作部12を介して表示した画像の選択を受け付ける。   The image selection receiving unit 22 displays a plurality of images on the display unit 14 using the search results searched by the server based on the query transmitted by the query transmission unit 30 and selects an image displayed via the operation unit 12. Accept.

アドレス管理部24は、アドレス帳テーブル42と画像保存部46とを管理する機能ブロックである。   The address management unit 24 is a functional block that manages the address book table 42 and the image storage unit 46.

無線通信部34は、通話や、携帯メールなどのネットワーク通信機能を制御する機能ブロックであり、例えば、高周波部を含んで構成される。   The wireless communication unit 34 is a functional block that controls network communication functions such as telephone calls and mobile mail, and includes, for example, a high-frequency unit.

着信通知部38は、無線通信部34が通話を着信したときに、発信者の電話番号をアドレス帳テーブル42に照会して、照会により特定された発信者の名前及び画像を表示部14に表示させる。   When the wireless communication unit 34 receives a call, the incoming notification unit 38 queries the address book table 42 for the caller's telephone number, and displays the name and image of the caller identified by the query on the display unit 14. Let

なお、メール着信時にも、メールの送信者のメールアドレスをアドレス帳テーブル42と照会して、送信者の名前・画像を表示する。なお、着信通知部38による着信の表示の際には、スピーカを用いた音声通知やバイブレータを用いた振動通知を組み合わせても構わない。   Even when a mail is received, the mail address of the sender of the mail is referred to the address book table 42 and the sender's name / image is displayed. In addition, when displaying the incoming call by the incoming call notification unit 38, voice notification using a speaker or vibration notification using a vibrator may be combined.

続いて、図3〜図6を用いて記憶部40内の各テーブルについて説明する。   Next, each table in the storage unit 40 will be described with reference to FIGS.

図3は、アドレス帳テーブルのテーブル構造を示す図である。   FIG. 3 is a diagram showing a table structure of the address book table.

アドレス帳テーブル42は、「名前」42a、「社名」42b、「電話番号」42c、「メールアドレス」42d、「画像ファイルパス」42eのテーブル項目を含む。   The address book table 42 includes table items of “name” 42a, “company name” 42b, “telephone number” 42c, “mail address” 42d, and “image file path” 42e.

「社名」42bは、「名前」42aの人物の社名を示す項目である。社名に加えて、他に所属を示す項目(例えば、部署名、グループ名など)を追加しても構わない。   The “company name” 42b is an item indicating the company name of the person of the “name” 42a. In addition to the company name, other items indicating affiliation (for example, department name, group name, etc.) may be added.

「画像ファイルパス」42eは、画像保存部46に保存されている画像ファイルの所在を示す項目である。   The “image file path” 42 e is an item indicating the location of the image file stored in the image storage unit 46.

図4は、クエリ生成テーブルのテーブル構造を示す図である。   FIG. 4 is a diagram illustrating a table structure of the query generation table.

クエリ生成テーブル44は、「番号」44a、「クエリ送信先」44b、「抽出対象の属性」44c、「クエリオプション」44dのテーブル項目を含む。   The query generation table 44 includes table items of “number” 44a, “query transmission destination” 44b, “extraction target attribute” 44c, and “query option” 44d.

「番号」44aは、クエリの生成条件毎に割り振られた識別番号の項目である。この番号は、ユーザ指定がデフォルトとして行うクエリ生成の指定の際に用いられる。   The “number” 44a is an item of an identification number assigned for each query generation condition. This number is used when a query generation is designated as a default specified by the user.

「クエリ送信先」44bは、クエリの送信先の画像検索サーバのURLを示す項目である。   The “query transmission destination” 44b is an item indicating the URL of the image search server that is the transmission destination of the query.

「抽出対象の属性」44cは、抽出すべき属性を示す項目であり、クエリ作成の際には属性に対応する値を検索文字列として用いる。   The “extraction target attribute” 44c is an item indicating an attribute to be extracted, and a value corresponding to the attribute is used as a search character string when creating a query.

「クエリオプション」44dは、クエリに検索条件として付加する内容を示す項目である。精確な検索結果を得ることや、検索結果件数を絞り込むことを意図して設けられた項目である。   The “query option” 44d is an item indicating content to be added as a search condition to the query. This item is provided with the intention of obtaining accurate search results and narrowing down the number of search results.

図5(a)(b)は、クエリ生成テーブルに基づいて作成したクエリの例を示す図である。「番号」45a、「抽出文字」45b、「生成クエリ」45cのテーブル項目を含む。   FIGS. 5A and 5B are diagrams illustrating examples of queries created based on the query generation table. It includes table items of “number” 45a, “extracted characters” 45b, and “generation query” 45c.

「番号」45aは、クエリ生成に生成条件の識別番号を示す。   “Number” 45a indicates an identification number of a generation condition for query generation.

図5(a)に示すように、「抽出文字」45bが会社名「三洋電機」では、生成クエリは"http://example.com/search?query=三洋電機+ロゴ&num=5"である。   As shown in FIG. 5A, when the “extracted characters” 45b is the company name “Sanyo Electric”, the generated query is “http://example.com/search?query=Sanyo Electric + Logo & num = 5”. .

この"example.com"は画像検索サーバを特定するドメイン名である。この"example.com"はクエリ要求に応じて検索結果を出力する。この検索結果には、クエリに関係する画像サムネイルや、この画像の所在を示すURLが含まれている。また各画像は、クエリへの関連度が高い順番で順位付けされている。 このクエリに含まれる"三洋電機+ロゴ"という部分は、「クエリオプション」44dの「ロゴ」でAND検索する条件に対応している。"num=5"という部分は、「クエリオプション」44dの上位5件に限定する条件に対応している。なお、AND検索を示す"+"や、上限件数を示す"num="という変数は画像検索サーバ"example.com"により定められた仕様に従っている。   “Example.com” is a domain name that identifies the image search server. This “example.com” outputs a search result in response to a query request. This search result includes an image thumbnail related to the query and a URL indicating the location of the image. Each image is ranked in the order of the degree of relevance to the query. The part “Sanyo Electric + Logo” included in this query corresponds to the condition for AND search with “logo” in “query option” 44d. The part “num = 5” corresponds to a condition limited to the top five “query option” 44d. Note that the variable “+” indicating AND search and the variable “num =” indicating the upper limit number conforms to the specification defined by the image search server “example.com”.

また、クエリにおける「三洋電機」、「ロゴ」という文字列は、公知の符号化方式(例えば、UTF−8)に従ってエンコードした後で送信する。   The character strings “Sanyo Electric” and “Logo” in the query are transmitted after being encoded according to a known encoding method (for example, UTF-8).

次に図5(b)に示すように、「抽出文字」45bが名前「三洋次郎」では、生成クエリは" http://example.org/search?query=三洋次郎&imgtype=face&imgsz=100"である。   Next, as shown in FIG. 5B, if the extracted character 45b is the name “Jiro Sanyo”, the generated query is “http://example.org/search?query=Jiro Sanyo & imgtype = face & imgsz = 100”. is there.

"example.org"は顔画像検索に特化した検索サーバであり、クエリ要求に応じて、関係する顔画像のサムネイルや、この顔画像の所在を示すURLを含む検索結果を出力する。   “example.org” is a search server specialized in face image search, and outputs a search result including a thumbnail of a related face image and a URL indicating the location of the face image in response to a query request.

このクエリに含まれる、"imgtype=face"は、「クエリオプション」44dの顔画像検索の条件に対応している。"また、"imgsz=100"は、画像サイズを100キロバイト(KB)以下にするという条件である。   “Imgtype = face” included in this query corresponds to the face image search condition of “query option” 44d. “In addition,“ imgsz = 100 ”is a condition that the image size is 100 kilobytes (KB) or less.

図6は、画像URL保存テーブルのテーブル構造を示す図である。   FIG. 6 is a diagram showing a table structure of the image URL storage table.

画像URL保存テーブル48は、テーブル項目として「検索順位」48a、「URL」48bを含む。
<動作>
図7〜図10に示したフローチャートを参照しつつ本実施の形態に係る携帯電話機2における動作について説明する。
The image URL storage table 48 includes “search order” 48 a and “URL” 48 b as table items.
<Operation>
The operation of the mobile phone 2 according to the present embodiment will be described with reference to the flowcharts shown in FIGS.

図7に示すように、制御部10は、名刺リーダ処理(S11)、クエリ生成・送信処理(S12)、画像選択受付処理(S13)の順で処理を実行する。   As shown in FIG. 7, the control unit 10 executes processing in the order of business card reader processing (S11), query generation / transmission processing (S12), and image selection reception processing (S13).

図8に示すように、名刺リーダ処理では、カメラ部16部による名刺撮影が完了すると(S21:Yes)、撮影した名刺画像を対象としてOCR部17においてOCR処理を行い、名刺画像を文字認識してテキスト文を作成する(S22)。   As shown in FIG. 8, in the business card reader process, when the business card shooting by the camera unit 16 is completed (S21: Yes), the OCR unit 17 performs OCR processing on the taken business card image, and character recognition of the business card image is performed. A text sentence is created (S22).

次に属性判定部18は、OCR処理により作成されたテキスト文を対象として、テキスト文に含まれる文字列の属性を判定する(S23)。そして、抽出部は、(1)属性が会社名である文字列、(2)属性がアドレス(例えば、電話番号やメールアドレス)である文字列、及び属性が名前である文字列を抽出する(S24)。   Next, the attribute determination unit 18 determines the attribute of the character string included in the text sentence for the text sentence created by the OCR process (S23). Then, the extraction unit extracts (1) a character string whose attribute is a company name, (2) a character string whose attribute is an address (for example, a telephone number or an email address), and a character string whose attribute is a name ( S24).

属性が会社名である文字列は、画像取得のために、検索用文字列として次に述べるクエリ生成に用いられる。取得した画像は、属性が名前である文字列に関連してアドレス帳に登録される。   A character string whose attribute is a company name is used for query generation described below as a search character string for image acquisition. The acquired image is registered in the address book in association with the character string whose name is the attribute.

図9に示すように、クエリ生成・送信処理では、クエリ生成部32は、クエリ生成テーブル44を参照して、抽出した属性が会社名である文字列を含むクエリを生成する(S31)。クエリ送信部30は、クエリ生成テーブル44で指定されたクエリ送信先の画像検索サーバ宛に生成したクエリを送信する(S32)。   As shown in FIG. 9, in the query generation / transmission process, the query generation unit 32 refers to the query generation table 44 and generates a query including a character string whose extracted attribute is a company name (S31). The query transmission unit 30 transmits the query generated to the image transmission server that is the query transmission destination specified in the query generation table 44 (S32).

ソース変換部28は、画像検索サーバから検索結果であるHTTPソースを取得して(S33)、検索ヒットが有れば(S34:Yes)、画像保存部46に一時保存する(S35)。なお、ステップS35においては、画像保存部46の容量節約のために、画像自体は取得せずに、画像のURLだけを取得して画像URLテーブル48を更新しても構わない。   The source conversion unit 28 acquires the HTTP source as the search result from the image search server (S33), and if there is a search hit (S34: Yes), temporarily stores it in the image storage unit 46 (S35). In step S35, in order to save the capacity of the image storage unit 46, the image URL table 48 may be updated by acquiring only the URL of the image without acquiring the image itself.

図10に示すように、画像選択受付処理では、画像選択受付部22が操作部12を介した画像登録要求を受け付けると(S41:Yes)、検索ヒットした画像があれば(S42:Yes)、画像保存部46に一時保存されていた画像を読み出して、画像選択メニュー60を表示する(S43)。画像選択メニュー60では、検索された5件の画像サムネイル61〜65が表示されており、キー入力によりその中の1個の画像が選択可能となっている。   As shown in FIG. 10, in the image selection receiving process, when the image selection receiving unit 22 receives an image registration request via the operation unit 12 (S41: Yes), if there is a search hit image (S42: Yes), The image temporarily stored in the image storage unit 46 is read out and the image selection menu 60 is displayed (S43). In the image selection menu 60, five searched image thumbnails 61 to 65 are displayed, and one of the images can be selected by key input.

画像選択受付部22が選択を受け付けると(S44:Yes)、アドレス管理部24は、選択された画像をステップS24で抽出した属性が名前である文字列と関連付けてアドレス帳テーブル42に登録する(S45)。   When the image selection receiving unit 22 receives the selection (S44: Yes), the address management unit 24 registers the selected image in the address book table 42 in association with the character string whose attribute is the name extracted in step S24 (step S24). S45).

以上、説明したように、本実施の形態によれば、撮影した名刺画像から抽出した文字列を用いて、画像検索サーバから関連する画像を取得することができるため、アドレス帳への画像の登録を支援することが可能となる。   As described above, according to the present embodiment, since a related image can be acquired from the image search server using a character string extracted from a taken business card image, the image is registered in the address book. Can be supported.

なお、クエリに対して適切な結果が得られるかどうかは、画像検索サーバの能力に依存する面が大きい。とはいえ、ある程度は関連する画像を取得することができると考えられる。   Note that whether or not an appropriate result is obtained for a query largely depends on the ability of the image search server. However, it is considered that a related image can be acquired to some extent.

このようにアドレス帳テーブル42に登録された画像を、着信画面表示として利用する例について図11のフローチャートを用いて説明する。   An example of using the image registered in the address book table 42 as an incoming screen display will be described with reference to the flowchart of FIG.

着信通知部38は、無線通信部34での着信を検出すると(S51:Yes)、発呼者の電話番号をアドレス帳テーブル42に照会する(S52)。照会に応じた結果が有れば(S53:Yes)、電話番号に対応するアドレスの項目(名前、画像)を取得する(S54)。そして着信通知部38は、電話番号、名前、画像を着信画面として表示部14に表示させる(S55)。なお、照会結果が無い場合には(S53:No)、着信画面として電話番号を表示する。   When the incoming call notification unit 38 detects an incoming call at the wireless communication unit 34 (S51: Yes), the incoming call notification unit 38 refers to the address book table 42 for the telephone number of the caller (S52). If there is a result corresponding to the inquiry (S53: Yes), an address item (name, image) corresponding to the telephone number is acquired (S54). Then, the incoming call notification unit 38 displays the telephone number, name, and image on the display unit 14 as an incoming call screen (S55). If there is no inquiry result (S53: No), the telephone number is displayed as the incoming call screen.

このように、着信画面に電話の発呼者に関連する画像を表示することで、ユーザに誰からの着信であるかの手がかりを与えることが可能となる。   Thus, by displaying the image related to the caller of the telephone on the incoming call screen, it is possible to give a clue to who the incoming call is from.

次に、本実施の形態に係る2つの動作例について説明する。
<動作例1>
図12は、実施の形態に係る動作例1を示すイメージ図である。
Next, two operation examples according to the present embodiment will be described.
<Operation example 1>
FIG. 12 is an image diagram showing an operation example 1 according to the embodiment.

動作の流れとしては、(1)名刺撮影(2)文字認識(3)属性判定(4)文字抽出(5)クエリ生成(6)クエリ送信・検索結果取得(7)メニュー表示(8)画像登録(9)着信表示となっている。詳細な動作は既述のため以下では説明を簡単にする。   The operation flow includes (1) business card photography (2) character recognition (3) attribute determination (4) character extraction (5) query generation (6) query transmission / retrieval of search results (7) menu display (8) image registration (9) The incoming call is displayed. Since the detailed operation has already been described, the description will be simplified below.

(1)名刺撮影では、携帯電話機2のカメラ部16を用いて、名刺70を撮影する。   (1) In business card photography, the business card 70 is photographed using the camera unit 16 of the mobile phone 2.

(2)文字認識では、OCR部17により、撮影した画像からテキスト文72を作成する。   (2) In character recognition, the OCR unit 17 creates a text sentence 72 from the captured image.

(3)属性判定では、属性判定部18はテキスト文72を対象として属性を判定する。   (3) In attribute determination, the attribute determination unit 18 determines an attribute for the text sentence 72.

(4)文字抽出では、抽出部20により属性判定結果74を用いて、テキスト文72から、属性が会社名である「三洋電機」を抽出する。なお、「株式会社」は省略した形で抽出する。   (4) In the character extraction, the extraction unit 20 uses the attribute determination result 74 to extract “Sanyo Electric” whose attribute is the company name from the text sentence 72. Note that “stock” is extracted in an abbreviated form.

(5)クエリ生成では、クエリ生成部32が、クエリ生成テーブル44を参照してクエリを生成する。   (5) In query generation, the query generation unit 32 refers to the query generation table 44 to generate a query.

(6)クエリ送信・検索結果取得では、クエリ送信部30は、生成されたクエリを画像検索サーバ76に送信し、検索結果を取得する。   (6) In query transmission / search result acquisition, the query transmission unit 30 transmits the generated query to the image search server 76 to acquire the search result.

(7)メニュー表示では、画像選択受付部22は検索結果に基づいて、検索された5個の画像から選択を受け付けるメニュー画面78を表示する。   (7) In the menu display, the image selection receiving unit 22 displays a menu screen 78 for receiving selection from the five searched images based on the search result.

(8)画像登録では、画像登録画面80上で、アドレス管理部24はメニュー画面78で選択された「三洋電機」のロゴマーク(ファイル名:XXX.tiff)を、名前「三洋太郎」と関連付けてアドレス帳テーブル42に登録する。また、属性判定された電話番号、メールアドレスなども合わせて登録する。なお、図中のロゴマークは実在しない架空のマークである。   (8) In image registration, on the image registration screen 80, the address management unit 24 associates the logo mark (file name: XXX.tiff) of “Sanyo Electric” selected on the menu screen 78 with the name “Taro Sanyo”. Are registered in the address book table 42. In addition, the telephone number, mail address, etc. of which the attribute has been determined are also registered. The logo mark in the figure is a fictitious mark that does not exist.

(9)着信表示では、着信通知部38は、発呼者の電話番号(03-XXXX-XXXX)をアドレス帳テーブル42に照会し、この電話番号に対応する名前「三洋太郎」とロゴマークの画像とを着信画面82として表示する。   (9) In the incoming call display, the incoming call notification unit 38 inquires the caller's telephone number (03-XXXX-XXXX) in the address book table 42, and displays the name “Taro Sanyo” and the logo mark corresponding to this telephone number. The image is displayed as the incoming call screen 82.

着信画面82においては、「三洋太郎」が所属する三洋電機のロゴマークが表示されているため、着信を受けた携帯電話機2のユーザは容易に「三洋電機」の「三洋太郎」氏からの着信であると気付くことができる。
<動作例2>
図13は、実施の形態に係る動作例2を示すイメージ図である。
On the incoming call screen 82, the logo mark of Sanyo Electric to which “Taro Sanyo” belongs is displayed, so that the user of the mobile phone 2 that has received the incoming call can easily receive an incoming call from “Taro Sanyo” of “Sanyo Electric”. You can notice that.
<Operation example 2>
FIG. 13 is an image diagram showing an operation example 2 according to the embodiment.

動作例1ではロゴマーク画像を登録したが、動作例2では顔画像を登録するものである。動作例1と異なる部分を中心に説明する。   In the operation example 1, the logo mark image is registered, but in the operation example 2, the face image is registered. A description will be given centering on differences from the first operation example.

(1)名刺撮影では、カメラ部16により名刺90を撮影する。   (1) In business card photography, the business unit 90 is photographed by the camera unit 16.

(4)文字抽出では、抽出部20はテキスト文92の属性判定結果94を用いて、テキスト文92から属性が名前である「三洋次郎」を抽出する。   (4) In the character extraction, the extraction unit 20 uses the attribute determination result 94 of the text sentence 92 to extract “Jiro Sanyo” whose attribute is the name from the text sentence 92.

(7)メニュー表示では、画像選択受付部22は画像検索サーバ96から受信した検索結果に基づいて、検索された5個の画像から選択を受け付けるメニュー画面98を表示する。   (7) In the menu display, the image selection receiving unit 22 displays a menu screen 98 for receiving selection from the five searched images based on the search result received from the image search server 96.

(8)画像登録では、画像登録画面100上で、アドレス管理部24はメニュー画面98で選択された顔画像(ファイル名:YYY.jpg)を名前「三洋次郎」に関連付けてアドレス帳テーブル42に登録する。   (8) In image registration, on the image registration screen 100, the address management unit 24 associates the face image (file name: YYY.jpg) selected on the menu screen 98 with the name “Jiro Sanyo” in the address book table 42. sign up.

(9)着信表示では、着信画面102に登録された顔画像を表示する。   (9) In the incoming call display, the face image registered in the incoming call screen 102 is displayed.

なお、顔画像を検索するためには、人の名前と顔画像とを対応付けてインデックス化している顔画像検索サーバにクエリを送信することが望ましいが、それに限らず一般的な画像検索サーバにクエリ送信しても構わない。この場合でもある程度は、関連のある画像を取得することができると考えられる。
<補足>
以上、本発明の実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であってもよい。
1.実施の形態では、画像をアドレス及び名前と関連付けて登録するとして説明したが、少なくとも画像をアドレスに関連付けてアドレス帳テーブル42に登録できれば同様な効果を得ることができる。
In order to search for a face image, it is desirable to send a query to a face image search server that associates and indexes a person's name and face image. You may send a query. Even in this case, it is considered that related images can be acquired to some extent.
<Supplement>
As mentioned above, although embodiment of this invention was described, this invention is not limited to said content, It can implement also in the various forms for achieving the objective of this invention, its related or incidental object, for example, It may be the following.
1. In the embodiment, it has been described that an image is registered in association with an address and a name. However, the same effect can be obtained if at least an image can be registered in the address book table 42 in association with an address.

また、実施の形態では詳しく述べなかったが、検索された画像を携帯電話機2側で絞り込んだ後で、画像選択メニュー60として表示しても構わない。絞り込み条件としては、(1)画像のデータサイズ、(2)画像のファイル形式、(3)検索順位などが挙げられる。予め絞り込んでおくことで、アドレス帳への登録に適した画像をユーザに選択させることが期待できる。
2.実施の形態では、画像選択メニュー60(図10参照)を表示して、画像サムネイルからユーザに選択させるとして説明したが、ユーザに選択させずに自動的に登録しても良い。例えば、検索順位1位の画像を自動的に登録するとしても良い。
3.実施の形態では、属性が会社名である文字列を抽出した場合に、「ロゴ」のAND条件の例を説明したが、これに限らず、例えば「商品」のAND条件としてその会社に関連の深い商品画像を取得するようにしても構わない。
Although not described in detail in the embodiment, the searched image may be displayed as the image selection menu 60 after narrowing down the searched image on the mobile phone 2 side. The filtering conditions include (1) image data size, (2) image file format, and (3) search order. By narrowing down in advance, it can be expected that the user selects an image suitable for registration in the address book.
2. In the embodiment, it has been described that the image selection menu 60 (see FIG. 10) is displayed and the user selects from the image thumbnails, but may be automatically registered without being selected by the user. For example, the image with the highest search order may be automatically registered.
3. In the embodiment, when a character string whose attribute is a company name is extracted, an example of an AND condition of “logo” has been described. However, the present invention is not limited to this, and for example, an AND condition of “product” is related to the company. You may make it acquire a deep product image.

また、名称が類似する会社名の検索結果を排除するために、当該類似する会社名を除く条件(NOT条件)を用いてもよい。
4.実施の形態では、名刺リーダ機能を備えた携帯電話機2を例に挙げて説明したが、本発明はテキスト文から画像を取得する場合に広く適用することができる。例えば、抽出の対象を電子メールのテキスト文とすることで、実施の形態と同様にメーラーにおけるアドレス帳への画像登録を行わせることができる。
5.実施の形態では、アドレス帳テーブル42には名前と電話番号とを一対一対応で登録するとして説明したが、名前1個に対して2個の電話番号を登録させて、電話番号毎に画像を関連付けて登録する構成としても構わない。
In addition, in order to exclude search results for company names with similar names, conditions (NOT conditions) excluding the similar company names may be used.
4). In the embodiment, the cellular phone 2 having a business card reader function has been described as an example. However, the present invention can be widely applied when acquiring an image from a text sentence. For example, by setting an extraction target as a text sentence of an e-mail, image registration in an address book in a mailer can be performed as in the embodiment.
5. In the embodiment, it has been described that names and telephone numbers are registered in the address book table in a one-to-one correspondence. However, two telephone numbers are registered for one name, and an image is displayed for each telephone number. It does not matter as a configuration for registering in association.

例えば、ある人物に関して、勤務先の電話番号には会社のロゴマーク画像を関連付けて登録し、自宅の電話番号には当該人物の顔画像を関連付けて登録しておくことで、この人物から着信を受けた携帯電話機のユーザは、発呼元が会社か自宅かを容易に判別することができる。
6.実施の形態では、画像選択メニュー60(図10参照)において、画像を1個だけ選択受け付けするとして説明したが、複数個の画像の選択を受け付け、1個の名前に対して、複数個の画像を登録しても構わない。
For example, a person's phone number is registered in association with a company logo mark image, and a home phone number is registered in association with the person's face image. The user of the received mobile phone can easily determine whether the caller is at work or at home.
6). In the embodiment, it has been described that only one image is selected and received in the image selection menu 60 (see FIG. 10). Can be registered.

複数個の画像を登録した場合には、着信画面上で登録した複数の画像を順次表示(スライドショー表示)することが考えられる。
7.実施の形態では、画像選択メニュー60において、5件の画像サムネイルを同列に表示していたが、例えば、画像サムネイルについて検索順位が高いほど強調表示しても構わない。例えば、検索順位が高いほどサイズを大きくしたり、画像枠を太線で囲むなどをしても構わない。
8.実施の形態では、静止画像の例で説明したが、動画像であっても構わない。
9.上述の実施の形態で示した動作、処理(図7〜図11)を携帯電話機等の携帯通信端末のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
When a plurality of images are registered, it is conceivable to sequentially display a plurality of registered images on the incoming call screen (slide show display).
7). In the embodiment, five image thumbnails are displayed in the same row in the image selection menu 60. However, for example, the image thumbnails may be highlighted as the search order is higher. For example, the higher the search order, the larger the size may be, or the image frame may be surrounded by a thick line.
8). In the embodiment, an example of a still image has been described, but a moving image may be used.
9. A control program composed of a program code for causing the processor of a mobile communication terminal such as a mobile phone and the various circuits connected to the processor to execute the operations and processes (FIGS. 7 to 11) shown in the above-described embodiment. It can be recorded on a recording medium, or distributed and distributed via various communication channels.

このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM等がある。   Such recording media include IC cards, hard disks, optical disks, flexible disks, ROMs, and the like.

流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
10.なお、本実施の形態では、取得した情報に基づいて携帯通信端末でクエリを作成し、サーバに送信することを説明したが、必ずしも携帯通信端末側でクエリを作成する必要はない。例えば、携帯通信端末は、受信した文字列に基づいて情報を検索した後に検索結果を送信するサーバと通信可能であり、テキスト又は撮像された画像から第1の文字列と第2の文字列とを抽出し、抽出された第1の文字列をサーバへ送信した後にサーバから検索結果を受信し、受信した検索結果に画像が含まれている場合に、検索結果に含まれている画像と第2の文字列とを関連付けて記憶することとしてもよい。
The distributed and distributed control program is used by being stored in a memory or the like that can be read by the processor, and the processor executes the control program to perform various functions as shown in the embodiment. It will be realized.
10. In the present embodiment, it has been described that a query is created in the mobile communication terminal based on the acquired information and transmitted to the server. However, it is not always necessary to create a query on the mobile communication terminal side. For example, the mobile communication terminal can communicate with a server that transmits a search result after searching for information based on a received character string, and includes a first character string and a second character string from text or a captured image. When the search result is received from the server after the extracted first character string is transmitted to the server and the received search result includes an image, the image and the first The two character strings may be stored in association with each other.

こうする事により、携帯通信端末は、クエリを作成してサーバに送信しなくても検索結果を取得することができる。また、携帯通信端末は、「ロゴ」等の特定の文字列を予め記憶しておき、第1の文字列と特定の文字列とを合わせてサーバに送信することとしてもよい。第1の文字列と特定の文字列を合わせて送信することにより、サーバから受信する検索結果の精度を上げることができる。   By doing so, the mobile communication terminal can acquire the search result without creating a query and transmitting it to the server. The mobile communication terminal may store a specific character string such as a “logo” in advance and transmit the first character string and the specific character string to the server together. By transmitting the first character string and the specific character string together, the accuracy of the search result received from the server can be improved.

さらにまた、携帯通信端末は、文字列をサーバに送信するのではなく、例えばURL等のサーバに関する情報に基づいてサーバにアクセスし、特定のWeb画面を取得し、取得されたWeb画面の所定のスペースにユーザの文字入力を受け付け、文字入力された結果を第1の文字列として用いてサーバに送信することでサーバから検索結果を取得することとしてもよい。
11.上記実施の形態及び上記補足をそれぞれ組み合わせるとしてもよい。
Furthermore, the mobile communication terminal does not transmit a character string to the server, but accesses the server based on information about the server such as a URL, acquires a specific Web screen, and acquires a predetermined Web screen. The search result may be acquired from the server by receiving the user's character input in the space and transmitting the character input result to the server using the first character string.
11. The above embodiment and the above supplement may be combined.

本発明に係る携帯通信端末は、アドレス帳への画像登録を支援でき、ユーザー体験(user experience)の向上に貢献する。   The mobile communication terminal according to the present invention can support image registration in the address book, and contributes to the improvement of the user experience.

携帯電話機の外観を示す図である。It is a figure which shows the external appearance of a mobile telephone. 携帯電話機の機能ブロック図である。It is a functional block diagram of a mobile phone. アドレス帳テーブルのテーブル構造を示す図である。It is a figure which shows the table structure of an address book table. クエリ生成テーブルのテーブル構造を示す図である。It is a figure which shows the table structure of a query production | generation table. (a)(b)は生成したクエリの例を示す図である。(A) and (b) are the figures which show the example of the produced | generated query. 画像URL保存テーブルのテーブル構造を示す図である。It is a figure which shows the table structure of an image URL preservation | save table. メインのフローチャートを示す図である。It is a figure which shows the main flowchart. 名刺リーダ処理のフローチャートを示す図である。It is a figure which shows the flowchart of a business card reader process. クエリ生成・送信処理のフローチャートを示す図である。It is a figure which shows the flowchart of a query production | generation / transmission process. 画像選択受付処理のフローチャートを示す図である。It is a figure which shows the flowchart of an image selection reception process. 着信通知処理のフローチャートを示す図である。It is a figure which shows the flowchart of an incoming call notification process. 動作例1のイメージ図である。It is an image figure of the operation example 1. FIG. 動作例2のイメージ図である。It is an image figure of the operation example 2. FIG.

符号の説明Explanation of symbols

2 携帯電話機
4 カメラ
6 ディスプレイ
12 操作部
14 表示部
16 カメラ部
17 OCR部
18 属性判定部
20 抽出部
22 画像選択受付部
24 アドレス管理部
26 Webブラウザ部
28 ソース変換部
30 クエリ送信部
32 クエリ生成部
34 無線通信部
38 着信通知部
40 記憶部
42 アドレス帳テーブル
44 クエリ生成テーブル44
46 画像保存部
48 画像URLテーブル
60 画像選択メニュー
82,102 着信画面
2 Mobile phone 4 Camera 6 Display 12 Operation unit 14 Display unit 16 Camera unit 17 OCR unit 18 Attribute determination unit 20 Extraction unit 22 Image selection reception unit 24 Address management unit 26 Web browser unit 28 Source conversion unit 30 Query transmission unit 32 Query generation Unit 34 wireless communication unit 38 incoming notification unit 40 storage unit 42 address book table 44 query generation table 44
46 Image storage unit 48 Image URL table 60 Image selection menu 82, 102 Incoming screen

Claims (9)

入力された問い合わせを示す情報に応答して1以上の画像を特定する情報を含む検索結果を出力する画像検索サーバと通信する携帯通信端末であって、
各アドレス毎に画像の項目を含むアドレス帳を記憶する記憶手段と、
テキスト文から第1の条件に基づいて検索文字列を抽出し、第2の条件に基づいてアドレスを抽出する抽出手段と、
前記第1の条件に基づいて抽出された検索文字列を用いて問い合わせを示す情報を生成する生成手段と、
生成された問い合わせを示す情報を画像検索サーバに送信する送信手段と、
前記画像検索サーバから検索結果を受信する受信手段と、
受信した検索結果に基づく画像を、前記第2の条件に基づいて抽出されたアドレスと関連付けて前記アドレス帳に登録する登録手段と
を備えることを特徴とする携帯通信端末。
A mobile communication terminal that communicates with an image search server that outputs a search result including information identifying one or more images in response to information indicating an input inquiry,
Storage means for storing an address book including image items for each address;
Extraction means for extracting a search character string from a text sentence based on a first condition and extracting an address based on a second condition;
Generating means for generating information indicating an inquiry using a search character string extracted based on the first condition;
Transmission means for transmitting information indicating the generated inquiry to the image search server;
Receiving means for receiving a search result from the image search server;
A mobile communication terminal comprising: a registration unit that registers an image based on a received search result in the address book in association with an address extracted based on the second condition.
前記アドレス帳における前記アドレスとは、電話番号であって、
前記携帯通信端末は、着信時に発呼者の電話番号に基づき、前記アドレス帳から画像を読み出し表示する着信通知手段を備える
ことを特徴とする請求項1に記載の携帯通信端末。
The address in the address book is a telephone number,
2. The mobile communication terminal according to claim 1, further comprising an incoming call notification unit that reads and displays an image from the address book based on a caller's telephone number when an incoming call is received.
前記携帯通信端末は、受信手段により受信した検索結果に基づき画像を表示し、表示した画像の中からユーザによる選択を受け付けるメニュー表示手段を備え、
前記登録手段が登録する前記画像は、ユーザの選択に係る画像である。
ことを特徴とする請求項1に記載の携帯通信端末。
The mobile communication terminal includes a menu display unit that displays an image based on the search result received by the receiving unit, and that accepts a selection by the user from the displayed image.
The image registered by the registration unit is an image related to a user's selection.
2. The mobile communication terminal according to claim 1, wherein
名刺を撮影する撮影手段と、
撮影した画像を文字認識してテキスト文に変換する文字認識手段とを備え、
前記抽出手段の抽出対象は前記変換されたテキスト文であって、
前記第1の条件は、前記テキスト文から会社名を抽出するための条件であって、
前記生成手段は、抽出された会社名とロゴマーク取得のための文字列とをAND条件で指定した問い合わせを示す情報を生成し、
前記登録手段は、受信した検索結果に基づくロゴマークを示す画像を、前記アドレスと関連付けて登録する
ことを特徴とする請求項1に記載の携帯通信端末。
Photographing means for photographing business cards;
Character recognition means for recognizing captured images and converting them into text sentences,
The extraction object of the extraction means is the converted text sentence,
The first condition is a condition for extracting a company name from the text sentence,
The generation unit generates information indicating an inquiry in which an extracted company name and a character string for logo mark acquisition are designated by an AND condition;
The mobile communication terminal according to claim 1, wherein the registration unit registers an image indicating a logo mark based on the received search result in association with the address.
名刺を撮影する撮影手段と、
撮影した画像を文字認識してテキスト文に変換する文字認識手段とを備え、
前記抽出手段の抽出対象は前記変換されたテキスト文であって、
前記第1の条件は、前記テキスト文から名前を抽出するための条件であって、
前記第2の条件は、前記アドレスに加えて名前を抽出するための条件であって、
前記生成手段は、名前と顔画像取得のための検索条件を含めた問い合わせを示す情報を生成し、
前記登録手段は、受信した検索結果に基づく顔画像を、前記第2の条件に基づいて抽出された前記アドレス及び名前と関連付けて登録する
ことを特徴とする請求項1に記載の携帯通信端末。
Photographing means for photographing business cards;
Character recognition means for recognizing captured images and converting them into text sentences,
The extraction object of the extraction means is the converted text sentence,
The first condition is a condition for extracting a name from the text sentence,
The second condition is a condition for extracting a name in addition to the address,
The generation means generates information indicating an inquiry including a search condition for obtaining a name and a face image,
2. The mobile communication terminal according to claim 1, wherein the registration unit registers a face image based on the received search result in association with the address and name extracted based on the second condition.
前記画像を特定する情報は、画像の所在を特定する所在情報であって、
前記受信手段は、前記検索結果に含まれる前記画像の所在を示す所在情報を受信し、
さらに、前記メニュー表示手段がユーザから表示開始指示を受けた場合に、前記所在情報を用いて対応する画像を取得して、当該メニュー表示手段における画像の表示に供する画像取得手段を備える
ことを特徴とする請求項3に記載の携帯通信端末。
The information for specifying the image is location information for specifying the location of the image,
The receiving means receives location information indicating a location of the image included in the search result;
Furthermore, when the menu display unit receives a display start instruction from a user, the image display unit includes an image acquisition unit that acquires a corresponding image using the location information and displays the image on the menu display unit. The mobile communication terminal according to claim 3.
前記アドレス帳には、前記名前1個に対応して2個以上の電話番号を登録可能であって、
前記登録手段は、前記画像の登録の際に、前記名前、電話番号、及び当該画像の三者を一組にして前記アドレス帳に登録する
ことを特徴とする請求項2に記載の携帯通信端末。
In the address book, two or more telephone numbers can be registered corresponding to the one name,
3. The portable communication terminal according to claim 2, wherein the registration unit registers the name, the telephone number, and the image as a set in the address book when registering the image. .
入力された問い合わせを示す情報に応答して1以上の画像を特定する情報を含む検索結果を出力する画像検索サーバと通信する携帯通信端末において画像登録の制御処理を実行させるためのプログラムであって、
前記携帯通信端末は、各アドレス毎に画像の項目を含むアドレス帳を記録する記録媒体を備えており、
前記画像登録の制御処理は、テキスト文から第1の条件に基づいて検索文字列を抽出し、第2の条件に基づいて名前を抽出する抽出ステップと、
前記第1の条件に基づいて抽出された検索文字列を用いて問い合わせを示す情報を生成する生成ステップと、
生成された問い合わせを示す情報を画像検索サーバに送信する送信ステップと、
前記画像検索サーバから検索結果を受信する受信ステップと、
受信した検索結果に基づく画像を、前記第2の条件に基づいて抽出されたアドレスと関連付けて前記アドレス帳に登録する登録ステップと
を含むことを特徴とするプログラム。
A program for executing an image registration control process in a mobile communication terminal that communicates with an image search server that outputs a search result including information specifying one or more images in response to information indicating an input inquiry. ,
The mobile communication terminal includes a recording medium for recording an address book including an image item for each address,
The image registration control process includes extracting a search character string from a text sentence based on a first condition and extracting a name based on a second condition;
A generation step of generating information indicating an inquiry using a search character string extracted based on the first condition;
A transmission step of transmitting information indicating the generated inquiry to the image search server;
Receiving a search result from the image search server;
And a registration step of registering an image based on the received search result in the address book in association with an address extracted based on the second condition.
受信した文字列に基づいて情報を検索した後に検索結果を送信するサーバと通信可能な携帯通信端末であって、
画像を撮像する撮像手段と、
前記撮像手段によって撮像された画像から第1の文字列と第2の文字列とを抽出する抽出手段と、
前記抽出された第1の文字列を前記サーバに送信する送信手段と、
前記送信手段によって前記第1の文字列が送信された後に前記サーバから検索結果を受信する受信手段と、
前記受信手段により受信した検索結果に画像が含まれている場合に、検索結果に含まれている画像と前記抽出手段により抽出された第2の文字列とを関連づけて記憶する記憶手段と、
を備えることを特徴とする携帯通信端末。
A mobile communication terminal capable of communicating with a server that transmits a search result after searching for information based on a received character string,
An imaging means for capturing an image;
Extracting means for extracting a first character string and a second character string from an image imaged by the imaging means;
Transmitting means for transmitting the extracted first character string to the server;
Receiving means for receiving a search result from the server after the first character string is transmitted by the transmitting means;
A storage unit that stores an image included in the search result in association with the second character string extracted by the extraction unit when the search result received by the reception unit includes an image;
A mobile communication terminal comprising:
JP2008065152A 2008-03-14 2008-03-14 Mobile communication terminal Expired - Fee Related JP5242202B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008065152A JP5242202B2 (en) 2008-03-14 2008-03-14 Mobile communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008065152A JP5242202B2 (en) 2008-03-14 2008-03-14 Mobile communication terminal

Publications (2)

Publication Number Publication Date
JP2009224919A true JP2009224919A (en) 2009-10-01
JP5242202B2 JP5242202B2 (en) 2013-07-24

Family

ID=41241296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008065152A Expired - Fee Related JP5242202B2 (en) 2008-03-14 2008-03-14 Mobile communication terminal

Country Status (1)

Country Link
JP (1) JP5242202B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011093397A1 (en) * 2010-01-27 2011-08-04 京セラ株式会社 Portable electronic device and method for controlling portable electronic device
JP2011166311A (en) * 2010-02-05 2011-08-25 Fujitsu Ltd Portable terminal device, and telephone book retrieval method and program
JP2017228084A (en) * 2016-06-22 2017-12-28 株式会社ランドスケイプ Personal information registration/management system
JP6375464B1 (en) * 2018-03-09 2018-08-15 株式会社トランス・アーキテクト Sender information display device and program
US10503819B2 (en) 2012-10-17 2019-12-10 Samsung Electronics Co., Ltd. Device and method for image search using one or more selected words

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250071A (en) * 1998-02-26 1999-09-17 Minolta Co Ltd Image database constructing method, image database device and image information storage medium
JP2002207741A (en) * 2001-01-12 2002-07-26 Minolta Co Ltd Image data retrieval device, image data retrieval method, image data retrieval program, and computer-readable storage medium with image data retrieval program stored therein
JP2003101634A (en) * 2001-09-21 2003-04-04 Matsushita Electric Ind Co Ltd Information terminal apparatus
JP2004178018A (en) * 2002-11-22 2004-06-24 Omron Corp Image retrieval system, terminal device, server, and image retrieval method
JP2004348700A (en) * 2003-03-27 2004-12-09 Kureo:Kk Personal information management support program, personal information management support method and personal information management support device
JP2005311883A (en) * 2004-04-23 2005-11-04 Alpine Electronics Inc Telephone directory system and telephone unit
JP2006318375A (en) * 2005-05-16 2006-11-24 Matsushita Electric Ind Co Ltd Face image retrieval apparatus and face image retrieval method
JP2007164785A (en) * 2005-12-12 2007-06-28 Xerox Corp Personal information retrieval using knowledge bases for optical character recognition correction
JP2007288606A (en) * 2006-04-18 2007-11-01 Nec Saitama Ltd Portable terminal with camera
JP2007288574A (en) * 2006-04-18 2007-11-01 Casio Hitachi Mobile Communications Co Ltd Mobile communication terminal device and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250071A (en) * 1998-02-26 1999-09-17 Minolta Co Ltd Image database constructing method, image database device and image information storage medium
JP2002207741A (en) * 2001-01-12 2002-07-26 Minolta Co Ltd Image data retrieval device, image data retrieval method, image data retrieval program, and computer-readable storage medium with image data retrieval program stored therein
JP2003101634A (en) * 2001-09-21 2003-04-04 Matsushita Electric Ind Co Ltd Information terminal apparatus
JP2004178018A (en) * 2002-11-22 2004-06-24 Omron Corp Image retrieval system, terminal device, server, and image retrieval method
JP2004348700A (en) * 2003-03-27 2004-12-09 Kureo:Kk Personal information management support program, personal information management support method and personal information management support device
JP2005311883A (en) * 2004-04-23 2005-11-04 Alpine Electronics Inc Telephone directory system and telephone unit
JP2006318375A (en) * 2005-05-16 2006-11-24 Matsushita Electric Ind Co Ltd Face image retrieval apparatus and face image retrieval method
JP2007164785A (en) * 2005-12-12 2007-06-28 Xerox Corp Personal information retrieval using knowledge bases for optical character recognition correction
JP2007288606A (en) * 2006-04-18 2007-11-01 Nec Saitama Ltd Portable terminal with camera
JP2007288574A (en) * 2006-04-18 2007-11-01 Casio Hitachi Mobile Communications Co Ltd Mobile communication terminal device and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011093397A1 (en) * 2010-01-27 2011-08-04 京セラ株式会社 Portable electronic device and method for controlling portable electronic device
US9521228B2 (en) 2010-01-27 2016-12-13 Kyocera Corporation Mobile electronic apparatus and control method of mobile electronic apparatus
JP2011166311A (en) * 2010-02-05 2011-08-25 Fujitsu Ltd Portable terminal device, and telephone book retrieval method and program
US10503819B2 (en) 2012-10-17 2019-12-10 Samsung Electronics Co., Ltd. Device and method for image search using one or more selected words
JP2017228084A (en) * 2016-06-22 2017-12-28 株式会社ランドスケイプ Personal information registration/management system
JP6375464B1 (en) * 2018-03-09 2018-08-15 株式会社トランス・アーキテクト Sender information display device and program
JP2019103111A (en) * 2018-03-09 2019-06-24 株式会社トランス・アーキテクト Caller information display device and program

Also Published As

Publication number Publication date
JP5242202B2 (en) 2013-07-24

Similar Documents

Publication Publication Date Title
EP1797707B1 (en) Place name picture annotation on camera phones
US7991792B2 (en) System and method for embedding symbology in digital images and using the symbology to organize and control the digital images
RU2418379C2 (en) Number dialing based on image
US8774767B2 (en) Method and apparatus for providing phonebook using image in a portable terminal
JP4552632B2 (en) Portable device
JP4367355B2 (en) PHOTO IMAGE SEARCH DEVICE, PHOTO IMAGE SEARCH METHOD, RECORDING MEDIUM, AND PROGRAM
JP2010518505A (en) Adding tag information to a person image
JP2007028077A (en) Portable terminal
JP5242202B2 (en) Mobile communication terminal
KR101419010B1 (en) Apparatus and method for providing phonebook using image in portable terminal
EP2028588A2 (en) Method and apparatus for forwarding media objects to a cellular telephone user
JP2007018166A (en) Information search device, information search system, information search method, and information search program
US20110305406A1 (en) Business card recognition system
JP2009075637A (en) Data management system, data providing system, and program
JP2004038840A (en) Device, system, and method for managing memorandum image
JP6035787B2 (en) Data storage device, data storage method, and program
CN111143721A (en) Bookmark management method and device
JP5150035B2 (en) Mobile terminal, information processing method, and information processing program
JP5428911B2 (en) Mobile terminal device, telephone directory search method, and telephone directory search program
JP5796488B2 (en) Document editing system and document editing method
JP2008193197A (en) Moving picture distribution server
JP2003152829A (en) Communication apparatus
JP5201952B2 (en) Portable information terminal
JP2003163736A (en) Portable terminal with camera
JP2019105905A (en) Name card information registration device, name card information registration method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5242202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees