JP2010170501A - Portable device - Google Patents
Portable device Download PDFInfo
- Publication number
- JP2010170501A JP2010170501A JP2009014733A JP2009014733A JP2010170501A JP 2010170501 A JP2010170501 A JP 2010170501A JP 2009014733 A JP2009014733 A JP 2009014733A JP 2009014733 A JP2009014733 A JP 2009014733A JP 2010170501 A JP2010170501 A JP 2010170501A
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion input
- conversion
- candidates
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Input From Keyboards Or The Like (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
本発明は、画像認識結果に応じた変換入力候補から選択入力できる携帯装置に関する。 The present invention relates to a portable device that can selectively input from conversion input candidates according to an image recognition result.
従来の携帯端末装置は、文字選択ボタンの数が限られているため、一つの文字選択ボタンに多数の文字が割り当てられており、文字選択ボタンの押下数に応じて異なる文字を入力できるようになっている。そのため、所望のテキストを入力する場合、各文字選択ボタンを何度も押下する必要があり、非常に面倒である。 Since the conventional mobile terminal device has a limited number of character selection buttons, a large number of characters are assigned to one character selection button so that different characters can be input according to the number of times the character selection button is pressed. It has become. Therefore, when inputting a desired text, it is necessary to press each character selection button many times, which is very troublesome.
そこで、文字選択ボタンを頻繁に押下しなくても、文字、文字列、単語、語句、絵文字、キャラクター、および縮小画像などを含む各種テキスト(以降:テキストと表現)の入力を行えるようにする技術が幾つか開発されている。そのうちの一つに、画像認識に基づくテキスト入力技術がある。この技術では、所定の画像を認識し、認識した結果に応じたテキストをメモリから取得して、入力する。このため、テキストを入力する際の手間を大きく削減することができる。 Therefore, it is possible to input various texts (hereinafter referred to as text and expressions) including characters, character strings, words, phrases, pictograms, characters, and reduced images without frequently pressing the character selection button. Some have been developed. One of them is a text input technique based on image recognition. In this technique, a predetermined image is recognized, and text corresponding to the recognized result is acquired from a memory and input. For this reason, the effort at the time of inputting a text can be reduced significantly.
特許文献1には、複数種類のメッセージを、所定のポーズまたはジェスチャの画像に対応付けて記憶部に記憶し、着信時に、カメラ部によって撮像された画像からポーズまたはジェスチャを認識し、認識したポーズまたはジェスチャに対応するメッセージを記憶部から選択し、選択したメッセージを発信元の端末に送信する技術が開示されている。この技術によれば、通話機能を備えた携帯端末装置のユーザが着信に応答できない状況において、簡便に、応答できない状況を発呼者に伝えることができるようにする。 In Patent Document 1, a plurality of types of messages are stored in a storage unit in association with images of a predetermined pose or gesture, and when a call arrives, the pose or gesture is recognized from the image captured by the camera unit, and the recognized pose is detected. Alternatively, a technique is disclosed in which a message corresponding to a gesture is selected from a storage unit, and the selected message is transmitted to a source terminal. According to this technique, in a situation where a user of a mobile terminal device having a call function cannot respond to an incoming call, it is possible to easily inform the caller of the situation where the user cannot respond.
特許文献2の技術では、携帯電話のカメラを風景に向けて撮像が行われると、撮像画像を基に画像解析処理が行われて、平均明度及びRGB平均値が算出される。次いで、基地局から送信されている周辺情報を受信する。画像解析結果及び周辺情報を満たす画像解析結果判定条件及び周辺情報判定条件に対応するメッセージを出力メッセージ判定テーブルから読み出す。そして、読み出したメッセージ「今日はいい天気ですね」に従った音声をスピーカから出力させ、さらにメッセージを表示部に表示させる。これにより、撮像画像や撮像場所を基にした、種々の趣向を凝らした演出をする撮像画像処理装置等を実現する。
In the technique of
特許文献3には、運用者が管理する運用サーバ及び解析サーバと、多数のユーザの通信端末とによって構成される画像解析システムが開示されている。運用サーバは、インターネット上にWebページを公開し、登録会員ごとのメッセージ付き写真画像を閲覧に供す。運用サーバはこのサイトに送られた画像付き電子メールをメールの文書データと画像データとに関連づけて画像データベースに格納する。解析サーバは画像データベースの画像データをビットごとにRGB値及びCMYK値を解析し、画像データ全体の平均値を夫々算出して平均的特徴色を算出すると共に、文書データから形容詞を抽出して、夫々を関連付けした色彩データベースに夫々格納する。平均的特徴色と形容詞は、一方をもとに他方を機械的に抽出できる。これにより、画像や色彩と言葉を相互に客観的に関連付けして分類したデータベースを構築し、画像や色彩、言葉を機械的に抽出する。
特許文献4の技術では、文章作成モード下において顔文字入力の開始が選択されると、文章データを記憶させたまま、撮像モードを作動させる。撮像モードにおいて人の顔などの被写体が内蔵デジタルカメラによって撮像されると、画像データから顔画像データを抽出する処理を行い、撮像モードを終了させる。抽出した顔画像データに対応する顔文字を、記憶されている顔画像顔文字対応表を用いて検索し、該当した顔文字がある場合、該顔文字を構成する文字列データを作成中の文章データに付加する。これにより、画像データから抽出した顔画像データに対応する顔文字を入力できるようにして、顔文字の入力を簡易にした顔文字入力装置を提供する。 In the technique of Patent Document 4, when the start of emoticon input is selected under the text creation mode, the imaging mode is activated while text data is stored. When a subject such as a human face is imaged by the built-in digital camera in the imaging mode, processing for extracting face image data from the image data is performed, and the imaging mode is terminated. Search the emoticon corresponding to the extracted face image data using the stored face image emoticon correspondence table, and if there is a corresponding emoticon, the text for which the character string data constituting the emoticon is being created Append to data. Thus, there is provided an emoticon input device that enables emoticons to be input by allowing emoticons corresponding to the face image data extracted from the image data to be input.
しかし、従来の技術では、表示されたテキストをユーザが見るとき、認識対象の画像はすでに画面から消えている。そのため、画像認識結果に応じて選択されたテキストが、確かに画像の内容に合致しているか否か、ユーザが容易に判断できない問題が生ずる。 However, in the conventional technique, when the user views the displayed text, the image to be recognized has already disappeared from the screen. Therefore, there arises a problem that the user cannot easily determine whether the text selected according to the image recognition result surely matches the content of the image.
本発明は、前記の問題点に鑑みてなされたものであり、その目的は、画像認識結果に応じた変換入力候補を、ユーザに選択させることができる変換入力方法を備えた携帯装置を提供することにある。 The present invention has been made in view of the above-described problems, and an object thereof is to provide a portable device including a conversion input method that allows a user to select conversion input candidates according to an image recognition result. There is.
本発明に係る携帯装置は、前記の課題を解決するために、
撮像手段によって取得した画像、および記憶手段にある画像を表示する画像表示手段と、
前記画像を認識する画像認識手段と、
前記画像の認識結果に応じた変換入力候補を取得する変換入力候補取得手段と、
前記画像と前記変換入力候補を同時表示する表示制御手段と、
前記変換入力候補から選択入力できる変換入力選択手段とを備えていることを特徴としている。
In order to solve the above problems, a portable device according to the present invention
An image display means for displaying an image acquired by the imaging means and an image in the storage means;
Image recognition means for recognizing the image;
Conversion input candidate acquisition means for acquiring conversion input candidates according to the recognition result of the image;
Display control means for simultaneously displaying the image and the conversion input candidate;
Conversion input selection means that can select and input from the conversion input candidates is provided.
前記の構成によれば、携帯装置の表示部には、認識対象の画像と共に、当該画像の認識結果に応じた変換入力候補が表示される。したがってユーザは、認識画像および対応する変換入力候補を同時に確認することができる。これによりユーザは、表示された変換入力候補が認識画像の内容に合致した適切なものかどうかを、容易に判断することができる。 According to the above configuration, the conversion input candidate corresponding to the recognition result of the image is displayed on the display unit of the portable device together with the image to be recognized. Therefore, the user can confirm the recognized image and the corresponding conversion input candidate at the same time. Thus, the user can easily determine whether or not the displayed conversion input candidate is appropriate that matches the content of the recognized image.
また、本発明に係る携帯装置では、さらに、
所定のキーが押下された場合に、前記変換入力候補の入力方式を、文字選択ボタンの押下に基づく入力方式に切り換えできる表示制御手段をさらに備えていることが好ましい。
In the portable device according to the present invention,
It is preferable that the apparatus further comprises display control means capable of switching the input method of the conversion input candidate to an input method based on pressing of a character selection button when a predetermined key is pressed.
これによりユーザは、状況に応じて、画像認識結果に応じた変換入力候補から選択入力する方式ではなく、文字選択ボタンの押下により直接文字を入力する方式によって、文字、文字列、単語、語句、絵文字、キャラクター、および縮小画像などを含む各種テキスト(以降:テキストと表現)を入力できる。したがって、前記テキスト入力の柔軟性をより高めることができる。 Thereby, according to the situation, the user can select characters, character strings, words, phrases, by a method of directly inputting characters by pressing a character selection button, instead of a method of selecting and inputting from conversion input candidates according to the image recognition result. Various texts including pictographs, characters, and reduced images (hereinafter: text and expressions) can be input. Therefore, the flexibility of the text input can be further increased.
また、本発明に係る携帯装置では、さらに、
前記画像の認識結果に応じた前記変換入力候補を、前記表示制御手段による切り換え処理の後、前記文字選択ボタンの押下に基づく文字入力時の入力候補と共に表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
In the portable device according to the present invention,
The conversion input candidate according to the recognition result of the image is displayed together with the input candidate at the time of character input based on pressing of the character selection button after the switching process by the display control unit, and the conversion input It is preferable to provide conversion input selection means that can select and input from candidates.
前記の構成によれば、ユーザが選択できる変換入力候補がより多くなるので、テキスト入力時の多様性を高めることができる。 According to the above-described configuration, the number of conversion input candidates that can be selected by the user is increased, so that diversity during text input can be increased.
また、本発明に係る携帯装置では、さらに、
前記画像と、前記画像の認識結果に応じた前記変換入力候補と、文字選択ボタンの押下に基づく入力方式時の変換入力候補とを同時に表示できる表示制御手段を用い、変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
In the portable device according to the present invention,
Using the display control means capable of simultaneously displaying the image, the conversion input candidate according to the recognition result of the image, and the conversion input candidate in the input method based on pressing of the character selection button, it is possible to selectively input from the conversion input candidates It is preferable to provide conversion input selection means.
前記の構成によれば、ユーザが選択できる変換入力候補がより多くなるので、テキスト入力時の多様性を高めることができる。 According to the above-described configuration, the number of conversion input candidates that can be selected by the user is increased, so that diversity during text input can be increased.
また、本発明に係る携帯装置では、さらに、
前記画像の認識結果に応じた前記変換入力候補と、前記文字選択ボタンの押下に基づく文字入力時の前記変換入力候補とを、互いに表示形態を異ならせて表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
In the portable device according to the present invention,
Using the display control means for displaying the conversion input candidate according to the recognition result of the image and the conversion input candidate at the time of character input based on pressing of the character selection button in different display forms, and using the display control means It is preferable to provide conversion input selection means that can select and input from input candidates.
前記の構成によれば、ユーザは、画像認識結果に応じた変換入力候補と、その他の変換入力候補とを、容易に区別することができる。 According to the above configuration, the user can easily distinguish the conversion input candidate according to the image recognition result from other conversion input candidates.
また、本発明に係る携帯装置では、さらに、
現在の時刻を取得する時刻取得手段をさらに備え、
前記画像の認識結果および前記取得された現在の時刻に応じた前記変換入力候補を表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
In the portable device according to the present invention,
It further comprises time acquisition means for acquiring the current time,
It is preferable that the apparatus includes a conversion input selection unit that can selectively input from the conversion input candidates using display control means for displaying the conversion input candidates according to the recognition result of the image and the acquired current time.
前記の構成によれば、携帯装置は、たとえば朝の時間帯に応じた朝の挨拶文を変換入力候補として表示、および入力できる。したがって、ユーザは、現在の時刻に応じた適切なテキスト入力を入力できる。 According to the above configuration, the portable device can display and input a morning greeting text corresponding to, for example, a morning time zone as a conversion input candidate. Therefore, the user can input an appropriate text input according to the current time.
また、本発明に係る携帯装置は、さらに、
携帯装置における所定の処理の履歴があるか否かを判定する履歴判定手段をさらに備え、
前記変換入力候補取得手段、および前記表示制御手段は、前記画像の認識結果および前記履歴の有無に応じた前記変換入力候補を取得、および表示することが好ましい。
さらに、取得、および表示された前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
Moreover, the portable device according to the present invention further includes:
A history determination means for determining whether there is a history of predetermined processing in the portable device;
Preferably, the conversion input candidate acquisition unit and the display control unit acquire and display the conversion input candidate according to the recognition result of the image and the presence or absence of the history.
Furthermore, it is preferable to include conversion input selection means that can select and input from the acquired and displayed conversion input candidates.
前記の構成によれば、携帯装置における所定の処理(たとえば電子メールの送信処理)の履歴の有無に応じた変換入力候補を取得、および表示する。たとえば、携帯装置において現在作成中の電子メールの送信相手に対する過去の特定の時間帯における他の電子メールの送信履歴がなければ、当該特定の時間(たとえば朝)に相手に送信したメールが無いので、朝に初めて送るメールに入力することを考慮した変換入力候補(たとえば朝の挨拶文)を取得、および表示する。一方、当該履歴があれば、朝の時間帯にすでに相手にメールを送信済みであるため、朝の挨拶文の入力は不要と判定し、挨拶文以外の変換入力候補を取得、および表示され、変換入力候補から選択入力できる。以上の結果、ユーザは、取得、および表示された変換入力候補から、現在の状況にふさわしいテキストを簡単な操作で入力できる。 According to the above configuration, conversion input candidates corresponding to the presence / absence of a history of predetermined processing (for example, e-mail transmission processing) in the portable device are acquired and displayed. For example, if there is no other e-mail transmission history in the past specific time zone for the e-mail transmission partner currently being created in the portable device, there is no mail transmitted to the other party at the specific time (for example, in the morning). Then, conversion input candidates (for example, morning greetings) that are considered to be input in a mail sent for the first time in the morning are acquired and displayed. On the other hand, if there is such a history, since the mail has already been sent to the other party in the morning time, it is determined that the input of the morning greeting is unnecessary, and conversion input candidates other than the greeting are acquired and displayed, Selectable input from conversion input candidates. As a result, the user can input the text suitable for the current situation from the acquired and displayed conversion input candidates with a simple operation.
また、本発明に係る携帯装置では、さらに、
周囲の明るさを測定する明るさ測定手段をさらに備え、前記変換入力候補取得手段、および前記表示制御手段は、前記画像の認識結果および前記測定された明るさに応じた前記変換入力候補を取得、および表示することが好ましい。さらに、取得、および表示された前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
In the portable device according to the present invention,
Brightness measuring means for measuring ambient brightness is further provided, and the conversion input candidate acquisition means and the display control means acquire the conversion input candidates according to the recognition result of the image and the measured brightness. And display. Furthermore, it is preferable to include conversion input selection means that can select and input from the acquired and displayed conversion input candidates.
前記の構成によれば、携帯装置は、画像の認識結果および測定された明るさの両方に応じた変換入力候補を取得、および表示され、変換入力候補から選択入力できる。たとえば、画像が基準の明るさを下回る場合に、これらの認識結果および測定結果に対応する変換入力候補を取得、および表示され、変換入力候補から選択入力できる。したがって、画像の認識結果にのみ基づき変換入力候補を取得、および表示、入力する場合に比べて、変換入力候補の適切さをより向上できる。 According to the above configuration, the portable device acquires and displays conversion input candidates corresponding to both the image recognition result and the measured brightness, and can select and input from the conversion input candidates. For example, when the image falls below the standard brightness, conversion input candidates corresponding to these recognition results and measurement results are acquired and displayed, and can be selected and input from the conversion input candidates. Therefore, the suitability of the conversion input candidate can be further improved as compared with the case where the conversion input candidate is acquired, displayed, and input based only on the image recognition result.
また、本発明に係る携帯装置では、さらに、前記撮像された画像と、前記取得された前記変換入力候補とを互いに関連付けて記憶する記憶手段を備えていることが好ましい。 The portable device according to the present invention preferably further includes storage means for storing the captured image and the acquired conversion input candidate in association with each other.
また、本発明に係る携帯装置では、さらに、前記変換入力候補取得手段は、前記撮像された画像に含まれている画像情報を、当該画像に応じた変換入力候補として取得することが好ましい。 In the portable device according to the present invention, it is preferable that the conversion input candidate acquisition unit acquires image information included in the captured image as a conversion input candidate corresponding to the image.
前記の構成によれば、取得、および表示される変換入力候補の種類をより増やすことができる。 According to the said structure, the kind of conversion input candidate acquired and displayed can be increased more.
また、本発明に係る携帯装置では、さらに、携帯装置が所定の基準時間静止した場合に、前記画像の撮像と、当該画像の認識とを開始することが好ましい。または、携帯装置の撮像ボタンがユーザによって押下された場合に、前記画像の撮像と、当該画像の認識とを開始することが好ましい。または、前記画像の撮像を持続的に行いつつ、当該画像の認識を一定時間ごとに行うことが好ましい。 Further, in the portable device according to the present invention, it is preferable that the imaging of the image and the recognition of the image are started when the portable device is stationary for a predetermined reference time. Alternatively, it is preferable that when the imaging button of the portable device is pressed by the user, the imaging of the image and the recognition of the image are started. Alternatively, it is preferable that the image is recognized every predetermined time while the image is continuously captured.
また、本発明に係る携帯装置では、さらに、前記画像の撮像を終了した場合、前記変換入力候補の表示を終了することが好ましい。 Moreover, in the portable device according to the present invention, it is preferable that the display of the conversion input candidate is terminated when the imaging of the image is terminated.
以上のように、本発明に係る携帯装置は、画像認識結果に応じた変換入力候補をユーザに選択させることができる。 As described above, the portable device according to the present invention can allow the user to select conversion input candidates according to the image recognition result.
本発明に係る一実施形態について、図1〜図8を参照して以下に説明する。 An embodiment according to the present invention will be described below with reference to FIGS.
図1は、本発明の一実施形態に係る携帯電話機1の要部構成を示すブロック図である。この図に示すように、携帯電話機1は、無線アンテナ2、無線部4、通信制御部6、制御部8、Ir送信部10、Ir受信部12、インジケータ14、メモリ16、大容量メモリ18、テレビアンテナ20、テレビチューナ22、電源制御部24、電池25、プログラムメモリ26、入力操作部28、主カメラ30、副カメラ32、主表示部34、副表示部36、状態検出部38、振動センサ40、GPSアンテナ42、GPS部44、マイク46、スピーカ48、音声処理部50、RFIDアンテナ52、RFIDリーダ54、照度センサ56、および距離センサ58を備えている。
FIG. 1 is a block diagram showing a main configuration of a mobile phone 1 according to an embodiment of the present invention. As shown in this figure, the mobile phone 1 includes a
無線部4は無線アンテナ2を通じて無線通信を行う。通信制御部6は、無線部4による無線通信を制御する。
The wireless unit 4 performs wireless communication through the
制御部8は携帯電話機1に備えられる各部材を統括制御する。制御部8は、メール処理部60、表示制御部62、画像認識部64、および変換入力候補制御部66を備えている。これらの部材の役割および機能については後述する。
The
Ir送信部10は赤外線を送信する。Ir受信部12は赤外線を受信する。
The
インジケータ14は携帯電話機1の状態を点灯によって示す。
The
メモリ16は各種のデータおよび情報を保存する。本実施形態では、番号プリセット、電話帳、プリセットメッセージ、住所データ、壁紙データ、メール履歴、電話履歴、位置情報、および行動履歴を保存している。これらのデータまたは情報は公知のものであるため、これ以上の詳細な説明を省略する。
The
大容量メモリ18は、メモリ16には保存しきれない、サイズの大きなデータおよび情報を保存する。本実施形態では、地図情報、画像情報、および文字候補情報を保存している。
The large-
テレビチューナ22は、テレビアンテナ20を通じてテレビ放送を受信する。
The
電源制御部24は、電池25から供給される電力に基づき携帯電話機1における電源を制御する。
The power
プログラムメモリ26は携帯電話機1において実行される各種のプログラム(ソフトウェア)を保存している。
The
入力操作部28はユーザによる携帯電話機1に対する入力操作を受け付ける。
The
主カメラ30は、光学系30a、撮像部30b、および映像信号処理部30cを備えている。この構成により、携帯電話機1の外部にある撮像対象を撮像する。副カメラ32は、光学系32a、撮像部32b、および映像信号処理部32cを備えている。この構成により、携帯電話機1の外部にある撮像対象を撮像する。
The
主表示部34および副表示部36は、いずれも、各種のテキストおよび画像などの情報を表示する、いわゆるディスプレイである。たとえば液晶ディスプレイまたはプラズマディスプレイとして実装される。
The
状態検出部38は、携帯電話機1における筐体の状態を検出する。ここでいう「筐体の状態」とは、たとえば折り畳み状態、回転状態、サイクロイド状態、またはスライド状態などのことである。
The
振動センサ40は、携帯電話機1における振動状態を検出し、振動の度合いに応じた信号を出力する。
The
GPS部44は、GPSアンテナ42を通じて携帯電話機1の現在位置を示す情報を受信する。これにより携帯電話機1は、GPS(Global Positioning System)機能を実現する。
The
マイク46は携帯電話機1の外部の音声を電気信号に変換する。スピーカ48は音声を出力する。音声処理部50はマイク46による音声録音およびスピーカ48による音声出力を制御する。
The
RFIDリーダ54は、RFIDアンテナ52を通じて無線タグから情報を読み出す。
The
照度センサ56は携帯電話機1の周囲の照度を検出し、検出した照度に応じた電気信号を出力する。
The
距離センサ58は、測定対象物と携帯電話機1と間の距離を測定し、測定した距離に応じた電気信号を出力する。
The
(携帯電話機1の概観)
図2は、携帯電話機1の概観を示す図である。図2(a)に示すように、携帯電話機1は折り畳み可能な構造を有しており、2つの筐体を有している。一方の筐体には主表示部34が備えられ、もう一方の筐体には、入力操作部28が備えられている。入力操作部28は、決定キー70、マルチガイドキー72、左ソフトキー74、右ソフトキー76、および文字選択ボタン78から構成される。また、図2(b)に示すように、携帯電話機1が折り畳まれた状態において、主カメラ30が携帯電話機1の外部を向いた状態で備えられている。
(Overview of mobile phone 1)
FIG. 2 is a diagram showing an overview of the mobile phone 1. As shown in FIG. 2A, the mobile phone 1 has a foldable structure and has two housings. One housing is provided with a
ユーザは、携帯電話機1を使い、メールを作成したり、ブログに記事をアップしたりすることができる。その際、メール本文または記事本文を執筆する。この執筆のために文字、文字列、単語、語句、絵文字、キャラクター、および縮小画像などを含む各種のテキスト(以降:テキストと表現)を入力する。携帯電話機1は、これらの入力を容易にするための機能を有している。以下に、当該機能について図3〜図8を参照して説明する。 The user can use the mobile phone 1 to create a mail or upload an article on a blog. At that time, write the body of the email or article. For this writing, various texts including characters, character strings, words, phrases, pictograms, characters, reduced images, and the like (hereinafter: text and expression) are input. The mobile phone 1 has a function for facilitating these inputs. The function will be described below with reference to FIGS.
(メール本文の作成画面)
図3および図4は、メール作成時に主表示部34に表示される各画面を表す図である。
図5は、携帯電話機1において、画像の認識結果および現在時刻に応じたテキストを入力する際の処理の流れを示すフローチャートである。
(Email text creation screen)
3 and 4 are diagrams showing screens displayed on the
FIG. 5 is a flowchart showing the flow of processing when the mobile phone 1 inputs text according to the image recognition result and the current time.
図5に示すように、メール処理部60が、メール作成機能を起動する(ステップS1)。これにより表示制御部62が、メール作成画面を主表示部34に表示する(図3(a))。この画面には、テキスト表示領域80およびメニュー表示領域82が設定されている。テキスト表示領域80には、ユーザが入力したテキストが表示される。メニュー表示領域82には、ユーザが選択可能なコマンドが複数、横並びになって表示される。本実施形態では3つのコマンドが表示される。図3(a)では「メニュー」、「完了」、および「キャンセル」がユーザから見た左側から順に並んでいる。
As shown in FIG. 5, the
図3(a)の状態において、ユーザが左ソフトキー74を押下すると、メニュー表示領域82に表示されている「メニュー」が選択される。このメニューを階層的に展開していくと「画像引用」という項目があり、ユーザはこれを選択する。すると、制御部8は画像引用機能を起動する(ステップS2)。
When the user presses the left soft key 74 in the state of FIG. 3A, the “menu” displayed in the
画像引用機能を起動すると、携帯電話機1は、まず主カメラ30を動作させ、携帯電話機1の周囲を撮像する。次に、画像引用によるテキスト入力のための画面を主表示部34に表示する。(ステップS3、図3(b))。
When the image quoting function is activated, the mobile phone 1 first operates the
この画面には、上述したテキスト表示領域80に加え、画像表示領域84および変換入力候補表示領域86が含まれている。表示制御部62は、主カメラ30によって撮像された画像を、画像表示領域84に表示する(ステップS4)。図3(b)の例では、カーテン越しに青空を撮像した画像を表示している。また、メニュー表示領域82にはユーザから見て左から順に「認識切換」、「決定」、および「画像切換」のコマンドを表示している。
This screen includes an
画像の表示後、画像認識部64が、当該画像を認識する(ステップS5)。図3(b)の画面を表示しているとき、携帯電話機1は明るさ/色調を優先させて画像を認識するモードで動作している。そのため、画像を認識する際、画像に含まれる明るさおよび色調の情報を優先的に取り出す。なお、現在設定されているモードを表すアイコンを、画面のどこかに表示してもよい。 After displaying the image, the image recognition unit 64 recognizes the image (step S5). When the screen of FIG. 3B is displayed, the mobile phone 1 operates in a mode for recognizing an image with priority on brightness / color tone. Therefore, when recognizing an image, information on brightness and color tone included in the image is preferentially extracted. An icon representing the currently set mode may be displayed somewhere on the screen.
画像の認識後、制御部8が現在の時刻を検出する(ステップS6)。この時刻はたとえば携帯電話機1内のローカルクロックから取得する。次に制御部8は、現在の時刻が朝か否かを判定する(ステップS7)。携帯電話機1では、所定の時間帯(たとえば7時〜9時)の時刻が朝であることが予め定められている。そこで制御部8は、検出した現在の時刻が、朝であると定められた所定の時間帯内の時刻であるか否かを判定する。
After recognizing the image, the
ステップS7における判定の結果が「偽」であるとき(NO)、携帯電話機1は、図5に示す処理を終了する。なお、処理を終了する代わりに、朝以外の時間帯に応じた処理を実行してもよい。たとえば、昼または夜の時間帯のメール送信履歴を確認し、履歴の有無に応じた処理を実行する、といったものである。具体的には、現在の時間が昼の時間帯(たとえば午後12時〜午後14時)であるか否かを判定し、昼の時間帯であった場合には、さらに、昼の時間帯に送信したメールの履歴があるか否かを判定する。もし昼の時間帯に送信したメールが無ければ、昼の時間帯に初めて送るメールであるから、メール本文に入力すべき昼の挨拶文として「こんにちは」などのテキストを変換入力候補として取得し、変換入力候補表示領域86に表示する。結果、ユーザは、昼の挨拶文を簡単な操作でメール本文に入力できる。
When the result of the determination in step S <b> 7 is “false” (NO), the mobile phone 1 ends the process shown in FIG. 5. In addition, you may perform the process according to time zones other than the morning instead of complete | finishing a process. For example, the mail transmission history during the daytime or night time period is confirmed, and processing according to the presence or absence of the history is executed. Specifically, it is determined whether or not the current time is a noon time zone (for example, from 12:00 pm to 14:00 pm). It is determined whether there is a history of sent mail. If there is no mail sent the day of the time period if, to get because it is the first time send e-mail to the noon of time zone, a text such as "Hello" as a conversion input candidates as the day of the salutation should be input in the mail body, It is displayed in the conversion input
一方、ステップS7における判定の結果が「真」であるとき(YES)、メール処理部60が、メール送信相手に関する今朝のメール送信履歴をメモリ16内から検索する(ステップS8)。そして、当該履歴があるか否かを判定する(ステップS9)。ここでいう今朝とは携帯電話機1が動作している日の朝のことであり、また「朝」とは前述した所定の時間帯(たとえば7時〜9時)内の時刻であると、携帯電話機1において事前に定められている。
On the other hand, when the result of determination in step S7 is “true” (YES), the
ステップS9における判定の結果が「真」であるとき(YES)、携帯電話機1は、図5に示す処理を終了する。すなわち、朝のメール送信履歴がすでにある(つまり朝の時間帯に相手にメールをすでに送っている)ので、このような送信済みのメールに朝の挨拶文を入力済みであるとみなす。その結果、現在作成中のメール文面には朝の挨拶文を再度入力する必要は無いと判定する。この判定に従い、朝の挨拶文の変換入力候補を取得しない。 When the result of determination in step S <b> 9 is “true” (YES), the mobile phone 1 ends the process shown in FIG. 5. That is, since there is already a morning mail transmission history (that is, mail has already been sent to the other party in the morning time), it is considered that a morning greeting has already been entered in such sent mail. As a result, it is determined that there is no need to input the morning greeting again in the mail text currently being created. According to this determination, conversion input candidates for morning greetings are not acquired.
一方、ステップS9における判定の結果が「偽」であるとき(NO)、変換入力候補制御部66が、複数の朝の挨拶文を複数の変換入力候補として大容量メモリ18から取得する(ステップS10)。ここで、携帯電話機1の大容量メモリ18には、朝の挨拶文が、図3(b)に示す画像の認識結果(明るさ/色調を優先した場合)、および朝の時間帯(7時〜9時)を示す情報にそれぞれ関連付けられて、予め複数保存されている。
On the other hand, when the result of determination in step S9 is “false” (NO), the conversion input
表示制御部62は、変換入力候補制御部66によって取得された複数の変換入力候補を変換入力候補表示領域86に表示する(ステップS11、図3(c))。図3(b)の例では、「おはよう」および「おはよー」など合計4つの挨拶文が、変換入力候補として表示されている。ここで、図3(b)に示す画像を認識した結果、画像が基準に明るさを上回る判定された場合には、これらの朝の挨拶文に末尾に、晴れであることを示す絵文字(太陽の絵)を付与して、変換入力候補として取得、および表示してもよい。この表示の例を図3(d)に示す。図3(d)では、図3(c)と異なり、各挨拶文の末尾に一律に太陽の絵文字が付加されている。
The
なお、図3(b)に示す画像を認識した結果、画像が基準の明るさを下回る判定された場合には、これらの朝の挨拶文に末尾に、曇りであることを示す絵文字(雲の絵)を付与して、変換入力候補として取得、および表示してもよい。 When the image shown in FIG. 3B is recognized, and the image is determined to be lower than the standard brightness, a pictograph (cloud cloud) is added at the end of these morning greetings. A picture) may be added and acquired and displayed as conversion input candidates.
さらに、携帯電話機1は、このような明るさの判定を、照度センサ56からの出力に基づいて行っても良い。また、画像認識による明るさの判定と、照度センサ56の出力に基づく明るさの判定とを組み合わせて、判定精度をより高めてもよい。
Further, the mobile phone 1 may perform such brightness determination based on the output from the
ユーザは、変換入力候補表示領域86に表示された複数の変換入力候補のうち、入力したいものを1つ選択する(ステップS12)。具体的には、マルチガイドキー72を押下してカーソルを上下させ、選択した変換入力候補の位置にもって行き、そこで決定キー70を押下する。これにより表示制御部62が、ユーザによって選択された変換入力候補をテキスト表示領域80に表示する(図3(e))。図3(e)の例では「おはよー」というテキストが選択され、表示されている。これによりユーザは、朝の時間帯に相手に初めて送るメールの文中に、簡単な操作によって朝の挨拶文を入力できる。
The user selects one of the plurality of conversion input candidates displayed in the conversion input
(認識対象画像の取得先切換)
携帯電話機1は、認識対象の画像を、主カメラ30によって撮像したものから、副カメラ32によって撮像したもの、または、大容量メモリ18に保存されているものに随時変更できる。図3(c)の画面に示すように、メニュー表示領域82に、ユーザが選択可能なコマンドとして、「認識切換」、「決定」、および「画像切換」がユーザから見た左側から順に並んでいる。
(Switch the acquisition source of recognition target images)
The mobile phone 1 can change the image to be recognized from one captured by the
図3(c)の状態において、ユーザが左ソフトキー74を押下すると、メニュー表示領域82に表示されている「認識切換」が選択される。するとこのメニューが展開され、「明るさ」、「形状」、および「位置」というサブ項目が表示される。現在選択されているサブ項目にはチェックマークが付されていてもよい。ここでユーザが「明るさ」を選択すると、携帯電話機1は明るさ/色調優先モードで動作する。一方、ユーザが「形状」を選択すると、携帯電話機1は形状/輪郭優先モードで動作する。また、ユーザが「位置」を選択すると、携帯電話機1は位置優先モードで動作する。このとき携帯電話機1は、現在位置を示す情報をGPS部44を用いてGPS衛星から取得できる。
When the user presses the left soft key 74 in the state of FIG. 3C, “recognition switching” displayed in the
図3(c)の状態において、ユーザが右ソフトキー76を押下すると、メニュー表示領域82に表示されている「画像切換」が選択される。するとこのメニューが展開され、「メインカメラ」、「サブカメラ」、および「内蔵画像」というサブ項目が表示される。携帯電話機1は、ユーザによって選択した項目に応じた画像を、認識対象とする。具体的には、ユーザが「メインカメラ」を選択すると、携帯電話機1は、認識対象の画像を主カメラ30の画像に切り換える。一方、ユーザが「サブカメラ」を選択すると、認識対象の画像を副カメラ32の画像に切り換える。また、ユーザが「内蔵画像」を選択すると、認識対象の画像を大容量メモリ18内に保存されている画像に切り換える。
When the user presses the right
さらに携帯電話機1は、主カメラ30によって撮像した画像の認識結果に応じた変換入力候補を表示している状態において、認識対象の画像を副カメラ32によって撮像したものに切り換えた場合、主カメラ30の画像の認識結果に応じた変換入力候補と、副カメラ32の画像の認識結果に応じた変換入力候補とを、変換入力候補表示領域86に同時に表示してもよい。切り換えた画像が大容量メモリ18内の画像であっても、同様にする。これにより、変換入力候補の数がより増えるので、ユーザは、より多様な選択肢の中から実際に入力したいテキストを選択できる。
Furthermore, when the mobile phone 1 switches the recognition target image to one captured by the
(作用・効果)
以上のように、携帯電話機1のユーザは、画像を撮像(認識)するだけで、入力したいテキストを手間無く簡単に入力できる。この変換入力候補は、画像の認識結果、および携帯電話機1の現在の状況を表す情報の両方に関連しているため、ユーザは、現在の状況に応じたテキストを素早くかつリアルタイムに入力することができる。
(Action / Effect)
As described above, the user of the mobile phone 1 can easily input text to be input without trouble by simply capturing (recognizing) an image. Since this conversion input candidate is related to both the image recognition result and the information indicating the current status of the mobile phone 1, the user can input text corresponding to the current status quickly and in real time. it can.
また、変換入力候補はいずれも、引用元の画像(認識対象の画像)と共に主表示部34に表示されるので、ユーザは、提示された変換入力候補が画像の内容に合致する適切なものか否かを、素早く判断することができる。したがって、携帯電話機1は、画像認識結果に基づくテキスト入力をより確実することができる。
In addition, since all the conversion input candidates are displayed on the
変換入力候補表示領域86に表示される変換入力候補は少なくとも1つあればよく、必ずしも複数である必要は無い。ただし、複数にすることが望ましい。複数の変換入力候補を取得、および変換入力候補表示領域86に表示される場合、ユーザは、多種多様なテキストを入力できるので、テキスト入力の幅を広げることができる。
There may be at least one conversion input candidate displayed in the conversion input
また、ユーザは画像を撮像(認識)さえすれば画像認識結果に応じたテキストを入力できるので、テキスト入力のために文字キーを押下する必要が無い。これにより、テキスト入力時のキー押下回数を低減できる。 Further, since the user can input text corresponding to the image recognition result as long as the image is captured (recognized), it is not necessary to press a character key for text input. This can reduce the number of key presses during text input.
また、携帯電話機1における所定の処理(たとえば電子メールの送信)の履歴の有無に応じた変換入力候補を取得、および表示される。本実施形態では当該所定の処理は電子メールの送信であるが、これに限らず、他の処理であってもよい。また、当該履歴は現在作成中の電子メールの送信相手に対する過去の特定の時間帯における他の電子メールの送信履歴であるが、これに限らず、他の履歴(たとえば受信履歴)であってもよい。いずれにしても、履歴の有無に応じた変換入力候補を取得、および表示されるので、ユーザは、現在の状況にふさわしいテキストを簡単な操作で入力できる。 Also, conversion input candidates corresponding to the presence / absence of a history of predetermined processing (for example, transmission of e-mail) in the mobile phone 1 are acquired and displayed. In the present embodiment, the predetermined process is an e-mail transmission, but the present invention is not limited to this and may be another process. In addition, the history is a transmission history of other e-mails in a specific time zone in the past with respect to the e-mail transmission partner currently being created, but is not limited thereto, and other histories (for example, reception histories) Good. In any case, conversion input candidates corresponding to the presence or absence of the history are acquired and displayed, so that the user can input text suitable for the current situation with a simple operation.
また、メール送信相手に関する今朝のメール送信履歴がある場合は、朝の挨拶文をメール本文に入力しない。履歴がすでにある場合は先のメールに挨拶文を含めて送った可能性が高いため、繰り返しを避けるための措置である。このような工夫により、メールの文面をより自然な形にすることができる。 Also, if there is a mail transmission history of this morning regarding the mail transmission partner, the morning greeting is not entered in the mail body. If there is already a history, there is a high possibility that the previous mail was sent with a greeting. Such a device can make the mail text more natural.
また携帯電話機1は、撮像画像の認識結果に加え、現在の時刻も考慮した上で、変換入力候補を検出し、ユーザに提示する。これにより、朝の挨拶文を変換入力候補として朝の時間帯にユーザに提示する処理を、より確実に行うことができる。 The mobile phone 1 also detects the conversion input candidate and presents it to the user in consideration of the current time in addition to the recognition result of the captured image. Thereby, the process which shows a morning greeting as a conversion input candidate to a user in the morning time slot | zone can be performed more reliably.
(続けて他の変換入力候補を表示)
携帯電話機1は、図5に示す処理を完了したあと、続けて、図6に示す処理を実行する。図6の処理では、同じ撮像画像から異なる優先モードで認識処理を実行し、新たな認識結果に応じた異なる複数の変換入力候補をユーザに提示する。図6は、携帯電話機1において、同じ画像から別の変換入力候補を取得し、ユーザに提示する際の処理の流れを示すフローチャートである。
(Continue to display other conversion input candidates)
After completing the process shown in FIG. 5, the cellular phone 1 continues to execute the process shown in FIG. In the process of FIG. 6, recognition processing is executed from the same captured image in different priority modes, and a plurality of different conversion input candidates corresponding to new recognition results are presented to the user. FIG. 6 is a flowchart showing a flow of processing when the mobile phone 1 acquires another conversion input candidate from the same image and presents it to the user.
まず、表示制御部62は、図3(e)に示す画像の表示を継続する(ステップS21)。こうすることによって、ユーザに対して、どのような画像の認識結果に基づき変換入力候補を表示したのかを把握させるようにする。次に、画像の認識結果を基に画像が明るいか否か、すなわち基準の明るさを上回るか否かを判定する(ステップS22)。ステップS22における判定の結果が「偽」であるとき(NO)、変換入力候補制御部66は、変換入力候補として、曇りや雨などの天気を現す変換入力候補を大容量メモリ18から取得する(ステップS24)。このような変換入力候補は、画像が基準の明るさを下回る場合の認識結果に関連付けられて、大容量メモリ18に予め保存されている。
First, the
一方、ステップS22における判定の結果が「真」であるとき(YES)、画像認識部64は、画像の認識結果に基づき、画像が青色か否かを判定する(ステップS23)。ここで、ステップS23における判定の結果が「偽」であるとき(NO)、変換入力候補制御部66は、ステップS24の処理を実行する。なお、大容量メモリ18には、画像が青色以外である場合の認識結果に関連付けられて、曇りや雨関連の天気を表す変換入力候補が大容量メモリ18に予め保存されている。
On the other hand, when the result of determination in step S22 is “true” (YES), the image recognition unit 64 determines whether the image is blue based on the image recognition result (step S23). Here, when the result of the determination in step S23 is “false” (NO), the conversion input
一方、ステップS24における判定の結果が「真」であるとき(YES)、変換入力候補制御部66は、変換入力候補として、晴れ関連の天気を表す変換入力候補を大容量メモリ18から取得する(ステップS25)。このような変換入力候補は、画像が基準の明るさを上回りかつ青色である場合の認識結果に関連付けられて、大容量メモリ18に予め保存されている。
On the other hand, when the result of determination in step S24 is “true” (YES), the conversion input
表示制御部62は、変換入力候補制御部66によって取得された変換入力候補を、変換入力候補表示領域86に表示する(ステップS26、図3(e))。図3(e)の例では、晴れ関連の天気を表す変換入力候補として「イイ天気だね」および「天気良いみたいだね」などの文章が表示されている。このとき、図示しない3軸センサによって携帯電話機1の向きを読み取り、空方向を撮像したか否かを判定することによって、判定制度をより高めてもよい。
The
ユーザは、マルチガイドキー72および決定キー70を操作して、変換入力候補の1つを選択する(ステップS27)。ここでは「天気良いね」を選択している。表示制御部62は、ユーザによって選択された変換入力候補をテキスト表示領域80に表示する(ステップS28、図3(f))。
The user operates the
次に携帯電話機1は、変換入力候補引用元の画像を切り換える。具体的には、ユーザが携帯電話機1を操作し、主カメラ30によってコーヒーカップを撮像する。これにより表示制御部62は、コーヒーカップの画像を次の画像として画像表示領域84に表示する(ステップS28、図3(f))。ここでユーザが左ソフトキー74を押下することによって、メニュー表示領域82に表示されている「認識切換」が選択される。するとこのメニューが展開され、「明るさ」、「形状」、および「位置」というサブ項目が表示される。ここではユーザは「形状」を選択する。この選択により、携帯電話機1は、形状/輪郭優先モードで動作する。これにより、画像認識部64は、画像を認識する際、形状または輪郭の検出に基づく認識処理を優先的に実行する。
Next, the mobile phone 1 switches the image of the conversion input candidate citation source. Specifically, the user operates the mobile phone 1 and images the coffee cup with the
画像認識部64は、次に表示された画像を認識する(ステップS29)。図3(f)の例では、コーヒーカップの形状を認識する。これにより、変換入力候補制御部66が、当該認識結果に応じた変換入力候補を大容量メモリ18から取得する。結果、表示制御部62は、認識結果に応じた変換入力候補を変換入力候補表示領域86に表示する(図3(g))。図3(g)の例では、「今から朝ごはん」および「朝食、食べています」などの文章を変換入力候補として表示する。なお、これらの変換入力候補は、コーヒーカップの形状を表す認識結果に関連付けられて、予め、大容量メモリ18に保存されている。
The image recognition unit 64 recognizes the next displayed image (step S29). In the example of FIG. 3 (f), the shape of the coffee cup is recognized. Thereby, the conversion input
以上のように、携帯電話機1は、同じ認識画像から異なる優先モードに応じた認識処理によって、異なる状況に応じた異なる変換入力候補を表示し、ユーザに選択させる。したがって、ユーザは多種多様なテキストを入力できる。 As described above, the mobile phone 1 displays different conversion input candidates corresponding to different situations by the recognition processing corresponding to different priority modes from the same recognition image, and allows the user to select. Therefore, the user can input a wide variety of texts.
(テキスト入力方式の切り換え)
携帯電話機1は、上述した画像引用型のテキスト入力方式と、キー押下型のテキスト入力方式とを、随時、切り換えることができる。この場合の処理の流れについて、図7を参照して以下に説明する。図7は、携帯電話機1がテキスト入力方式を切り換える際の処理の流れを示すフローチャートである。
(Switching text input method)
The mobile phone 1 can switch between the above-described image citation type text input method and key press type text input method at any time. The processing flow in this case will be described below with reference to FIG. FIG. 7 is a flowchart showing the flow of processing when the mobile phone 1 switches the text input method.
この図に示すように、まず携帯電話機1は、画像引用方式により変換入力候補を取得し表示する。この処理はステップS31〜S36に示す通りであり、ここの処理の詳細はすでに説明済みであるためここでは省略する。ステップS36の処理が終了した時点で、図3(b)の画面が主表示部34に表示されているものとする。
As shown in this figure, the mobile phone 1 first acquires and displays conversion input candidates by an image citation method. This process is as shown in steps S31 to S36, and details of this process have already been described, and are omitted here. It is assumed that the screen of FIG. 3B is displayed on the
変換入力候補の表示後、制御部8は、ユーザによって文字選択ボタン78が押下されたか否かを判定する(ステップS37)。ステップS37における判定の結果が「偽」であるとき(NO)、携帯電話機1は、変換入力候補を選択する(ステップS38)。具体的には、ユーザがマルチガイドキー72を操作して複数の変換入力候補の一つを選択し、携帯電話機1はその選択処理を受け付ける。制御部8は選択された変換入力候補をテキスト表示領域80に表示する。次に、制御部8は、テキスト入力を終了するか否かを判定する(ステップS39)。たとえばユーザが「終了」メニューを選択した場合、テキスト入力を終了する。ここで、ステップS39における判定の結果が「偽」であるとき(NO)、図7の処理はステップS33に戻る。すなわち携帯電話機1は、画像引用方式によるテキスト入力処理を繰り返す。一方、ステップS39における判定の結果が「真」であるとき(YES)、携帯電話機1は、図7に示す処理を終了する。
After displaying the conversion input candidates, the
ここで、ステップS37における判定の結果が「真」であるとき(YES)、携帯電話機1は、テキスト入力方式を、現在の画像引用方式から、通常の文字テキスト入力方式に切り換える。ここでいう通常の方式とは、文字選択ボタン78のキー押下による文字入力に基づくテキスト入力方式のことである。この方式では、ユーザが押下したキーに割り当てられている文字が直接入力される。この切り換え処理により、表示制御部62は、主表示部34に、通常のテキスト入力画面を表示する(ステップS40)。ここで、本実施形態において、携帯電話機1が画像引用方式のテキスト入力処理の実行中に、表示制御部62が図4(a)の画面を主表示部34に表示しているとする。この場合、表示制御部62は、ステップS40において、図4(a)の画面に代えて図4(b)の画面を表示する。図4(b)の画面には、テキスト表示領域80、メニュー表示領域82、および変換入力候補表示領域86が設定されている。
Here, when the result of the determination in step S37 is “true” (YES), the mobile phone 1 switches the text input method from the current image citation method to the normal character text input method. The normal method here is a text input method based on character input by pressing the key of the
ユーザは、文字選択ボタン78のキーを押下することによって、「さ」および「ん」の二文字を入力しており、これらの文字が仮の入力テキストとしてテキスト表示領域80に表示されている。ここで、表示制御部62は、これら入力された文字に対応する変換入力候補として、複数のテキストを変換入力候補表示領域86に表示する(ステップS41)。図4(b)の変換入力候補表示領域86は図4(a)のそれよりも広くなっているので、より多くの変換入力候補が同時に表示される。
The user inputs two characters “sa” and “n” by pressing the key of the
また表示制御部62は、キー押下により入力された文字に応じた変換入力候補に加え、直前の画像認証結果に応じて取得された変換入力候補も、同時に変換入力候補表示領域86に表示してもよい(図4(c))。たとえば図4(c)では「三」および「参考」に加えて「イイ天気だね」および「天気良いね」などを表示する。これにより、変換入力候補の幅が広がるので、入力の効率性を高めることができる。なお、これら画像認識結果に応じた変換入力候補は、キー押下に基づく変換入力候補と異なる形態として表示することが望ましい。たとえばフォントまたは色調を互いに異ならせる。これにより、ユーザが両者を容易に区別することが出来る。
The
図4(b)の画面には、画像表示領域84は設定されていない。したがって表示制御部62は、図4(b)の画面を表示する際、図4(a)では表示していた画像(つまり認識対象の画像)を表示しない。その代わりに、所定の画像引用アイコン88を変換入力候補表示領域86に表示する。すなわち画像引用アイコン88は複数の変換入力候補と並んで表示されている。
The
ユーザは、図4(b)の画面が表示されている状態において、マルチガイドキー72を操作して、変換入力候補を一つ選択する(ステップS42)。これにより表示制御部62は、選択された変換入力候補をテキスト表示領域80に表示する。ここではユーザは「さん」を選択しているので、表示制御部62は、テキスト表示領域80において、「おはよー」の次に「さん」を表示する(図4(d))。なお、図4(d)の例では、表示制御部62は、「さん」の入力後に入力される可能性が高いテキストを予測し、新たな変換入力候補としてテキスト表示領域80に表示する。
In the state where the screen of FIG. 4B is displayed, the user operates the multi guide key 72 to select one conversion input candidate (step S42). As a result, the
ステップS42の処理の終了後、制御部8は、ユーザによって画像引用アイコン88が選択されたか否かを判定する(ステップS43)。ここで、ステップS43における判定の結果が「真」であるとき(YES)、図7の処理はステップS31に戻る。これにより、携帯電話機1におけるテキスト入力方式は、画像引用型のテキスト入力方式に復帰する。したがって携帯電話機1は、キー押下型のテキスト入力方式と、画像引用型のテキスト入力方式とを、随時、切り換えることができる。結果、ユーザは状況に応じていずれかの入力方式を選択できるので、テキスト入力時の利便性をより高めることができる。
After the process of step S42 is complete | finished, the
一方、ステップS43における判定の結果が「偽」であるとき(NO)、制御部8は、テキスト入力を終了するか否かを判定する(ステップS44)。ここで、制御部8は、ユーザが決定キー70を押下した場合(すなわちメニュー表示領域82内の「完了」ボタンを押下した場合)、テキスト入力を終了すると判定する。したがって図7に示す処理は終了する。
On the other hand, when the result of the determination in step S43 is “false” (NO), the
一方、ユーザが右ソフトキー76を押下した場合(すなわちメニュー表示領域82内の「キャンセル」ボタンを押下した場合)、制御部8は、本当にテキスト入力を終了しても良いか否かを確認するためのメッセージを、主表示部34に表示する。たとえば「テキスト入力を終了しますか?(はい・いいえ)」という表示を行う。ユーザが「はい」を選択した場合、制御部8はテキスト入力を終了すると判定するので、図7に示す処理は終了する。一方、ユーザが「いいえ」を選択した場合、図7に示す処理はステップS41に戻る。
On the other hand, when the user presses the right soft key 76 (that is, when the “cancel” button in the
(認識対象画像および変換入力候補の同時表示)
なお、表示制御部62は、認識対象の画像と、当該画像の認識結果に応じた変換入力候補(候補A)と、文字選択ボタン78の押下に基づく入力方式時の変換入力候補(候補B)とを、同時に主表示部34に表示することもできる。たとえば、画像表示領域84に画像を表示すると共に、変換入力候補表示領域86に候補Aおよび候補Bを表示する。これによりユーザは、表示された変換入力候補から選択入力する。この結果、ユーザが選択できる変換入力候補がより多くなるので、テキスト入力時の多様性を高めることができる。
(Simultaneous display of recognition target image and conversion input candidate)
Note that the
(画像認識時の優先モード)
携帯電話機1は、画像を認識する際、何を優先して認識するのかを事前に設定できる。本実施形態では、明るさ/色調、形状/輪郭、または位置のいずれかを優先して認識することを設定する。
(Priority mode for image recognition)
When recognizing an image, the mobile phone 1 can set in advance what is prioritized. In this embodiment, it is set that priority is given to any one of brightness / color tone, shape / contour, or position.
図8は、携帯電話機1が、設定された優先モードに基づき画像を認識して当該認識結果に応じた変換入力候補を取得、および表示する際の処理の流れを示すフローチャートである。 FIG. 8 is a flowchart showing a flow of processing when the mobile phone 1 recognizes an image based on the set priority mode, and acquires and displays a conversion input candidate according to the recognition result.
図8に示すステップS51〜S53は、すでに説明済みであるため、ここでは説明を省略する。認識対象の画像の表示後に、ユーザが、画像認識の際の優先モードを入力する(ステップS54)。ここでユーザは左ソフトキー74を押下する。これによりメニュー表示領域82に表示されている「認識切換」が選択される。するとこのメニューが展開され、「明るさ」、「形状」、および「位置」というサブ項目が表示される。ユーザは所望のサブ項目を選択し、これにより携帯電話機1が画像を認識する際の優先モードが入力される。
Since steps S51 to S53 shown in FIG. 8 have already been described, description thereof is omitted here. After displaying the recognition target image, the user inputs a priority mode for image recognition (step S54). Here, the user presses the left
画像認識部64は、入力されたモードが明るさ/色調優先モードか否かを判定する(ステップS55)。ステップS55における判定の結果が「真」であるとき(YES)、画像認識部64は、モードを明るさ/色調優先モードに設定する(ステップS56)。 The image recognition unit 64 determines whether or not the input mode is the brightness / tone priority mode (step S55). When the determination result in step S55 is “true” (YES), the image recognition unit 64 sets the mode to the brightness / color tone priority mode (step S56).
一方、ステップS55における判定の結果が「偽」であるとき(NO)、画像認識部64は、入力されたモードが形状/輪郭優先モードか否かを判定する(ステップS57)。ステップS57における判定の結果が「真」であるとき(YES)、画像認識部64は、モードを形状/輪郭優先モードに設定する(ステップS58)。一方、ステップSにおける判定の結果が「偽」であるとき(NO)、画像認識部64は、モードを位置優先モードに設定する(ステップS59)。 On the other hand, when the determination result in step S55 is “false” (NO), the image recognition unit 64 determines whether or not the input mode is the shape / contour priority mode (step S57). When the determination result in step S57 is “true” (YES), the image recognition unit 64 sets the mode to the shape / contour priority mode (step S58). On the other hand, when the result of determination in step S is “false” (NO), the image recognition unit 64 sets the mode to position priority mode (step S59).
画像認識部64は、設定された優先モードに応じて画像を認識する(ステップS60)。たとえば、前述したように図3(b)の例(カーテン越しに青空を撮像した画像を認識)では優先モードが明るさ/色調優先モードに設定されているので、画像の明るさ/色調を最優先に認識する。その結果、画像が明るいか否か、および画像が青色か否かを認識する。一方、図3(f)の例(コーヒーカップの画像を認識)では優先モードが形状/輪郭優先モードに設定されているので、画像内の形状および輪郭を最優先に認識する。その結果、画像内のコーヒーカップの形状を認識する。 The image recognition unit 64 recognizes an image according to the set priority mode (step S60). For example, as described above, in the example of FIG. 3B (recognizing an image obtained by capturing a blue sky through a curtain), the priority mode is set to the brightness / color tone priority mode. Recognize with priority. As a result, it is recognized whether the image is bright and whether the image is blue. On the other hand, since the priority mode is set to the shape / contour priority mode in the example of FIG. 3F (recognizes the coffee cup image), the shape and contour in the image are recognized with the highest priority. As a result, the shape of the coffee cup in the image is recognized.
ステップS61〜S63までの処理はすでに説明済みであるため詳細を省略する。ステップS63の次に、携帯電話機1は、テキスト入力を終了するか否かを判定する(ステップS64)。ステップS64における判定の結果が「偽」であるとき(NO)、図8の処理はステップS54に戻る。これによりユーザは画像認識の際の優先モードを次々と切り換えて、多種多様な認識を行わせ、各認識結果に応じた多様な変換入力候補を表示させることができる。なお、ステップS64における判定の結果が「真」であるとき(YES)、図8に示す処理は終了する。 Since the processing from step S61 to S63 has already been described, the details are omitted. Following step S63, the mobile phone 1 determines whether or not to end the text input (step S64). When the result of the determination in step S64 is “false” (NO), the processing in FIG. 8 returns to step S54. As a result, the user can switch the priority mode for image recognition one after another, perform various recognitions, and display various conversion input candidates according to each recognition result. Note that when the result of the determination in step S64 is “true” (YES), the processing shown in FIG. 8 ends.
なお、本発明は上述した各実施形態に限定されるものではない。当業者は、請求項に示した範囲内において、本発明をいろいろと変更できる。すなわち、請求項に示した範囲内において、適宜変更された技術的手段を組み合わせれば、新たな実施形態が得られる。 The present invention is not limited to the above-described embodiments. Those skilled in the art can make various modifications to the present invention within the scope of the claims. That is, a new embodiment can be obtained by combining appropriately changed technical means within the scope of the claims.
(適用範囲)
本発明は、テキスト入力可能な装置全般に適用できる。したがって、上述したメール作成時のテキスト入力に限らず、たとえばブログの記事作成時およびメモ作成時など各種のテキスト入力処理に適用できる。
(Scope of application)
The present invention can be applied to all devices capable of inputting text. Therefore, the present invention is not limited to the text input at the time of e-mail creation described above, and can be applied to various text input processes such as at the time of blog article creation and memo creation.
(画像撮像および認識のタイミング)
携帯電話機1は、主カメラ30の撮像により画像を取得し当該画像を認識する場合(1)携帯電話機1が所定の基準時間(たとえば約1〜2秒程度の極短い時間)静止した場合に自動的に撮像および画像認識を開始するか、(2)ユーザによって撮像ボタンが押下された場合に撮像および画像認識を開始するか、(3)撮像を持続的に行って画像を随時取得しつつ(動画撮像と同じ)、一定時間ごとに画像認識を行うようにしてもよい。いずれにせよ、携帯電話機1は、画像の認識後、認識結果に応じた変換入力候補を大容量メモリ18内に保持するので、必要に応じて参照し画面表示できる。
(Image capture and recognition timing)
When the mobile phone 1 acquires an image by the imaging of the
(朝食に関する変換入力候補の表示)
携帯電話機1は、朝食に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部64が、認識対象の画像から牛乳、パン、またはみそ汁などのパッケージの表面にあるテキスト(文字、単語等)を認識する。変換入力候補制御部66が、この認識結果に基づき、朝食に関連する変換入力候補を大容量メモリ18から少なくとも一つ取得する。この場合の変換入力候補として「今から朝食だぁ」および「今日の朝食はパンだよ」などがある。表示制御部62は、取得された朝食に関連する変換入力候補を変換入力候補表示領域86に表示する。なお大容量メモリ18には、朝食に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
(Display conversion input candidates for breakfast)
The mobile phone 1 can also acquire and display conversion input candidates relating to breakfast. The flow of processing for realizing this display is as follows. The image recognition unit 64 recognizes text (characters, words, etc.) on the surface of the package such as milk, bread, miso soup, or the like from the image to be recognized. The conversion input
(仕事に関する変換入力候補の表示)
携帯電話機1は、仕事に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部64が、認識対象の画像から一定数以上の文章を認識する。制御部8が、現在時刻をローカルクロック等から取得し、その時刻が仕事中を表す時刻(たとえば9時〜18時のいずれか)だとする。変換入力候補制御部66が、これらの認識結果および時刻に基づき、仕事に関連する変換入力候補を大容量メモリ18から少なくとも一つ取得する。この場合の変換入力候補として「仕事頑張ってます」および「忙しくて手が離せない」などがある。表示制御部62は、取得された仕事に関連する変換入力候補を変換入力候補表示領域86に表示する。なお大容量メモリ18には、仕事に関連する変換入力候補が、当該認識結果と当該仕事中の時刻とに関連付けられて事前に保存されている。
(Display conversion input candidates for work)
The mobile phone 1 can also acquire and display conversion input candidates related to work. The flow of processing for realizing this display is as follows. The image recognition unit 64 recognizes a certain number or more of sentences from the recognition target image. It is assumed that the
(マルチ機能)
画像引用機能の起動中に、ユーザが所定のマルチ機能を選択すると、携帯電話機1は、当該機能に対応する画面を主表示部34に全画面表示する。たとえば、ユーザが「トップメニュー」内の「設定」項目を選択し、さらにこの設定項目のサブ項目である「外部接続」項目を選択したとする。この「外部接続」はマルチ機能の一例である。主表示部34は、「外部接続」を設定するための画面を表示する。このとき画像認識部64は、表示された画面に含まれるテキストを認識し、当該認識したテキストを変換入力候補として取得し、変換入力候補表示領域86に表示する。たとえば、当該画面に含まれる「Bluetooth(登録商標)」、「赤外線通信」、および「USB接続コード」などのテキストを認識する。
(Multi function)
When the user selects a predetermined multi-function while the image quoting function is activated, the mobile phone 1 displays a screen corresponding to the function on the
(車両に関する変換入力候補の表示)
携帯電話機1は、画像から物体を認識し、この認識結果に応じたテキストを変換入力候補として取得、および表示してもよい。たとえば、画像からたとえば車両(自動車または電車など)を認識したとする。この場合、変換入力候補制御部66は、車両に関連する変換入力候補を取得する。たとえば、「今からドライブに行く」および「今から電車に乗ります」などのテキストを大容量メモリ18から取得する。表示制御部62は、取得された車両に関連する変換入力候補を変換入力候補表示領域86に表示する。なお大容量メモリ18には、車両に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
(Display of conversion input candidates for vehicles)
The mobile phone 1 may recognize an object from the image, and acquire and display text corresponding to the recognition result as a conversion input candidate. For example, it is assumed that a vehicle (car or train) is recognized from the image. In this case, the conversion input
(時間に関する変換入力候補の表示)
携帯電話機1は、時間に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部64が、認識対象の画像から時計の配列(数字の1〜12が時計周りの配列)認識する。変換入力候補制御部66が、この認識結果およびに基づき、時間に関連する変換入力候補を大容量メモリ18から少なくとも一つ取得する。この場合の変換入力候補として「もうすぐ仕事終わる」および「ちょっと遅れる」などがある。表示制御部62は、取得された仕事に関連する変換入力候補を変換入力候補表示領域86に表示する。なお大容量メモリ18には、時間に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
(Display conversion input candidates related to time)
The mobile phone 1 can also acquire and display conversion input candidates relating to time. The flow of processing for realizing this display is as follows. The image recognition unit 64 recognizes a clock arrangement (numbers 1 to 12 are clockwise arrangements) from the recognition target image. The conversion input
(電話に関する変換入力候補の表示)
携帯電話機1は、電話に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部64が、認識対象の画像から電話機を認識する。たとえば、数字および*#を含む配列を検出した場合、電話機を認識したと判定する。変換入力候補制御部66が、この認識結果およびに基づき、電話に関連する変換入力候補を大容量メモリ18から少なくとも一つ取得する。この場合の変換入力候補として「電話欲しい」および「電話しても良い?」などがある。表示制御部62は、取得された電話に関連する変換入力候補を変換入力候補表示領域86に表示する。なお大容量メモリ18には、電話に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
(Display conversion input candidates for telephone)
The mobile phone 1 can also acquire and display conversion input candidates related to the phone. The flow of processing for realizing this display is as follows. The image recognition unit 64 recognizes the telephone from the recognition target image. For example, when an array including numbers and * # is detected, it is determined that the telephone is recognized. The conversion input
(テレビに関する変換入力候補の表示)
携帯電話機1は、テレビに関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部64が、認識対象の画像から「長方形の矩形内に多数の色調がある状態」を認識する。変換入力候補制御部66が、この認識結果およびに基づき、テレビに関連する変換入力候補を大容量メモリ18から少なくとも一つ取得する。この場合の変換入力候補として「テレビ見てるよ」および「のんびりしてるよ」などがある。表示制御部62は、取得されたテレビに関連する変換入力候補を変換入力候補表示領域86に表示する。なお大容量メモリ18には、テレビに関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
(Display conversion input candidates for TV)
The mobile phone 1 can also acquire and display conversion input candidates for the television. The flow of processing for realizing this display is as follows. The image recognizing unit 64 recognizes “a state where there are a large number of color tones in a rectangular rectangle” from the image to be recognized. The conversion input
(就寝に関する変換入力候補の表示)
携帯電話機1は、就寝に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部64が、認識対象の画像から枕または布団を認識する。たとえば、枕または布団の形状を表す所定の輪郭を検出した場合に、枕または布団を認識したと判定する。変換入力候補制御部66が、この認識結果およびに基づき、就寝に関連する変換入力候補を大容量メモリ18から少なくとも一つ取得する。この場合の変換入力候補として「今から寝ます」および「おやすみー」などがある。表示制御部62は、取得された就寝に関連する変換入力候補を変換入力候補表示領域86に表示する。なお大容量メモリ18には、就寝に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
(Display of conversion input candidates for going to bed)
The cellular phone 1 can also acquire and display conversion input candidates related to sleeping. The flow of processing for realizing this display is as follows. The image recognition unit 64 recognizes a pillow or a futon from the image to be recognized. For example, when a predetermined contour representing the shape of a pillow or a futon is detected, it is determined that the pillow or the futon has been recognized. The conversion input
また、枕または布団の認識結果に加え、携帯電話機1の周囲の明るさの測定結果を加味した上で、変換入力候補を取得してもよい。具体的には、照度センサ56が、携帯電話機1の周囲の明るさを測定する。測定された明るさが基準の値を下回る場合、すなわち携帯電話機1の周囲が暗闇の場合に、変換入力候補制御部66は、当該認識結果および測定結果に対応する変換入力候補を大容量メモリ18から取得する。この結果、認識対象の画像に対して選択される変換入力候補の適切さを、より一層高めることができる。
In addition to the recognition result of the pillow or the futon, the conversion input candidate may be acquired in consideration of the measurement result of the brightness around the mobile phone 1. Specifically, the
(人込みに関する変換入力候補の表示)
携帯電話機1は、人込みに関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部64が、認識対象の画像から大勢の人を認識する。たとえば、人間の形状を表す所定の輪郭を所定の数だけ上回って検出した場合に、大勢の人を認識したと判定する。この認識結果に基づき、変換入力候補制御部66が、就寝に関連する変換入力候補を大容量メモリ18から少なくとも一つ取得する。この場合の変換入力候補として「大混雑してる...」および「すごい人波だよ」などがある。表示制御部62は、取得された人込みに関連する変換入力候補を変換入力候補表示領域86に表示する。なお大容量メモリ18には、人込みに関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
(Display conversion input candidates for crowds)
The mobile phone 1 can also acquire and display conversion input candidates related to crowding. The flow of processing for realizing this display is as follows. The image recognition unit 64 recognizes a large number of people from the recognition target image. For example, it is determined that a large number of people have been recognized when a predetermined number of contours representing the shape of a person are detected by a predetermined number. Based on the recognition result, the conversion input
(仕事に関する変換入力候補の表示)
携帯電話機1は、仕事に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部64が、認識対象の画像からパソコンを認識する。たとえば、QWERTYキーボードを検出した場合に、パソコンを認識したと判定する。この認識結果に基づき、変換入力候補制御部66が、仕事に関連する変換入力候補を大容量メモリ18から少なくとも一つ取得する。この場合の変換入力候補として「まだ仕事中・・・」および「忙しい・・・」などがある。表示制御部62は、取得された仕事に関連する変換入力候補を変換入力候補表示領域86に表示する。なお大容量メモリ18には、仕事に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
(Display conversion input candidates for work)
The mobile phone 1 can also acquire and display conversion input candidates related to work. The flow of processing for realizing this display is as follows. The image recognition unit 64 recognizes the personal computer from the recognition target image. For example, when a QWERTY keyboard is detected, it is determined that a personal computer has been recognized. Based on the recognition result, the conversion input
(場所に関する変換入力候補の表示)
携帯電話機1は、場所に関する変換入力候補を取得、および表示することもできる。具体的には、GPS部44または距離センサ58によって、現在の場所(位置)に関する情報を取得し、取得した情報と画像認識結果に応じた変換入力候補を変換入力候補表示領域86に表示する。これにより、たとえば「○○○に来てるよ」などのテキストを変換入力候補として表示できる。
(Display conversion input candidates for location)
The mobile phone 1 can also acquire and display conversion input candidates related to the place. Specifically, the
(ジェスチャに対応する変換入力候補の表示)
携帯電話機1は、認識対象の画像に含まれる「人間のジェスチャ」に対応する変換入力候補を取得し、変換入力候補表示領域86に表示してもよい。たとえば携帯電話機1は、認識対象の画像から「顔に手をあてた状態」を認識したとき、「まだ眠い...」および「やっと起きたぁ」などのテキストを変換入力候補として取得し、変換入力候補表示領域86に表示する。一方、認識対象の画像から「歯」を認識したときは「元気だよ」、「嬉しい」、および「楽しい」などのテキストを変換入力候補として取得し、変換入力候補表示領域86に表示する。また、認識対象の画像から「目の近くに人差し指がある状態」を認識したときは「悲しい」、「寂しい」、および「辛い」などのテキストを変換入力候補として取得し、変換入力候補表示領域86に表示する。また、認識対象の画像から「広げた手のひら」を認識したときは「ちょっと待って」および「ではでは」などのテキストを変換入力候補として取得し、変換入力候補表示領域86に表示する。
(Display conversion input candidates corresponding to gestures)
The mobile phone 1 may acquire conversion input candidates corresponding to “human gestures” included in the recognition target image and display them in the conversion input
なお大容量メモリ18には、各ジェスチャに関する変換入力候補が各ジェスチャの認識結果に関連付けて事前に保存されている。
In the large-
(その他のセンサ)
携帯電話機1は、画像認識結果に加え、温度センサまたは湿度センサ等の各種のセンサからの出力に応じた変換入力候補を取得し、変換入力候補表示領域86に表示してもよい。この場合、センサの測定対象(温度、湿度等)に応じたテキストをユーザは選択できるようになる。
(Other sensors)
The mobile phone 1 may acquire conversion input candidates according to outputs from various sensors such as a temperature sensor or a humidity sensor in addition to the image recognition result, and may display the conversion input candidates in the conversion input
(認識画像の保存)
携帯電話機1は、主カメラ30によって撮像した画像を認識し、当該認識の結果に応じた変換入力候補を取得し、変換入力候補表示領域86に表示した場合、認識した画像を、入力候補取得用の専用画像として、大容量メモリ18内の専用フォルダに保存してもよい。このとき、画像認識結果に応じた変換入力候補を、当該画像に関連付けて保存する。これによりユーザは、当該専用フォルダに保存された画像に関連付けられた変換入力候補を、適宜編集(変更、追加、または削除)できる。さらにユーザは、独自の変換入力候補を、保存された画像に新たに関連付けて登録することもできる。
(Save recognition image)
When the mobile phone 1 recognizes an image captured by the
(画像情報の利用)
携帯電話機1は、認識対象の画像に含まれる画像情報(撮像日時、位置、データ種類、データ容量、ファイル名、撮像機器、などのExif情報)を、テキストの変換入力候補として取得し、変換入力候補表示領域86に表示することもできる。
(Use of image information)
The cellular phone 1 acquires image information (Exif information such as imaging date / time, position, data type, data capacity, file name, imaging device, etc.) included in the recognition target image as a text conversion input candidate, and converts the input. It can also be displayed in the
(プログラムおよび記録媒体)
最後に、携帯電話機1に含まれている各ブロックは、ハードウェアロジックによって構成すればよい。または、次のように、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
(Program and recording medium)
Finally, each block included in the mobile phone 1 may be configured by hardware logic. Alternatively, it may be realized by software using a CPU (Central Processing Unit) as follows.
すなわち携帯電話機1は、各機能を実現するプログラムの命令を実行するCPU、このプログラムを格納したROM(Read Only Memory)、前記プログラムを実行可能な形式に展開するRAM(Random Access Memory)、および、前記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)を備えている。この構成により、本発明の目的は、所定の記録媒体によっても、達成できる。 That is, the mobile phone 1 includes a CPU that executes instructions of a program that realizes each function, a ROM (Read Only Memory) that stores the program, a RAM (Random Access Memory) that expands the program into an executable format, and A storage device (recording medium) such as a memory for storing the program and various data is provided. With this configuration, the object of the present invention can be achieved by a predetermined recording medium.
この記録媒体は、上述した機能を実現するソフトウェアである携帯電話機1のプログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録していればよい。携帯電話機1に、この記録媒体を供給する。これにより、コンピュータとしての携帯電話機1(またはCPUやMPU)が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。 The recording medium only needs to record the program code (execution format program, intermediate code program, source program) of the program of the mobile phone 1 which is software for realizing the above-described functions so as to be readable by the computer. This recording medium is supplied to the mobile phone 1. Thereby, the cellular phone 1 (or CPU or MPU) as a computer may read and execute the program code recorded on the supplied recording medium.
プログラムコードを携帯電話機1に供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などとすることができる。 The recording medium for supplying the program code to the mobile phone 1 is not limited to a specific structure or type. That is, the recording medium includes, for example, a tape system such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, and an optical disk such as a CD-ROM / MO / MD / DVD / CD-R. System, a card system such as an IC card (including a memory card) / optical card, or a semiconductor memory system such as a mask ROM / EPROM / EEPROM / flash ROM.
また、携帯電話機1を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、前記のプログラムコードを、通信ネットワークを介して携帯電話機1に供給する。この通信ネットワークは携帯電話機1にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等であればよい。 Further, even if the mobile phone 1 is configured to be connectable to a communication network, the object of the present invention can be achieved. In this case, the program code is supplied to the mobile phone 1 via the communication network. This communication network is not limited to a specific type or form as long as it can supply the program code to the mobile phone 1. For example, it may be the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication network, and the like.
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばIEEE1394、USB(Universal Serial Bus)、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。 The transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type. For example, even in the case of wired lines such as IEEE 1394, USB (Universal Serial Bus), power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), 802.11 It can also be used by radio such as radio, HDR, mobile phone network, satellite line, terrestrial digital network. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
本発明は、テキストを入力できる各種の携帯装置(たとえば携帯端末装置および携帯電話機など)として、幅広く利用できる。 The present invention can be widely used as various mobile devices (for example, mobile terminal devices and mobile phones) that can input text.
1 携帯電話機(携帯装置)
8 制御部(時刻検出手段、履歴検索手段)
18 大容量メモリ(記憶手段)
30 主カメラ(カメラ)
34 主表示部(ディスプレイ)
38 状態検出部
44 GPS部(位置情報取得手段)
46 GPSアンテナ(位置情報取得手段)
56 照度センサ(明るさ測定手段)
58 距離センサ(位置情報取得手段)
62 表示制御部(画像表示手段、表示制御手段)
64 画像認識部(画像認識手段)
66 変換入力候補制御部(変換入力候補取得手段、変換入力選択手段)
1 Mobile phone (mobile device)
8 Control unit (time detection means, history search means)
18 Large-capacity memory (storage means)
30 Main camera (camera)
34 Main display (display)
38
46 GPS antenna (location information acquisition means)
56 Illuminance sensor (brightness measurement means)
58 Distance sensor (Position information acquisition means)
62 Display control unit (image display means, display control means)
64 Image recognition unit (image recognition means)
66 Conversion input candidate control unit (conversion input candidate acquisition means, conversion input selection means)
Claims (15)
前記画像を認識する画像認識手段と、
前記画像の認識結果に応じた変換入力候補を取得する変換入力候補取得手段と、
前記画像と前記変換入力候補を同時表示する表示制御手段と、
前記変換入力候補から選択入力できる変換入力選択手段とを備えていることを特徴とする携帯装置。 An image display means for displaying an image acquired by the imaging means and an image in the storage means;
Image recognition means for recognizing the image;
Conversion input candidate acquisition means for acquiring conversion input candidates according to the recognition result of the image;
Display control means for simultaneously displaying the image and the conversion input candidate;
A portable device comprising conversion input selection means capable of selecting and inputting from the conversion input candidates.
前記画像の認識結果および前記取得された現在の時刻に応じた前記変換入力候補を表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることを特徴とする請求項1〜5のいずれか1項に記載の携帯装置。 It further comprises time acquisition means for acquiring the current time,
The image processing apparatus includes a conversion input selection unit that uses a display control unit that displays the conversion input candidate according to the recognition result of the image and the acquired current time, and that can select and input from the conversion input candidate. The portable apparatus of any one of Claims 1-5.
、前記画像の認識結果および前記履歴の有無に応じた前記変換入力候補を取得する変換入力候補取得手段と、前記変換入力候補を表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることを特徴とする請求項1〜6のいずれか1項に記載の携帯装置。 A history determination means for determining whether there is a history of predetermined processing in the portable device;
Conversion that can be selectively input from the conversion input candidates using conversion input candidate acquisition means for acquiring the conversion input candidates according to the recognition result of the image and the presence or absence of the history, and display control means for displaying the conversion input candidates The portable device according to claim 1, further comprising an input selection unit.
前記変換入力候補取得手段、および前記表示制御手段は、前記画像の認識結果および前記測定された明るさに応じた前記変換入力候補を取得、および表示し、
取得、および表示された前記変換入力候補から選択入力できる変換入力選択手段をさらに備えていることを特徴とする請求項1〜8のいずれか1項に記載の携帯装置。 Further comprising a brightness measuring means for measuring ambient brightness,
The conversion input candidate acquisition unit and the display control unit acquire and display the conversion input candidate according to the recognition result of the image and the measured brightness,
9. The portable device according to claim 1, further comprising conversion input selection means that can select and input from the acquired and displayed conversion input candidates.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009014733A JP2010170501A (en) | 2009-01-26 | 2009-01-26 | Portable device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009014733A JP2010170501A (en) | 2009-01-26 | 2009-01-26 | Portable device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010170501A true JP2010170501A (en) | 2010-08-05 |
Family
ID=42702577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009014733A Pending JP2010170501A (en) | 2009-01-26 | 2009-01-26 | Portable device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010170501A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2806336A1 (en) * | 2013-05-23 | 2014-11-26 | Omron Corporation | Text prediction in a text input associated with an image |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008074395A1 (en) * | 2006-12-19 | 2008-06-26 | Eastman Kodak Company | Method for automatic prediction of words in a text input associated with a multimedia message |
-
2009
- 2009-01-26 JP JP2009014733A patent/JP2010170501A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008074395A1 (en) * | 2006-12-19 | 2008-06-26 | Eastman Kodak Company | Method for automatic prediction of words in a text input associated with a multimedia message |
JP2010514023A (en) * | 2006-12-19 | 2010-04-30 | イーストマン コダック カンパニー | How to automatically prefetch words while entering multimedia message text |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2806336A1 (en) * | 2013-05-23 | 2014-11-26 | Omron Corporation | Text prediction in a text input associated with an image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107995429B (en) | Shooting method and mobile terminal | |
US8712472B1 (en) | Communication device | |
US8676705B1 (en) | Communication device | |
CN110636174B (en) | Bus code calling method and mobile terminal | |
US9674347B1 (en) | Communication device | |
KR20180095331A (en) | Mobile terminal and method for controlling the same | |
CN110321044A (en) | Sharing files method and terminal | |
CN109660728B (en) | Photographing method and device | |
US20120184214A1 (en) | Cell phone terminal, method for starting data processing, method for transferring data | |
US10158749B2 (en) | Method by which portable device displays information through wearable device, and device therefor | |
CN108174103B (en) | Shooting prompting method and mobile terminal | |
KR20180012751A (en) | Wearable terminal that displays optimized screen according to the situation | |
CN108764001A (en) | A kind of information processing method and mobile terminal | |
CN110557565A (en) | Video processing method and mobile terminal | |
CN109104564B (en) | Shooting prompting method and terminal equipment | |
CN109523253A (en) | A kind of method of payment and device | |
CN109669710B (en) | Note processing method and terminal | |
CN107885423B (en) | Picture processing method and mobile terminal | |
KR20160087969A (en) | Mobile terminal and dual lcd co-processing method thereof | |
CN110543276B (en) | Picture screening method and terminal equipment thereof | |
JP2010170501A (en) | Portable device | |
US9872127B2 (en) | Mobile terminal device, method for controlling mobile terminal device, and recording medium | |
US11715328B2 (en) | Image processing apparatus for selecting images based on a standard | |
JP6277981B2 (en) | Information code image display system, information code image display terminal, information code image display program | |
CN108605074B (en) | Method and equipment for triggering voice function |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130205 |