JP2015069234A - Display processing apparatus, and control method thereof and control program - Google Patents

Display processing apparatus, and control method thereof and control program Download PDF

Info

Publication number
JP2015069234A
JP2015069234A JP2013200449A JP2013200449A JP2015069234A JP 2015069234 A JP2015069234 A JP 2015069234A JP 2013200449 A JP2013200449 A JP 2013200449A JP 2013200449 A JP2013200449 A JP 2013200449A JP 2015069234 A JP2015069234 A JP 2015069234A
Authority
JP
Japan
Prior art keywords
color
character
unit
display
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013200449A
Other languages
Japanese (ja)
Inventor
隆昭 光永
Takaaki Mitsunaga
隆昭 光永
石川 博一
Hirokazu Ishikawa
博一 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013200449A priority Critical patent/JP2015069234A/en
Publication of JP2015069234A publication Critical patent/JP2015069234A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/30Control of display attribute
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory

Abstract

PROBLEM TO BE SOLVED: To improve legibility of a translated character.SOLUTION: A display processing method for displaying a character obtained by translating a character included in a captured image includes: specifying a character color of the character included in the captured image and a background color (S15); adjusting the character color and/or the background color, on the basis of a difference of the specified character color and background color (S16); and creating and displaying a translated image including the translated character and background in the adjusted character color and background color (S17,S18).

Description

本発明は、撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置、並びにその制御方法および制御プログラムに関する。   The present invention relates to a display processing device that displays a translated character on a display unit, and a control method and a control program thereof for a character in which a character included in a photographed image photographed by a photographing unit is translated by a translation unit. About.

近時では、携帯電話機、携帯ゲーム機、スマートフォンなどの携帯型電子機器は、カメラを備え、撮影機能を有していることが一般的である。このため、該撮影機能を利用したアプリケーションソフトウェア(以下、「アプリ」と略称する。)の開発が進められている。   Recently, portable electronic devices such as mobile phones, portable game machines, and smartphones are generally equipped with a camera and have a photographing function. For this reason, development of application software (hereinafter abbreviated as “application”) using the photographing function is underway.

例えば、特許文献1には、文書、看板等に含まれる外国語や絵文字を、リアルタイムに翻訳し、かつ適切な表示位置に表示可能な情報表示装置が開示されている。該情報表示装置は、カメラで撮像された文書、看板等の被写体に含まれる文字列を判別して抽出し、抽出した文字列を、辞書を用いて翻訳し、翻訳後の文字列で翻訳前の文字列を置換し、或いは翻訳前の文字列に重畳して表示している。また、スマートフォン向けのアプリである「Word Lens Translator」でも、同様の機能を実現している。   For example, Patent Document 1 discloses an information display device that can translate a foreign language or pictograph included in a document, a signboard, or the like in real time and display it at an appropriate display position. The information display device discriminates and extracts a character string included in an object such as a document imaged by a camera, a signboard, etc., translates the extracted character string using a dictionary, and uses the translated character string as a pre-translation character string. The character string is replaced or displayed superimposed on the character string before translation. In addition, “Word Lens Translator”, an application for smartphones, has realized the same function.

特開2011−134144号公報(2011年07月07日公開)JP 2011-134144 A (released on July 07, 2011)

特許文献1では、上記翻訳前の文字列の周辺の色で上記翻訳前の文字列を覆い、その上で上記翻訳後の文字列を、上記翻訳前の文字列が表示されていた位置、サイズ、角度、および色で表示している。すなわち、上記翻訳前の文字列およびその周辺の色と、上記翻訳後の文字列およびその周辺の色とは、それぞれ同じにしている。この場合、上記文書、看板等の被写体におけるデザイン上の意図を崩さずに上記翻訳後の文字列を表示することができる。しかしながら、特許文献1では、翻訳後の文字列の可読性(読み易さ)については考慮されていないため、翻訳後の文字列が読み難い場合があり得る。   In Patent Document 1, the pre-translation character string is covered with a color around the pre-translation character string, and the post-translation character string is displayed as the position and size of the pre-translation character string. , Angle, and color. That is, the character string before translation and the surrounding color are the same as the character string after translation and the surrounding color. In this case, the translated character string can be displayed without breaking the design intent of the subject such as the document or the signboard. However, in Patent Document 1, since the readability (readability) of the translated character string is not considered, the translated character string may be difficult to read.

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、翻訳された文字の可読性を向上させることができる表示処理装置などを提供することにある。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a display processing apparatus and the like that can improve the readability of translated characters.

本発明の一態様に係る表示処理装置は、撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置であって、上記課題を解決するため、前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定手段と、該色特定手段が特定した文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整手段と、前記翻訳された文字およびその背景を、前記色調整手段が調整した文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示手段とを備えることを特徴としている。   A display processing apparatus according to an aspect of the present invention is a display processing apparatus that displays a translated character on a display unit with respect to a character obtained by translating a character included in a photographed image photographed by a photographing unit. In order to solve the above problem, a color specifying unit that specifies a character color that is a character color included in the photographed image and a background color that is a background color of the character, and the color specifying unit specifies A color adjusting means for adjusting at least one of the character color and the background color based on the difference between the character color and the background color, and the character color and the background adjusted by the color adjusting means for the translated character and its background. And display instruction means for instructing the display unit to display each color.

本発明の一態様によれば、翻訳された文字の可読性を向上させることができる。   According to one embodiment of the present invention, the readability of translated characters can be improved.

本発明の一実施形態に係る携帯端末における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process in the portable terminal which concerns on one Embodiment of this invention. 上記携帯端末の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the said portable terminal. 撮影画像の表示例を示す図である。It is a figure which shows the example of a display of a picked-up image. 本発明の他の実施形態に係る携帯端末における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process in the portable terminal which concerns on other embodiment of this invention.

以下、本発明の実施の形態について、詳細に説明する。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail. For convenience of explanation, members having the same functions as those shown in the embodiments are denoted by the same reference numerals, and description thereof is omitted as appropriate.

〔実施形態1〕
まず、本発明の一実施形態について図1〜図3を参照して説明する。図2は、本実施形態に係る携帯端末の概略構成を示している。上記携帯端末の例としては、携帯電話機、スマートフォン、タブレット型端末、PDA(Personal Digital Assistant)、ノート型PC(Personal Computer)、PHS(Personal Handyphone System)端末などが挙げられる。なお、本発明は、携帯端末に限定されるものではなく、携帯型ゲーム機、デジタルカメラなど、撮影部および表示部を有する任意の電子機器に適用可能である。
Embodiment 1
First, an embodiment of the present invention will be described with reference to FIGS. FIG. 2 shows a schematic configuration of the mobile terminal according to the present embodiment. Examples of the mobile terminal include a mobile phone, a smartphone, a tablet terminal, a PDA (Personal Digital Assistant), a notebook PC (Personal Computer), and a PHS (Personal Handyphone System) terminal. Note that the present invention is not limited to a portable terminal, and can be applied to any electronic device having a photographing unit and a display unit, such as a portable game machine and a digital camera.

(携帯端末1の構成)
図2に示すように、本実施形態の携帯端末1は、制御部(表示処理装置)10、記憶部11、撮影部12、操作部13、および表示部14を備える構成である。
(Configuration of mobile terminal 1)
As shown in FIG. 2, the mobile terminal 1 according to the present embodiment includes a control unit (display processing device) 10, a storage unit 11, a photographing unit 12, an operation unit 13, and a display unit 14.

制御部10は、携帯端末1内の各種構成を統括的に制御するものであり、CPU(Central Processing Unit)などのプロセッサを備える構成である。記憶部11は、各種のデータおよびプログラムを記憶するものであり、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの記憶素子を備える構成である。なお、制御部10および記憶部11の詳細については後述する。   The control unit 10 comprehensively controls various configurations in the mobile terminal 1 and includes a processor such as a CPU (Central Processing Unit). The storage unit 11 stores various data and programs, and includes a storage element such as a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory. Details of the control unit 10 and the storage unit 11 will be described later.

撮影部12は、被写体の撮影を行って、静止画および動画といった撮影画像を生成するものであり、例えば、レンズなどの光学系と、外部から上記光学系を介しての光を電気信号に変換する撮像素子とを備えている。該撮像素子の例としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal-oxide Semiconductor)イメージセンサなどが挙げられる。撮影部12は、生成した撮影画像のデータを制御部10に送信する。   The photographing unit 12 shoots a subject and generates a photographed image such as a still image and a moving image. For example, an optical system such as a lens and externally converts light from the optical system into an electrical signal. An image pickup device. Examples of the image pickup device include a charge coupled device (CCD), a complementary metal-oxide semiconductor (CMOS) image sensor, and the like. The imaging unit 12 transmits the generated captured image data to the control unit 10.

操作部13は、携帯端末1の表面に設けられたボタンスイッチなどの入力デバイスをユーザが操作することにより、操作データを作成して制御部10に送信するものである。入力デバイスの例としては、ボタンスイッチの他にタッチパネルなどが挙げられる。   The operation unit 13 creates operation data and transmits it to the control unit 10 when a user operates an input device such as a button switch provided on the surface of the mobile terminal 1. Examples of input devices include a touch panel in addition to button switches.

表示部14は、制御部10から表示データを受信し、受信した表示データに基づいて表示画面に表示を行うものである。具体的には、表示部14は、LCD(Liquid Crystal Display)、EL(Electroluminescence)ディスプレイなどの表示素子と、受信した表示データに基づいて表示素子を駆動するドライバ回路とを備える構成である。   The display unit 14 receives display data from the control unit 10 and performs display on the display screen based on the received display data. Specifically, the display unit 14 includes a display element such as an LCD (Liquid Crystal Display) or an EL (Electroluminescence) display, and a driver circuit that drives the display element based on received display data.

本実施形態の携帯端末1では、制御部10は、撮影部12が撮影した撮影画像に対し、該撮影画像に含まれる文字を翻訳し、翻訳前の文字を翻訳後の文字で上書きした上で表示するように表示部14に指示している。さらに、制御部10は、上記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定し、特定した文字色および背景色の違いに基づき、上記文字色および上記背景色の少なくとも一方を調整し、調整した文字色および背景色で、上記翻訳後の文字およびその背景をそれぞれ表示するように表示部14に指示している。一般に、文字の可読性は、文字色と背景色との違いに依存するので、本実施形態により上記翻訳後の文字の可読性を向上させることができる。   In the mobile terminal 1 of the present embodiment, the control unit 10 translates characters included in the photographed image taken by the photographing unit 12 and overwrites the pre-translation characters with the translated characters. The display unit 14 is instructed to display. Further, the control unit 10 specifies a character color that is a character color included in the photographed image and a background color that is a background color of the character, and based on the difference between the specified character color and the background color, the character At least one of the color and the background color is adjusted, and the display unit 14 is instructed to display the translated character and its background with the adjusted character color and background color, respectively. In general, since the readability of characters depends on the difference between the character color and the background color, the readability of the translated characters can be improved according to this embodiment.

このことについて、具体例で説明する。図3の(a)は、撮影部が撮影した撮影画像をそのまま表示部に表示した表示例を示している。また、同図の(b)・(c)は、上記撮影画像に対し、該撮影画像に含まれる複数の文字の一部(図示の例では2行)を翻訳し、翻訳前の文字を翻訳後の文字で上書きした上で上記表示部に表示した表示例を示している。このうち、同図の(b)は、本実施形態の携帯端末1による表示例を実施例として示す一方、同図の(c)は、従来の携帯端末による表示例を参考例として示している。   This will be described with a specific example. FIG. 3A shows a display example in which the captured image captured by the imaging unit is displayed as it is on the display unit. Also, (b) and (c) in the figure translate a part of a plurality of characters (two lines in the illustrated example) included in the photographed image into the photographed image, and translate the characters before translation. The example of a display displayed on the said display part after overwriting with a later character is shown. Among these, (b) of the figure shows a display example by the portable terminal 1 of the present embodiment as an example, while (c) of the figure shows a display example by a conventional portable terminal as a reference example. .

従来例では、図3の(c)に示すように、翻訳対象の文字を含む文字領域に対し、該文字領域の背景色で塗りつぶした上で、上記文字領域の文字色で翻訳後の文字を重畳している。これに対し、本実施例では、図3の(b)に示すように、上記文字領域における上記文字色および上記背景色の明度差に基づき、上記背景色の明度を低く調整し、調整後の背景色で上記文字領域を塗りつぶした上で、上記文字領域の文字色で翻訳後の文字を重畳している。図3の(b)・(c)を比較すると、本実施例の方が従来例よりも、上記文字領域における文字色および背景色の明度差が大きく、翻訳後の文字の可読性が向上していることが理解できる。   In the conventional example, as shown in FIG. 3C, the character area including the character to be translated is painted with the background color of the character area, and the character after translation with the character color of the character area is displayed. Superimposed. In contrast, in this embodiment, as shown in FIG. 3B, the lightness of the background color is adjusted to be low based on the lightness difference between the character color and the background color in the character region. The character region is filled with the background color, and the translated character is superimposed with the character color of the character region. Comparing (b) and (c) in FIG. 3, the present embodiment has a greater lightness difference between the character color and the background color in the character region than the conventional example, and the readability of the translated character is improved. I can understand that.

(制御部10および記憶部11の詳細)
次に、制御部10および記憶部11の詳細について説明する。図2に示すように、制御部10は、撮影画像取得部20、文字抽出部21、文字認識部22、翻訳部23、色特定部(色特定手段)24、色調整部(色調整手段)25、翻訳画像作成部(表示指示手段)26、および重畳部(表示指示手段)27を備える構成である。また、記憶部11は、文字の色(文字色)と、該文字の背景の色(背景色)の組合せであって、文字の可読性が良好となる組合せを含む色調整用テーブル30を記憶している。
(Details of control unit 10 and storage unit 11)
Next, details of the control unit 10 and the storage unit 11 will be described. As shown in FIG. 2, the control unit 10 includes a captured image acquisition unit 20, a character extraction unit 21, a character recognition unit 22, a translation unit 23, a color identification unit (color identification unit) 24, and a color adjustment unit (color adjustment unit). 25, a translation image creation unit (display instruction unit) 26, and a superimposition unit (display instruction unit) 27. In addition, the storage unit 11 stores a color adjustment table 30 that includes a combination of a character color (character color) and a background color (background color) of the character and a combination that improves the readability of the character. ing.

撮影画像取得部20は、撮影部12が撮影した撮影画像のデータを取得するものである。撮影画像取得部20は、取得した撮影画像のデータを文字抽出部21および重畳部27に送出する。   The captured image acquisition unit 20 acquires captured image data captured by the imaging unit 12. The captured image acquisition unit 20 sends the acquired captured image data to the character extraction unit 21 and the superimposition unit 27.

文字抽出部21は、撮影画像取得部20からの撮影画像のデータを用いて、該撮影画像において1または複数の文字が含まれる領域である文字領域を特定し、特定した文字領域から上記文字を抽出するものである。文字抽出部21は、上記撮影画像における上記文字領域のデータを色特定部24および翻訳画像作成部26に送出すると共に、抽出した文字の特徴を示す文字特徴データを文字認識部22および色特定部24に送出する。   The character extraction unit 21 uses the captured image data from the captured image acquisition unit 20 to identify a character region that includes one or more characters in the captured image, and extracts the character from the identified character region. To extract. The character extraction unit 21 sends the data of the character region in the photographed image to the color specifying unit 24 and the translation image creating unit 26, and also includes character feature data indicating the extracted character features in the character recognition unit 22 and the color specifying unit. 24.

文字認識部22は、文字抽出部21からの文字特徴データに基づき、上記抽出した文字を認識するものである。文字認識部22は、認識した文字を示す認識文字データを翻訳部23に送出する。なお、文字抽出部21および文字認識部22の各機能は、テンプレートマッチング法など、公知の技術を利用することにより実現できるので、その説明を省略する。   The character recognition unit 22 recognizes the extracted character based on the character feature data from the character extraction unit 21. The character recognition unit 22 sends recognized character data indicating the recognized character to the translation unit 23. Note that the functions of the character extracting unit 21 and the character recognizing unit 22 can be realized by using a known technique such as a template matching method, and thus description thereof is omitted.

翻訳部23は、文字認識部22からの認識文字データに基づき、上記認識した文字を機械翻訳するものである。翻訳部23は、翻訳した文字を示す翻訳文字データを翻訳画像作成部26に送出する。なお、機械翻訳については、ルールベース機械翻訳、統計的機械翻訳など、公知の技術を利用することができるので、その説明を省略する。   The translation unit 23 performs machine translation of the recognized character based on the recognized character data from the character recognition unit 22. The translation unit 23 sends the translated character data indicating the translated characters to the translated image creation unit 26. In addition, about machine translation, since well-known techniques, such as rule-based machine translation and statistical machine translation, can be utilized, the description is abbreviate | omitted.

色特定部24は、文字抽出部21からの文字領域のデータおよび文字特徴データに基づき、上記抽出した文字の文字色および背景色を特定するものである。色特定部24は、特定した文字色および背景色のデータを色調整部25に送出する。   The color specifying unit 24 specifies the character color and background color of the extracted character based on the character area data and the character feature data from the character extracting unit 21. The color specifying unit 24 sends the specified character color and background color data to the color adjusting unit 25.

色調整部25は、色特定部24からの文字色および背景色のデータを取得すると、文字の可読性が良好となるように、上記文字色および上記背景色の違いに基づき、上記文字色および/または上記背景色を調整するものである。色調整部25は、調整後の文字色および背景色のデータを翻訳画像作成部26に送出する。   When the color adjustment unit 25 acquires the character color and background color data from the color specifying unit 24, the color adjustment unit 25, based on the difference between the character color and the background color, improves the character color and / or the background color. Alternatively, the background color is adjusted. The color adjustment unit 25 sends the adjusted character color and background color data to the translated image creation unit 26.

具体的には、色調整部25は、記憶部11における色調整用テーブル30を参照して、色特定部24が特定した背景色と同じまたは近い(類似する)背景色を含む上記組合せを検索する。なお、色調整部25は、色特定部24が特定した文字色と同じまたは近い文字色を含む上記組合せを検索してもよい。そして、色調整部25は、検索した上記組合せ、すなわち可読性の良好な上記組合せにおける文字色および背景色のデータを、上記調整後の文字色および背景色のデータとして翻訳画像作成部26に送出する。   Specifically, the color adjustment unit 25 refers to the color adjustment table 30 in the storage unit 11 and searches for the combination including the background color that is the same as or close to (similar to) the background color specified by the color specifying unit 24. To do. Note that the color adjustment unit 25 may search for the combination including a character color that is the same as or close to the character color specified by the color specifying unit 24. Then, the color adjusting unit 25 sends the character color and background color data in the searched combination, that is, the combination with good readability, to the translated image creating unit 26 as the adjusted character color and background color data. .

翻訳画像作成部26は、文字抽出部21からの文字領域のデータと、翻訳部23からの翻訳文字データと、色調整部25からの調整後の文字色および背景色のデータとを用いて、上記文字領域に上記翻訳した文字を上記調整後の文字色および背景色で含む画像である翻訳画像を作成するものである。具体的には、翻訳画像作成部26は、上記文字領域を上記調整後の背景色で塗り潰した後、上記翻訳した文字を上記調整後の文字色で上書きすることにより、上記翻訳画像を作成する。翻訳画像作成部26は、作成した翻訳画像のデータを重畳部27に送出する。   The translation image creation unit 26 uses the character region data from the character extraction unit 21, the translation character data from the translation unit 23, and the adjusted character color and background color data from the color adjustment unit 25. A translated image, which is an image including the translated character in the character region in the adjusted character color and background color, is created. Specifically, the translated image creation unit 26 creates the translated image by filling the character area with the adjusted background color and then overwriting the translated character with the adjusted character color. . The translation image creation unit 26 sends the created translation image data to the superposition unit 27.

重畳部27は、撮影画像取得部20からの撮影画像のデータと、翻訳画像作成部26からの翻訳画像のデータとを用いて、上記撮影画像の上記文字領域に上記翻訳画像を重畳するものである。重畳部27は、重畳した画像のデータを表示部14に送信することにより、上記重畳した画像が表示部14にて表示される。   The superimposing unit 27 superimposes the translated image on the character region of the captured image using the captured image data from the captured image acquisition unit 20 and the translated image data from the translated image creating unit 26. is there. The superimposing unit 27 transmits the superimposed image data to the display unit 14 so that the superimposed image is displayed on the display unit 14.

(制御部10の処理の流れ)
図1は、上記構成の携帯端末1における制御部10の処理の流れを示している。図示のように、まず、撮影部12を起動させ(S10)、撮影部12が作成した撮影画像を撮影画像取得部20が取得する(S11)。次に、文字抽出部21は、撮影画像取得部20が取得した撮影画像における上記文字領域を特定し、特定した文字領域から文字を抽出する(S12)。
(Processing flow of the control unit 10)
FIG. 1 shows a processing flow of the control unit 10 in the portable terminal 1 having the above-described configuration. As shown in the figure, first, the photographing unit 12 is activated (S10), and the photographed image acquisition unit 20 obtains a photographed image created by the photographing unit 12 (S11). Next, the character extraction unit 21 specifies the character region in the captured image acquired by the captured image acquisition unit 20, and extracts characters from the specified character region (S12).

次に、文字認識部22は、文字抽出部21が抽出した文字を認識し(S13)、翻訳部23は、文字認識部22が認識した文字を機械翻訳する(S14)。また、色特定部24は、文字抽出部21が抽出した文字の文字色および背景色を特定し(S15、色特定ステップ)、色調整部25は、文字の可読性が良好となるように、色特定部24が特定した文字色および背景色の違いに基づき、文字色および/または背景色を調整する(S16、色調整ステップ)。なお、ステップS13・S14とステップS15・S16とは、順序を入れ替えて実行してもよいし、並行して実行してもよい。   Next, the character recognition unit 22 recognizes the character extracted by the character extraction unit 21 (S13), and the translation unit 23 machine translates the character recognized by the character recognition unit 22 (S14). The color specifying unit 24 specifies the character color and background color of the character extracted by the character extracting unit 21 (S15, color specifying step), and the color adjusting unit 25 sets the color so that the readability of the character is good. The character color and / or the background color is adjusted based on the difference between the character color and the background color specified by the specifying unit 24 (S16, color adjustment step). In addition, step S13 * S14 and step S15 * S16 may be performed by changing order, and may be performed in parallel.

次に、翻訳画像作成部26は、文字抽出部21が特定した文字領域に、翻訳部23が翻訳した文字を、色調整部25による調整後の文字色および背景色で含む翻訳画像を作成する(S17、表示指示ステップ)。そして、重畳部27は、撮影画像取得部20からの撮影画像の上記文字領域に、翻訳画像作成部26が作成した翻訳画像を重畳し、重畳した画像を表示部14を介して表示する(S18、表示指示ステップ)。その後、ステップS11に戻り、上記処理を繰り返す。   Next, the translation image creation unit 26 creates a translation image that includes the character translated by the translation unit 23 in the character region specified by the character extraction unit 21 with the character color and background color adjusted by the color adjustment unit 25. (S17, display instruction step). Then, the superimposing unit 27 superimposes the translated image created by the translated image creating unit 26 on the character area of the photographed image from the photographed image acquiring unit 20, and displays the superimposed image via the display unit 14 (S18). , Display instruction step). Then, it returns to step S11 and repeats the said process.

(変形例)
なお、本実施形態では、文字抽出部21および文字認識部22は、別々の機能ブロックとしているが、文字の抽出および認識は、一連のOCR(Optical Character Recognition)処理により行うことができるので、1つの機能ブロックにまとめてもよい。また、本実施形態では、翻訳前の文字を翻訳後の文字で上書きしているが、上記翻訳後の文字を別の表示領域に表示してもよい。さらに、本実施形態では、文字認識部22および翻訳部23は、制御部10に含まれているが、制御部10とは別のデバイスであってもよい。
(Modification)
In the present embodiment, the character extraction unit 21 and the character recognition unit 22 are separate functional blocks. However, since character extraction and recognition can be performed by a series of OCR (Optical Character Recognition) processing, 1 It may be combined into one functional block. In this embodiment, the character before translation is overwritten with the character after translation, but the character after translation may be displayed in another display area. Furthermore, in the present embodiment, the character recognition unit 22 and the translation unit 23 are included in the control unit 10, but may be devices different from the control unit 10.

〔実施形態2〕
次に、本発明の他の実施形態について、図4を参照して説明する。本実施形態の携帯端末1は、図1〜図3に示す携帯端末1に比べて、色調整用テーブル30が省略されると共に、色調整部25の詳細な機能が異なっているが、その他の構成は同様である。本実施形態では、色調整部25は、図2に示す色調整部25に比べて、文字色および背景色の違いを、可読性が良好となる所定の条件に近づけるように、文字色および/または背景色を調整している点が異なり、その他の機能は同様である。
[Embodiment 2]
Next, another embodiment of the present invention will be described with reference to FIG. The mobile terminal 1 of this embodiment is different from the mobile terminal 1 shown in FIGS. 1 to 3 in that the color adjustment table 30 is omitted and the detailed function of the color adjustment unit 25 is different. The configuration is the same. In the present embodiment, the color adjustment unit 25 compares the character color and / or the background color with the character color and / or the background color so that the difference between the character color and the background color is close to a predetermined condition that improves the readability as compared with the color adjustment unit 25 illustrated in FIG. The other functions are the same except that the background color is adjusted.

図4は、本実施形態の色調整部25における処理の流れを示しており、図1のステップS16のサブルーチンである。一般に、文字色および背景色は、明度差が大きい方が読み易く、彩度差が大きい方が読み易い。また、一般に、文字色および背景色は、補色の関係または反対色の関係にある場合には目がチカチカして読み難く、同系色である場合には読み易い。   FIG. 4 shows the flow of processing in the color adjustment unit 25 of this embodiment, and is a subroutine of step S16 in FIG. In general, the character color and the background color are easier to read when the brightness difference is larger, and are easier to read when the saturation difference is larger. In general, the character color and the background color are difficult to read when the eyes are flickering when they are in a complementary color relationship or opposite color relationship, and are easy to read when they are similar colors.

そこで、本実施形態では、色調整部25は、図4に示すように、まず、上記文字色および上記背景色の明度差が所定値よりも小さい場合、該明度差が所定値だけ大きくなるように、上記文字色および/または上記背景色の明度を調整する(S20・S21)。次に、上記文字色および上記背景色の彩度差が所定値よりも小さい場合、該彩度差が所定値だけ大きくなるように、上記文字色および/または上記背景色の彩度を調整する(S22・S23)。そして、上記文字色および上記背景色の色相差が所定値よりも大きい場合、該色相差が所定値だけ小さくなるように、上記文字色および/または上記背景色の色相を調整する(S24・S25)。その後、図1に示す元のルーチンに戻って、ステップS17に進む。   Therefore, in the present embodiment, as shown in FIG. 4, the color adjustment unit 25 first increases the brightness difference by a predetermined value when the brightness difference between the character color and the background color is smaller than a predetermined value. Then, the brightness of the character color and / or the background color is adjusted (S20 / S21). Next, when the saturation difference between the character color and the background color is smaller than a predetermined value, the saturation of the character color and / or the background color is adjusted so that the saturation difference is increased by a predetermined value. (S22 / S23). When the hue difference between the character color and the background color is larger than a predetermined value, the hue of the character color and / or the background color is adjusted so that the hue difference is reduced by a predetermined value (S24 / S25). ). Thereafter, the process returns to the original routine shown in FIG. 1 and proceeds to step S17.

(変形例)
なお、本実施形態では、明度、彩度、および色相といった色の三属性を用いた色空間を利用しているが、その他の色空間を利用してもよい。また、本実施形態では、上記色空間の3成分全ての条件に基づいて上記調整を行っているが、上記色空間の1成分または2成分の条件に基づいて上記調整を行ってもよい。また、本実施形態では、色調整部25は、上記文字色および上記背景色の違いを上記所定の条件に近づけるように上記調整を行っているが、当該違いが上記所定の条件を満たすように上記調整を行ってもよい。
(Modification)
In the present embodiment, a color space using three color attributes such as brightness, saturation, and hue is used, but other color spaces may be used. In this embodiment, the adjustment is performed based on the conditions of all three components in the color space. However, the adjustment may be performed based on the conditions of one component or two components in the color space. In the present embodiment, the color adjustment unit 25 performs the adjustment so that the difference between the text color and the background color approaches the predetermined condition, but the difference satisfies the predetermined condition. The above adjustment may be performed.

例えば、YUVの各成分が0〜255の値をとるYUV色空間の処理系の場合を考える。この処理系では、YUVのうちのY(輝度)値に注目して上記調整を行う。具体的には、上記文字色および上記背景色のY値の差が128未満の場合は、128になるよう補正する。すなわち、128>(背景色のY値)−(文字色のY値)≧0の場合、(文字色のY値)=(背景色のY値)−128、を満たすように、上記文字色および/または上記背景値のY値を調整する。一方、128>(文字色のY値)−(背景色のY値)>0の場合、(文字色のY値)=(背景色のY値)+128、を満たすように、上記文字色および/または上記背景値のY値を調整する。   For example, consider the case of a YUV color space processing system in which each component of YUV takes a value between 0 and 255. In this processing system, the adjustment is performed by paying attention to the Y (luminance) value of YUV. Specifically, when the difference between the Y values of the character color and the background color is less than 128, the correction is made to be 128. That is, if 128> (Y value of background color) − (Y value of character color) ≧ 0, the character color is set so as to satisfy (Y value of character color) = (Y value of background color) −128. And / or adjust the Y value of the background value. On the other hand, if 128> (Y value of the character color) − (Y value of the background color)> 0, the character color and the character color are set so as to satisfy (Y value of the character color) = (Y value of the background color) +128. / Or adjust the Y value of the background value.

また、撮影部12の撮像素子の特性に応じて調整してもよい。例えば、青色の感度が低い撮像素子を利用している場合であって、上記文字色または上記背景色が青色に近いとき、該当する上記文字色または上記背景色について、青色の彩度を上げるよう調整してもよい。   Moreover, you may adjust according to the characteristic of the image pick-up element of the imaging | photography part 12. FIG. For example, when an image sensor with low blue sensitivity is used and the character color or the background color is close to blue, the saturation of blue is increased for the corresponding character color or the background color. You may adjust.

〔実施形態3〕
上記携帯端末1の制御ブロック(特に制御部10)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
[Embodiment 3]
The control block (especially the control unit 10) of the portable terminal 1 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or software using a CPU (Central Processing Unit). It may be realized by.

後者の場合、携帯端末1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。   In the latter case, the mobile terminal 1 includes a CPU that executes instructions of a program that is software that implements each function, a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU), or A storage device (these are referred to as “recording media”), a RAM (Random Access Memory) that expands the program, and the like are provided. And the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it. As the recording medium, a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. The program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

〔まとめ〕
本発明の態様1に係る表示処理装置(制御部10)は、撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置であって、前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定手段(色特定部24)と、該色特定手段が特定した文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整手段(色調整部25)と、前記翻訳された文字およびその背景を、前記色調整手段が調整した文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示手段(翻訳画像作成部26・重畳部27)とを備える構成である。
[Summary]
The display processing apparatus (control part 10) which concerns on aspect 1 of this invention is using the translated character as a display part about the character in which the character contained in the picked-up image image | photographed by the imaging | photography part was translated by the translation part. A display processing device for displaying, a color specifying means (color specifying unit 24) for specifying a character color which is a character color included in the photographed image and a background color which is a background color of the character; Based on the difference between the character color and the background color specified by the specifying means, the color adjusting means (color adjusting unit 25) for adjusting at least one of the character color and the background color, the translated character and the background thereof, The display unit includes a display instruction unit (translation image creation unit 26 / superimposition unit 27) that instructs the display unit to display the character color and the background color adjusted by the color adjustment unit.

上記の構成によれば、撮影画像に含まれる文字の色(文字色)および背景の色(背景色)が特定され、特定された文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方が調整され、調整された文字色および背景色で、翻訳された文字およびその背景がそれぞれ表示される。一般に、文字の可読性は、文字色と背景色との違いに依存するので、本発明により上記翻訳された文字の可読性を向上させることができる。   According to the above configuration, the character color (character color) and the background color (background color) included in the photographed image are specified, and the character color and the background are determined based on the difference between the specified character color and background color. At least one of the colors is adjusted, and the translated character and its background are displayed with the adjusted character color and background color, respectively. In general, since the readability of characters depends on the difference between the character color and the background color, the readability of the translated characters can be improved by the present invention.

なお、可読性を向上させるには、前記色調整手段は、前記文字色および前記背景色について、明度の差を所定値以上とする或いは近づける調整、彩度の差を所定値以上とする或いは近づける調整、および、色相の差を所定値以内とする或いは近づける調整の少なくとも1つを行えばよい。   In order to improve the readability, the color adjusting means adjusts the difference in brightness to be greater than or equal to a predetermined value and adjustment to increase or approximate the difference in saturation for the character color and the background color. And at least one of adjustments that make the difference in hue within a predetermined value or close to it.

或いは、前記色調整手段は、可読性の良好な、前記文字色および前記背景色の複数の組合せを記憶する記憶部から、前記色特定手段が特定した背景色と同じ又は類似する背景色を有する前記組合せを読み出し、前記表示指示手段は、前記色調整手段が読み出した前記文字色および前記背景色の組合せで、前記翻訳された文字およびその背景をそれぞれ表示するように表示部に指示してもよい。   Alternatively, the color adjusting unit has a background color that is the same as or similar to the background color specified by the color specifying unit from a storage unit that stores a plurality of combinations of the character color and the background color with good readability. The combination may be read, and the display instruction unit may instruct the display unit to display each of the translated character and its background with the combination of the character color and the background color read by the color adjustment unit. .

本発明の態様2に係る表示処理装置の制御方法は、撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置の制御方法であって、前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定ステップ(S15)と、該色特定ステップにて特定された文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整ステップ(S16)と、前記翻訳された文字およびその背景を、前記色調整ステップにて調整された文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示ステップ(S17・S18)とを含む制御方法である。この場合、上記態様1と同様の効果を奏する。   The control method of the display processing device according to the aspect 2 of the present invention causes the display unit to display the translated characters of the characters included in the photographed image photographed by the photographing unit and translated by the translation unit. A method for controlling a display processing apparatus, comprising: a color specifying step (S15) for specifying a character color that is a character color included in the photographed image and a background color that is a background color of the character; and the color specifying step A color adjustment step (S16) for adjusting at least one of the character color and the background color based on the difference between the character color and the background color specified in step S16, and the color adjustment step for adjusting the translated character and its background. And a display instruction step (S17 / S18) for instructing the display unit to display the character color and the background color adjusted in step S1, respectively. In this case, the same effects as those of the first aspect are obtained.

本発明の各態様に係る表示処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示処理装置が備える各手段として動作させることにより上記表示処理装置をコンピュータにて実現させる表示処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。   The display processing apparatus according to each aspect of the present invention may be realized by a computer. In this case, the display processing apparatus is realized by a computer by causing the computer to operate as each unit included in the display processing apparatus. A control program for the display processing apparatus and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。   The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.

本発明は、撮影画像に含まれる文字色および背景色の違いに基づき、上記文字色および/または上記背景色を調整することにより、文字の可読性を向上することができるので、文字の可読性が求められる任意の電子機器に適用可能である。   According to the present invention, the character readability can be improved by adjusting the character color and / or the background color based on the difference between the character color and the background color included in the photographed image. It can be applied to any electronic device.

1 携帯端末
10 制御部(表示処理装置)
11 記憶部
12 撮影部
13 操作部
14 表示部
20 撮影画像取得部
21 文字抽出部
22 文字認識部
23 翻訳部
24 色特定部(色特定手段)
25 色調整部(色調整手段)
26 翻訳画像作成部(表示指示手段)
27 重畳部(表示指示手段)
30 色調整用テーブル
1 mobile terminal 10 control unit (display processing device)
DESCRIPTION OF SYMBOLS 11 Memory | storage part 12 Image | photographing part 13 Operation part 14 Display part 20 Captured image acquisition part 21 Character extraction part 22 Character recognition part 23 Translation part 24 Color identification part (color identification means)
25 Color adjustment part (Color adjustment means)
26 Translated image creation unit (display instruction means)
27 Superimposition unit (display instruction means)
30 color adjustment table

Claims (5)

撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置であって、
前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定手段と、
該色特定手段が特定した文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整手段と、
前記翻訳された文字およびその背景を、前記色調整手段が調整した文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示手段とを備えることを特徴とする表示処理装置。
A display processing device that displays a translated character on a display unit with respect to a character that has been translated by a translation unit in a photographed image photographed by a photographing unit,
Color specifying means for specifying a character color that is a color of a character included in the photographed image and a background color that is a background color of the character;
Color adjusting means for adjusting at least one of the character color and the background color based on the difference between the character color and the background color specified by the color specifying means;
A display processing apparatus comprising: a display instruction unit that instructs the display unit to display the translated character and its background in a character color and a background color adjusted by the color adjustment unit, respectively.
前記色調整手段は、前記文字色および前記背景色について、明度の差を所定値以上とする或いは近づける調整、彩度の差を所定値以上とする或いは近づける調整、および、色相の差を所定値以内とする或いは近づける調整の少なくとも1つを行うことを特徴とする請求項1に記載の表示処理装置。   The color adjusting means adjusts the difference in brightness to be greater than or equal to a predetermined value for the character color and the background color, adjustment to increase or approach the difference in saturation is greater than or equal to a predetermined value, and sets the difference in hue to a predetermined value The display processing apparatus according to claim 1, wherein at least one of adjustments within or close to is performed. 前記色調整手段は、可読性の良好な、前記文字色および前記背景色の複数の組合せを記憶する記憶部から、前記色特定手段が特定した背景色と同じ又は類似する背景色を有する前記組合せを読み出し、
前記表示指示手段は、前記色調整手段が読み出した前記文字色および前記背景色の組合せで、前記翻訳された文字およびその背景をそれぞれ表示するように表示部に指示することを特徴とする請求項1に記載の表示処理装置。
The color adjusting unit is configured to store the combination having a background color that is the same as or similar to the background color specified by the color specifying unit from a storage unit that stores a plurality of combinations of the character color and the background color with good readability. reading,
The display instructing unit instructs the display unit to display the translated character and its background by a combination of the character color and the background color read by the color adjusting unit, respectively. The display processing apparatus according to 1.
請求項1から3のいずれか1項に記載の表示処理装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。   A control program for causing a computer to function as the display processing device according to claim 1, wherein the control program causes the computer to function as each of the means. 撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置の制御方法であって、
前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定ステップと、
該色特定ステップにて特定された文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整ステップと、
前記翻訳された文字およびその背景を、前記色調整ステップにて調整された文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示ステップとを含むことを特徴とする表示処理装置の制御方法。
A control method for a display processing device for displaying a translated character on a display unit with respect to a character in which a character included in a photographed image photographed by a photographing unit is translated by a translation unit,
A color specifying step of specifying a character color that is a character color included in the photographed image and a background color that is a background color of the character;
A color adjustment step of adjusting at least one of the character color and the background color based on the difference between the character color and the background color specified in the color specifying step;
A display instruction step for instructing the display unit to display the translated character and its background in the character color and the background color adjusted in the color adjustment step, respectively. Control method.
JP2013200449A 2013-09-26 2013-09-26 Display processing apparatus, and control method thereof and control program Pending JP2015069234A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013200449A JP2015069234A (en) 2013-09-26 2013-09-26 Display processing apparatus, and control method thereof and control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013200449A JP2015069234A (en) 2013-09-26 2013-09-26 Display processing apparatus, and control method thereof and control program
PCT/JP2014/071785 WO2015045686A1 (en) 2013-09-26 2014-08-20 Display processing device, method for controlling same, and control program therefor

Publications (1)

Publication Number Publication Date
JP2015069234A true JP2015069234A (en) 2015-04-13

Family

ID=52742840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013200449A Pending JP2015069234A (en) 2013-09-26 2013-09-26 Display processing apparatus, and control method thereof and control program

Country Status (2)

Country Link
JP (1) JP2015069234A (en)
WO (1) WO2015045686A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218896A (en) * 2015-05-25 2016-12-22 京セラ株式会社 Electronic device and image processing method
WO2018163977A1 (en) 2017-03-08 2018-09-13 ソニー株式会社 Image processing device and image processing method
US10522103B2 (en) 2017-04-10 2019-12-31 Japan Display Inc. Display device
KR20210121515A (en) * 2020-03-30 2021-10-08 라인플러스 주식회사 Method, system, and computer program for extracting and providing text color and background color in image

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03279996A (en) * 1990-03-28 1991-12-11 Photo Composing Mach Mfg Co Ltd Method and device for character and pattern processing
JPH04353899A (en) * 1991-05-30 1992-12-08 Nec Corp Character display device
JPH1031572A (en) * 1996-07-12 1998-02-03 Casio Comput Co Ltd Character color setting method
JP2006146454A (en) * 2004-11-18 2006-06-08 Sony Corp Information conversion device and method
JP2008054236A (en) * 2006-08-28 2008-03-06 Nikon Corp Imaging apparatus
JP2008140044A (en) * 2006-11-30 2008-06-19 Brother Ind Ltd Image projecting device, image projecting program and image correction method
JP2011134144A (en) * 2009-12-25 2011-07-07 Square Enix Co Ltd Real-time camera dictionary
EP2439676A1 (en) * 2010-10-08 2012-04-11 Research in Motion Limited System and method for displaying text in augmented reality
JP2012221095A (en) * 2011-04-06 2012-11-12 Sony Corp Information processing apparatus and method, program, and imaging apparatus
WO2013003242A1 (en) * 2011-06-30 2013-01-03 Qualcomm Incorporated Efficient blending methods for ar applications

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03279996A (en) * 1990-03-28 1991-12-11 Photo Composing Mach Mfg Co Ltd Method and device for character and pattern processing
JPH04353899A (en) * 1991-05-30 1992-12-08 Nec Corp Character display device
JPH1031572A (en) * 1996-07-12 1998-02-03 Casio Comput Co Ltd Character color setting method
JP2006146454A (en) * 2004-11-18 2006-06-08 Sony Corp Information conversion device and method
JP2008054236A (en) * 2006-08-28 2008-03-06 Nikon Corp Imaging apparatus
JP2008140044A (en) * 2006-11-30 2008-06-19 Brother Ind Ltd Image projecting device, image projecting program and image correction method
JP2011134144A (en) * 2009-12-25 2011-07-07 Square Enix Co Ltd Real-time camera dictionary
EP2439676A1 (en) * 2010-10-08 2012-04-11 Research in Motion Limited System and method for displaying text in augmented reality
JP2012221095A (en) * 2011-04-06 2012-11-12 Sony Corp Information processing apparatus and method, program, and imaging apparatus
WO2013003242A1 (en) * 2011-06-30 2013-01-03 Qualcomm Incorporated Efficient blending methods for ar applications

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218896A (en) * 2015-05-25 2016-12-22 京セラ株式会社 Electronic device and image processing method
WO2018163977A1 (en) 2017-03-08 2018-09-13 ソニー株式会社 Image processing device and image processing method
KR20190122692A (en) 2017-03-08 2019-10-30 소니 주식회사 Image processing apparatus and image processing method
US11102425B2 (en) 2017-03-08 2021-08-24 Sony Corporation Image processing apparatus and image processing method
US10522103B2 (en) 2017-04-10 2019-12-31 Japan Display Inc. Display device
KR20210121515A (en) * 2020-03-30 2021-10-08 라인플러스 주식회사 Method, system, and computer program for extracting and providing text color and background color in image
KR102422221B1 (en) * 2020-03-30 2022-07-19 라인플러스 주식회사 Method, system, and computer program for extracting and providing text color and background color in image

Also Published As

Publication number Publication date
WO2015045686A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
US11070743B2 (en) Photographing using night shot mode processing and user interface
US10497097B2 (en) Image processing method and device, computer readable storage medium and electronic device
CN105874776B (en) Image processing apparatus and method
WO2018216992A1 (en) Electronic device for processing image acquired by using camera and method for operating the same
WO2017054605A1 (en) Picture processing method and device
US20090227283A1 (en) Electronic device
WO2015045686A1 (en) Display processing device, method for controlling same, and control program therefor
US10212339B2 (en) Image generation method based on dual camera module and dual camera apparatus
CN111010506A (en) Shooting method and electronic equipment
KR20160016068A (en) Method for generating image and electronic device thereof
US9749494B2 (en) User terminal device for displaying an object image in which a feature part changes based on image metadata and the control method thereof
WO2019052329A1 (en) Facial recognition method and related product
US20160301876A1 (en) Electronic device and image display method
WO2016001771A1 (en) Image generation method and apparatus, and mobile terminal
US20100284611A1 (en) Image sensor and image sensing method for character recognition
WO2019052476A1 (en) Method for collecting facial information and related devices
US9992419B2 (en) Display control apparatus for displaying a virtual object
CN110286975B (en) Display method of foreground elements and electronic equipment
CN112598594A (en) Color consistency correction method and related device
WO2015122039A1 (en) Translation device
CN104871526A (en) Image processing device, imaging device, image processing method, and image processing program
US20160078844A1 (en) Electronic device and method for controlling display device of the electronic device
CN107949848B (en) Defect detection and correction in digital images
WO2019181515A1 (en) Imaging control device, imaging device, imaging control method, and imaging control program
CN112243117B (en) Image processing apparatus, method and camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170404