JP2014521247A - 拡張現実アプリケーション向けの効率的な混合方法 - Google Patents

Abstract

モバイル装置におけるＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）の利用が、モバイル装置の利用の増大とともに普及してきている。モバイル装置におけるＯＣＲに関する重要なアプリケーションは、テキストを認識しユーザが理解可能な言語に変換することである。背景画像を再描画した結果としてのアーチファクトを削減しつつ、画像内の記号を置換する技術を提供する。

Description

関連出願の記載
本願は、発明の名称を「拡張現実アプリケーション向けの効率的な混合方法」とした２０１１年６月３０日出願の米国仮特許出願第６１／５０３、４２１号に対する優先権を主張する。当該米国仮特許出願第６１／５０３、４２１号は、本発明の出願人に譲渡されており、引用により本明細書に組み込む。

本発明の諸態様は拡張技術の分野に関する。

拡張現実により、モバイル装置のような装置がユーザ環境の現実を拡張することができる。ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）を用いることにより、モバイル装置にマウントしたカメラの視野の中のテキストを認識することで、当該テキストとそのコンテキストに関するより多くの情報をユーザに提供して拡張現実の領域で重要なアプリケーションを実現することができる。モバイル装置におけるＯＣＲの利用は、モバイル装置の利用の増大とともに普及してきている。モバイル装置におけるＯＣＲに関する重要なアプリケーションは、テキストを認識しユーザが理解可能な言語に変換することである。

テキストを変換し当該テキストと当該テキストの背景を再描画する際のハードルの１つは、背景の再描画から生ずる背景内の不要かつ迷惑なアーチファクトの発生である。さらに、モバイル装置の計算能力は制限されているので、アーチファクトを残さずにテキストを変換テキストで置換することは、計算的に複雑で大量の電力を浪費するものであってはならない。

背景画像を再描画した結果としてのアーチファクトを削減しつつ、画像内の記号を置換する技術を提供する。一般に、本技術は画像処理に適用することができる。

本発明の１実施形態では、テキストを変換し置換している間に、補間を用いて背景を再生成することによって背景上のアーチファクトの影響を削減する。１態様では、線形補間を使用する。あるいは、非線形補間を使用してもよい。さらに別の実施形態では、本発明では、雑音経路を回避し迷惑なアーチファクトが非常に少ない補間を可能とする、最適経路を発見するプロセスを説明する。

第１の画像の中の少なくとも１つの記号を置換するための方法の１例は、当該少なくとも１つの記号を表す複数の画素と背景領域を表す複数の画素を含む第１の画像を取得するステップと、当該第１の画像の中の第１の境界と第２の境界を定義するステップであって、当該第１の境界と当該第２の境界とが当該第１の画像を表す当該少なくとも１つの記号の反対側に配置されるステップと、当該少なくとも１つの記号の少なくとも１つの変換記号を表す複数の画素を生成するステップと、当該第１の境界と当該第２の境界の間の複数の背景画素値を補間することによって、当該背景領域の補強バージョンを表す複数の画素を生成するステップと、当該少なくとも１つの変換記号を表す当該複数の画素と当該背景領域の補強バージョンを表す当該複数の画素とを含む第２の画像を構築するステップと、を含む。１態様では、当該少なくとも１つの記号は第１の人間の言語で少なくとも１つのテキスト文字を含み、当該少なくとも１つの変換記号は第２の人間の言語で少なくとも１つのテキスト文字を含む。

幾つかの実施形態では、第１の境界と第２の境界の各々を、当該少なくとも１つの記号の片側に沿った一連の画素として定義することができる。さらに、当該一連の画素を、当該経路に沿った複数の画素の画素色の勾配変化の和を最小にする画素の経路として定義することができる。

当該第１の画像の中の第１の境界と第２の境界を定義する実装形態が、第１のバンドと第２のバンドを当該少なくとも１つの記号の反対側で定義するステップと、第１のバンドを横断する少なくとも第１の経路と第２のバンドを横断する少なくとも第２の経路を選択するステップと、各経路に沿った複数の画素の画素色の勾配変化を合計することによって当該少なくとも第１の経路と当該少なくとも第２の経路とのコストを導出するステップと、第１のバンドからのコストが最小である経路を第１の境界として選択し、第２のバンドからのコストが最小である経路を第２の境界として選択するステップと、を含んでもよい。

幾つかの実装形態では、背景画素値を補間するステップで線形補間を利用する。他の実装形態では、背景画素値を補間するステップで非線形補間を利用する。さらに、当該少なくとも１つの記号は第１の人間の言語で少なくとも１つのテキスト文字を含み、当該少なくとも１つの変換記号は第２の人間の言語で少なくとも１つのテキスト文字を含む。

当該システムを実装する１つの例示的な装置は、プロセッサ、当該プロセッサに接続された入力装置、当該プロセッサに接続された出力装置、当該プロセッサに接続された非一時的なコンピュータ読取可能記憶媒体を備えてもよい。当該非一時的なコンピュータ読取可能記憶媒体は、少なくとも１つの記号を表す複数の画素と背景領域を表す複数の画素を含む第１の画像を取得するステップと、当該第１の画像の中の第１の境界と第２の境界を定義するステップであって、当該第１の境界と当該第２の境界とが当該第１の画像を表す当該少なくとも１つの記号の反対側に配置されるステップと、当該少なくとも１つの記号の少なくとも１つの変換記号を表す複数の画素を生成するステップと、当該第１の境界と当該第２の境界の間の複数の背景画素値を補間することによって、当該背景領域の補強バージョンを表す複数の画素を生成するステップと、当該少なくとも１つの変換記号を表す当該複数の画素と当該背景領域の補強バージョンを表す当該複数の画素とを含む第２の画像を構築するステップを含む方法を実施するための、プロセッサにより実行可能なコードを含む。幾つかの態様では、当該少なくとも１つの記号は第１の人間の言語で少なくとも１つのテキスト文字を含み、当該少なくとも１つの変換記号は第２の人間の言語で少なくとも１つのテキスト文字を含む。

かかる装置の実装形態は、以下の特徴のうち１つまたは複数を含んでもよい。第１の境界と第２の境界の各々を当該少なくとも１つの記号の片側に沿った一連の画素として定義することができる。さらに、当該一連の画素を、当該経路に沿った複数の画素の画素色の勾配変化の和を最小にする画素の経路として定義することができる。当該第１の画像における当該第１の境界と当該第２の境界を定義するステップは、第１のバンドと第２のバンドを当該少なくとも１つの記号の反対側で定義するステップと、第１のバンドを横断する少なくとも第１の経路と第２のバンドを横断する少なくとも第２の経路を選択するステップと、各経路に沿った複数の画素の画素色の勾配変化を合計することによって当該少なくとも第１の経路と当該少なくとも第２の経路とのコストを導出するステップと、第１のバンドからのコストが最小な経路を第１の境界として選択し、第２のバンドからのコストが最小な経路を第２の境界として選択するステップと、を含んでもよい。線形補間または非線形補間を利用して、背景画素値の補間を実現することができる。

プロセッサに接続された１つの例示的な非一時的なコンピュータ読取可能記憶媒体は、少なくとも１つの記号を表す複数の画素と背景領域を表す複数の画素を含む第１の画像を取得するステップと、当該第１の画像の中の第１の境界と第２の境界を定義するステップであって、当該第１の境界と当該第２の境界とが当該第１の画像を表す当該少なくとも１つの記号の反対側に配置されるステップと、当該少なくとも１つの記号の少なくとも１つの変換記号を表す複数の画素を生成するステップと、当該第１の境界と当該第２の境界の間の複数の背景画素値を補間することによって、当該背景領域の補強バージョンを表す複数の画素を生成するステップと、当該少なくとも１つの変換記号を表す当該複数の画素と当該背景領域の補強バージョンを表す当該複数の画素とを含む第２の画像を構築するステップと、を含む方法を実施するための、プロセッサにより実行可能なコンピュータ・プログラムを含む。幾つかの態様では、当該コンピュータ・プログラム内の少なくとも１つの記号は、少なくとも１つのテキスト文字を第１の人間の言語で含み、当該少なくとも１つの変換記号は少なくとも１つのテキスト文字を第２の人間の言語で含む。

かかるコンピュータ・プログラム製品の実施形態が、以下の特徴のうち１つまたは複数を含んでもよい。第１の境界と第２の境界の各々を、当該少なくとも１つの記号の片側に沿った一連の画素として定義してもよい。さらに、当該一連の画素を、当該経路に沿った複数の画素の画素色の勾配変化の和を最小にする画素の経路として定義してもよい。当該第１の画像における当該第１の境界と当該第２の境界を定義するステップは、第１のバンドと第２のバンドを当該少なくとも１つの記号の反対側で定義するステップと、第１のバンドを横断する少なくとも第１の経路と第２のバンドを横断する少なくとも第２の経路を選択するステップと、各経路に沿った複数の画素の画素色の勾配変化を合計することによって当該少なくとも第１の経路と当該少なくとも第２の経路とのコストを導出するステップと、第１のバンドからのコストが最小である経路を第１の境界として選択し、第２のバンドからのコストが最小である経路を第２の境界として選択するステップと、を含んでもよい。線形補間または非線形補間を利用して背景画素値の補間を実現することができる。

第１の画像内の少なくとも１つの記号を置換するための１つの例示的な装置は、当該少なくとも１つの記号を表す複数の画素と背景領域を表す複数の画素を含む当該第１の画像を取得するための手段と、当該第１の画像の中の第１の境界と第２の境界を定義するための手段であって、当該第１の境界と当該第２の境界とが当該第１の画像を表す当該少なくとも１つの記号の反対側に配置される手段と、当該少なくとも１つの記号の少なくとも１つの変換記号を表す複数の画素を生成するための手段と、当該第１の境界と当該第２の境界の間の複数の背景画素値を補間することによって、当該背景領域の補強バージョンを表す複数の画素を生成するための手段と、当該少なくとも１つの変換記号を表す複数の画素と当該背景領域の補強バージョンを表す複数の画素とを含む第２の画像を構築するための手段と、を備える。１態様では、当該少なくとも１つの記号は第１の人間の言語で少なくとも１つのテキスト文字を含み、当該少なくとも１つの変換記号は第２の人間の言語で少なくとも１つのテキスト文字を含む。

上記の例示的なシステムでは、当該第１の画像における当該第１の境界と当該第２の境界を定義するステップは、第１のバンドと第２のバンドを当該少なくとも１つの記号の反対側で定義するための手段と、第１のバンドを横断する少なくとも第１の経路と第２のバンドを横断する少なくとも第２の経路を選択するための手段と、各経路に沿った複数の画素の画素色の勾配変化を合計することによって当該少なくとも第１の経路と当該少なくとも第２の経路とのコストを導出するための手段と、第１のバンドからのコストが最小である経路を第１の境界として選択し、第２のバンドからのコストが最小である経路を第２の境界として選択するための手段と、を含んでもよい。

かかるシステムの実施形態が、以下の特徴のうち１つまたは複数を含んでもよい。第１の境界と第２の境界の各々を当該少なくとも１つの記号の片側に沿った一連の画素として定義してもよい。さらに、当該一連の画素を当該経路に沿った複数の画素の画素色の勾配変化の和を最小にする画素の経路として定義してもよい。線形補間または非線形補間を利用して、背景画素値の補間を実現することができる。

以上で、後述する詳細な説明をより良く理解できるようにするために、本開示に従う種々の例の特徴と技術的な利点をかなり広範囲に概観した。さらなる特徴と利点は以降で説明する。開示した概念と具体的な例を、本開示の同一の目的を実行する他の構造を修正または設計するための基礎として容易に利用することができる。かかる均等な構成は、添付の特許請求の範囲の趣旨と範囲から逸脱するものではない。本明細書で開示した概念に特有であると信ずる特徴は、その編成と動作の方法の両方に関して、関連する利点とともに、添付図面と関連して検討する下記の説明からより良く理解されよう。添付図面の各々は、例示と説明の目的のために与えたにすぎず、諸請求項の限定を定義するものではない。

添付図面を参照して下記の説明を提供する。添付図面では、図面にわたって、同一の参照番号を使用して同一の要素を参照する。１つまたは複数の技術の様々な詳細を本明細書では説明するが、他の技術も可能である。幾つかの事例では、様々な技術の説明を容易にするために、公知な構造と装置をブロック図の形で示してある。

本開示で提供する種々の例の性質と利点のさらなる理解を、本明細書の残の部分と図面を参照して実現することができる。図面では、同様な参照番号を幾つかの図面にわたって使用して、同様な構成要素を参照する。幾つかの事例では、サブラベルを参照番号に関連付けて、複数の同様な構成要素のうち１つを示す。既存のサブラベルに特に言及せずに参照番号を引用するときは、当該参照番号は全てのかかる同様な構成要素をさす。

本発明の様々な実施形態に従って構成されたモバイル装置内の混合システムの１例を示す単純なブロック図である。 カメラ装置で取得した画像の変形を示すグラフィカル画像を示す図である。 線形補間を使用して言語間で変換する１つの例示的な実施形態のステップを示すグラフィカル画像を示す図である。 線形補間を使用して背景画像の再描画の結果としてのアーチファクトを削減しつつ、画像内の記号を置換するプロセスを示す単純な流れ図である。 非線形補間を使用して背景画像の再描画の結果としてのアーチファクトを削減しつつ、画像内の記号を置換するプロセスを示す単純な流れ図である。 最適経路上の補間を使用して背景画像の再描画の結果としてのアーチファクトを削減しつつ、画像内の記号を置換するプロセスを示す単純な流れ図である。 雑音経路を回避する最適経路を導出するためのプロセスを示す単純な流れ図である。 最適経路を導出するプロセスを通じた、テキストを有する画像の進行を示す単純な流れ図である。 １組の近傍画素を選択し当該画素周囲の勾配変化を計算する１実施形態を示す、画素のグラフィック表現を示す図である。 本発明の実施形態を実施する際に使用される装置の一部を組み込んだ例示的なコンピュータ・システムを示す図である。

本発明の諸実施形態は、背景画像の再描画の結果としてのアーチファクトを削減しつつ、画像内の記号を置換するための技術を含む。当該技術により、携帯電話が、記号をユーザが容易に認識可能な記号に変換することができる。一般に、当該技術を画像処理に適用することができる。

図１は、本発明の様々な諸実施形態に従って構成した装置１００内部の混合システム１２０の非限定的な例を示す単純なブロック図である。１実施形態では、装置１００は、背景画像の再描画の結果としてのアーチファクトを削減しつつ、記号を変換し置換する混合システム１２０を実施することが可能なモバイル装置である。幾つかの実施形態では、当該モバイル装置は、混合システム１２０とともに、カメラ・ユニット１０２、混合バッファ１１６、画像バッファ１１８を有する。混合システム１２０は、検出モジュール１０４、経路発見器１０６、背景補間器１０８、変換器１１０、テキスト画素生成器１１２、および画素混合器１１４を有する。装置カメラ１０２は、背景上に記号を含む画像を捕捉し、当該画像をさらに処理するために画像バッファ１１８に格納する。当該画像は、テキスト、文字、および標識を含む任意の図形表現でありうる記号を有する。検出モジュール１０４は、記号と背景領域を含む画像の中の変換領域を検出する。経路発見器１０６は、記号を（垂直に）分離する２つの経路を発見する。これらの境界は、検出されたボックスの上界と下界であってもよく、または、（後述する）最適経路であってもよい。当該境界が、画像内の雑音の分散を回避する直線または最適経路であってもよい。背景補間器１０８は、第１の境界と第２の境界の間の画素値を補間することによって背景を再描画する。背景補間器１０８は、線形補間、非線形補間、または背景画像を再描画し背景の画素を生成するのに適した任意の手段を使用してもよい。変換器１１０はＯＣＲ機能を使用して記号を認識してもよい。次に、変換器１１０が当該記号を変換する。テキスト画素生成器１１２は、変換されたテキストに対する画素を生成する。画素混合器１１４は、変換記号を混合バッファ１１６内の背景領域に埋め込む。画素混合器１１４は、画像バッファ１１８から捕捉した画像を、それを出力装置でユーザに表示する前に、混合画像で置換する。

図２は、カメラ１０２により取得した画像の変形を示すグラフィカル画像である。図２（Ａ）を参照すると、画像が装置のカメラにより検出される。画像が検出され捕捉された後に、ユーザは装置上で可視のテキストを、機能メニューまたは他の適切な手段を介してその出力ユニットにより変換するように指示してもよい。あるいは、当該装置が、画像を出力画面に表示する前に、ユーザの介入なしにテキストを変換してもよい。ユーザは、装置の視界にある記号を装置が変換し始める前に機能メニューまたは他の任意の適切な手段を用いることによって、装置を変換モードにしてもよい。ユーザがまた、ユーザが記号をそこへ変換する必要がある言語またはシステムを選択する選択肢を有してもよい。例えば、ユーザが、英語（米語）および米国のシステムへ変換するように装置を設定してもよい。ユーザが日本を旅行するとき、装置は、装置の視界で可視の日本語を英語に変換し、装置の視界で可視の日本語の道路標識を当該ユーザが認識可能な米国の道路標識に変換して、米国人のユーザが快適に日本を旅行できるようにする。

図２を参照すると、装置は画像内の記号を英語からドイツ語に変換する。図１に示す混合システム１２０は、英語のテキスト「ＣＡＵＴＩＯＮ ＳＩＴＥ ＴＲＡＦＦＩＣ ＣＲＯＳＳＩＮＧ」を含む画像２（Ａ）を処理する。装置カメラ１０２は、当該テキストと背景を含む画像を捕捉し、当該画像をさらに処理するために画像バッファ１１８に格納する。検出モジュール１０４は、変換するためのフレーズを当該画像から検出する。経路発見器１０６は、記号を（垂直に）分離する２つの経路を発見する。これらの経路は、検出されたボックスの上界と下界であってもよく、最適経路であってもよい。背景補間器１０８は、第１の境界と第２の境界の間の画素値を補間することによって背景を再描画する。変換器１１０はＯＣＲ機能を使用してテキストを認識してもよい。次に、変換器１１０が英語のテキストをドイツ語のテキストに変換する。テキスト画素生成器１１２は、変換されたテキストに対する画素を生成する。画素混合器１１４は、変換された記号を混合バッファ１１６内の背景領域に埋め込む。画素混合器１１４は、画像バッファ１１８からの捕捉画像を混合画像で置換する。２（Ｂ）である混合画像は、変換されたドイツ語のテキスト「ＷＡＲＮＵＮＧ ＢＡＵ ＶＥＲＫＥＨＲ ＫＲＥＵＺＵＮＧ」として出力装置でユーザに表示される。

図３は、線形補間を使用して背景を変換し再描画するステップを示す非限定的な実施形態を示すグラフィカル画像である。ステップ１で、検出モジュール１０４は、変換するためのテキストと背景を含む画像の部分を切り出す。テキストの上端と下端にある境界を表す２つの直線が選択される。ステップ２で示すように、背景補間器１０８は、上の直線と下の直線に対する線形補間を用いて内部領域を再生成する。背景補間器１０８は、移動平均フィルタを用いて雑音を除去する線形フィルタ機構を使用してもよい。ステップ３で、当該変換器は英単語「ＣＡＵＴＩＯＮ」をドイツ語「ＷＡＲＮＵＮＧ」に変換する。画素混合器１１４は、結果のテキストをステップ２で生成した背景に埋め込む。ステップ４で、画素混合器１１４は、ステップ１で切り出した領域を混合バッファからのデータで置換する。

図４は、背景画像の再描画の結果としてのアーチファクトを削減しつつ、画像内の記号を置換するための方法４００を示す単純な流れ図である。方法４００は、ハードウェア（回路、専用ロジック等）、（汎用目的のコンピューティング・システムまたは専用マシンで実行されるような）ソフトウェア、ファームウェア（組込みソフトウェア）、またはそれらの任意の組合せを備える処理論理部により実施される。１実施形態では、方法４００は図１０の装置１０００により実施される。

図４を参照すると、ブロック４０２で、装置カメラ１０２は、少なくとも１つの記号と背景領域を表す複数の記号とを表現する複数の画素を含む画像を取得する。例えば、当該画像が、掲示板、道路標識、ブック・カバー、または変換が必要な記号を有する任意のものであってもよい。ブロック４０４で、経路発見器１０６が、第１の直線境界と第２の直線境界を当該記号の反対側に配置して、当該記号を垂直に分離する。経路発見器１０６は、当該記号を有する領域と当該記号のすぐ後の領域の間の勾配変化を検出して、線を当該記号の各辺に配置してもよい。ブロック４０６で、変換器１１０は、当該記号を或る言語またはシステムから別の言語またはシステムに変換する。当該変換器は、まず、ＯＣＲ技術を用いて当該記号を、当該記号を表す機械認識可能な形式に変換してもよい。当該変換器はまた、辞書、ならびに、言語および記号を或る言語またはシステムから別の言語またはシステムに変換するための他の様々な適切な手段を使用してもよい。ブロック４０６で、テキスト画素生成器１１２はまた、少なくとも１つの記号の変換記号を表す複数の画素を生成する。ブロック４０８で、背景補間器１０８は、第１の境界と第２の境界の間で背景画素値を線形に補間することによって、背景領域の補強バージョンを表す複数の画素を生成する。当該方法は、当該記号の周囲の２つの境界の間の内部領域を補間する。当該境界を含むボックスの内部の色は、２つの境界にある色が既知であるので、補間することができる。移動平均フィルタを使用する線形フィルタ機構を使用して雑音を除去してもよい。線形フィルタはあまり複雑でなく高速であるが、依然として結果の変換画像には幾つかの迷惑なアーチファクトが生ずる可能性がある。最後に、ブロック４１０で、画素生成器は、少なくとも１つの記号の変換を表す複数の画素と当該背景領域の補強バージョンを表す複数の画素とを含む新たな画像を生成する。幾つかの実施形態では、変換された記号を表す画素により背景画像を置換する。

図４に示す特定のステップは、本発明の１実施形態に従う、動作モードを切り替える特定の方法を提供することは理解される。代替的な実施形態では、それに応じて他のステップのシーケンスを実施してもよい。例えば、本発明の代替的な実施形態では、上で概観したステップを別の順序で実施してもよい。例えば、ユーザは第３の動作モードから第１の動作モードに変更することを選択し、第４のモードから第２のモードに変更することを選択し、またはその間の任意の組合せを選択してもよい。さらに、図４に示した個々のステップが、当該個々のステップに対して必要に応じて様々なシーケンスで実施できる複数のサブステップを含んでもよい。さらに、特定のアプリケーションに応じてさらなるステップを追加または削除してもよい。当業者は、方法４００の多数の変形、修正、および代替を認識し理解するはずである。

図５は、背景画像の再描画の結果としてのアーチファクトを削減しつつ、画像内の記号を置換するための方法５００を示す別の単純な流れ図である。方法５００は、ハードウェア（回路、専用ロジック等）、（汎用目的のコンピューティング・システムまたは専用マシンで実行されるような）ソフトウェア、ファームウェア（組込みソフトウェア）、またはそれらの任意の組合せを備える処理論理部により実施される。１実施形態では、方法５００は図１０の装置１０００により実施される。

図５を参照すると、ブロック５０２で、装置カメラ１０２は、少なくとも１つの記号と、背景領域を表す複数の記号とを表現する複数の画素を含む画像を取得する。例えば、当該画像が、掲示板、道路標識、ブック・カバー、または変換が必要な記号を有する任意のものであってもよい。ブロック５０４で、経路発見器１０６が、第１の直線境界と第２の直線境界を当該記号の反対側に配置する。経路発見器１０６は、当該記号を有する領域と当該記号のすぐ後の領域の間の勾配変化を検出して、線を当該記号の各辺に配置してもよい。ブロック５０６で、変換器１１０は、当該記号を或る言語またはシステムから別の言語またはシステムに変換する。当該変換器は、まず、ＯＣＲ技術を用いて当該記号を、当該記号を表す機械認識可能な形式に変換してもよい。当該変換器はまた、辞書、ならびに、言語および記号を或る言語またはシステムから別の言語またはシステムに変換するための他の様々な適切な手段を使用してもよい。ブロック５０６で、テキスト画素生成器１１２はまた、少なくとも１つの記号の変換記号を表す複数の画素を生成する。ブロック５０８で、背景補間器１０８は、第１の境界と第２の境界の間で背景画素値を非線形に補間することによって、背景領域の補強バージョンを表す複数の画素を生成する。非線形フィルタでは、（雑音、反射、および隣接テキスト内の文字色のような）背景色の異常値を、推定した背景色で置換する。当該方法は、少量の計算オーバヘッドでアーチファクトを大幅に削減することができる。最後に、ブロック５１０で、画素生成器は、少なくとも１つの記号の変換を表す複数の画素と当該背景領域の補強バージョンを表す当該複数の画素とを含む新たな画像を生成する。幾つかの実施形態では、変換された記号を表す画素により背景画像を置換する。

図５に示す特定のステップは、本発明の１実施形態に従う、動作モードを切り替える特定の方法を提供することは理解される。代替的な実施形態では、それに応じて他のステップのシーケンスを実施してもよい。例えば、本発明の代替的な実施形態では、上で概観したステップを別の順序で実施してもよい。例えば、ユーザは第３の動作モードから第１の動作モードに変更することを選択し、第４のモードから第２のモードに変更することを選択し、またはその間の任意の組合せを選択してもよい。さらに、図５に示す個々のステップが、当該個々のステップに対して必要に応じて様々なシーケンスで実施できる複数のサブステップを含んでもよい。さらに、特定のアプリケーションに応じてさらなるステップを追加または削除してもよい。当業者は、方法５００の多数の変形、修正、および代替を認識し理解するはずである。

図６は、最適経路上の補間を用いて、背景画像の再描画の結果としてのアーチファクトを削減しつつ、画像内の記号を置換するためのさらに別の単純な流れ図である。方法６００は、ハードウェア（回路、専用ロジック等）、（汎用目的のコンピューティング・システムまたは専用マシンで実行されるような）ソフトウェア、ファームウェア（組込みソフトウェア）、またはそれらの任意の組合せを備える処理論理部により実施される。１実施形態では、方法６００は図１０の装置１０００により実施される。

様々な補間およびフィルタ機構により、雑音の効果と結果のアーチファクトを削減することで背景のより良い実現が可能となる。しかし、別のアプローチは、不要な雑音を分散させる経路を回避しアーチファクトが非常に少ない背景画像をもたらす境界として最適経路を発見するものである。記号のシーケンスは、４つの辺全てに対して間隔を有する。この間隔が、当該記号からの雑音を回避できる経路をもたらす。したがって、雑音に対処する補間アルゴリズムを専ら利用するのではなく、１つのアプローチでは、歪みを有する雑音経路を纏めて回避する。背景の内部を補間するために使用される２つの境界は一連の画素として定義され、当該一連の画素は、当該一連の画素に沿った画素値の変化を最小にするものである。換言すれば、本実施形態では、当該記号と経路内の雑音とを回避する、当該記号の反対側に沿った最適経路を発見することに注力する。当該最適経路を使用して、２つの境界の間の画素値を補間する。最適経路を用いた内部画素の（線形および非線形）補間により、最終的な画像におけるアーチファクトが大幅に削減される。

図６を参照すると、ブロック６０２で、装置カメラ１０２は、少なくとも１つの記号と、背景領域を表す複数の記号とを表現する複数の画素を含む画像を取得する。例えば、当該画像が、掲示板、道路標識、ブック・カバー、または変換が必要な記号を有する任意のものであってもよい。ブロック６０４で、経路発見器１０６が、記号の反対側の最適経路を見つけることによって、第１の直線境界と第２の直線境界を当該記号の反対側に配置する。経路発見器１０６は、雑音経路を回避しアーチファクトが少ない背景画像をもたらす最適経路を発見する。最適経路を発見するための例示的な実施形態を図７、図８、および図９でさらに説明する。

ブロック６０６で、変換器１１０は、当該記号を或る言語またはシステムから別の言語またはシステムに変換する。当該変換器は、まず、ＯＣＲ技術を用いて当該記号を、当該記号を表す機械認識可能な形式に変換してもよい。当該変換器はまた、辞書、ならびに、言語および記号を或る言語またはシステムから別の言語またはシステムに変換するための他の様々な適切な手段を使用してもよい。ブロック６０６で、テキスト画素生成器１１２はまた、少なくとも１つの記号の変換記号を表す複数の画素を生成する。ブロック６０８で、背景補間器１０８は、第１の境界と第２の境界の間で背景画素値を補間することによって、背景領域の補強バージョンを表す複数の画素を生成する。背景補間器１０８は、線形補間、非線形補間、または背景を再描画するのに適した任意の手段を用いて補間を行ってもよい。最後に、ブロック６１０で、画素生成器は、少なくとも１つの記号の変換を表す複数の画素と当該背景領域の補強バージョンを表す当該複数の画素とを含む新たな画像を生成する。幾つかの実施形態では、変換された記号を表す画素により背景画像を置換する。

図６に示す特定のステップは、本発明の１実施形態に従う、動作モードを切り替える特定の方法を提供することは理解される。代替的な実施形態では、それに応じて他のステップのシーケンスを実施してもよい。例えば、本発明の代替的な実施形態では、上で概観したステップを別の順序で実施してもよい。例えば、ユーザは第３の動作モードから第１の動作モードに変更することを選択し、第４のモードから第２のモードに変更することを選択し、またはその間の任意の組合せを選択してもよい。さらに、図６に示す個々のステップが、当該個々のステップに対して必要に応じて様々なシーケンスで実施できる複数のサブステップを含んでもよい。さらに、特定のアプリケーションに応じてさらなるステップを追加または削除してもよい。当業者は、方法６００の多数の変形、修正、および代替を認識し理解するはずである。

図７は、雑音を回避する最適経路を導出するための方法７００を示す単純な流れ図である。方法７００は、ハードウェア（回路、専用ロジック等）、（汎用目的のコンピューティング・システムまたは専用マシンで実行されるような）ソフトウェア、ファームウェア（組込みソフトウェア）、またはそれらの任意の組合せを備える処理論理部により実施される。１実施形態では、方法７００は図１０の装置１０００により実施される。

例示の目的のため、図７での境界の説明では、２つの境界が記号の反対側にある上の空間と下の空間に水平に配置されるとし、最適経路が左から右に生成されている。しかし、境界を垂直に配置して記号のシーケンスを夫々の側に束縛してもよいことは当業者には理解される。例えば、垂直に書かれる一部のアジアの文字や記号では、境界は両側に上から下に垂直に描かれるかもしれない。同様に、右から左に書かれる一部の中東の文字に対しては、右から左への境界を表す最適経路を検索し生成することが有利であろう。

図７を参照すると、ブロック７０２で、混合システムは検索領域を上と下の水平のバンドに分割して、（８０４に示すように）大部分が当該記号で覆われたエリアで当該領域をマスクする。当該記号で覆われたエリアの大部分で当該領域をマスクすることが、最適経路の計算中に、マスクしたエリア内の画素を無視することであってもよい。記号の２つの対向する辺に２つのバンドを生成することによって、当該画像に沿った可能な経路の数が大幅に減る。

ブロック７０４で、混合システムは、各水平のバンドを水平に横断する経路を選択する。当該経路を、テキストの左側から開始してテキストの右側に伸びる一連の画素として定義する。下記の式（１）では、各ｐ_ｉはｉ番目の列にある画素の垂直位置を表し、ｎは経路の長さであり、（ａ、ｂ）は、テキストの左側から開始してテキストの右側に伸びる経路の検索範囲（バンド）である。

ブロック７０６で、混合システムは、個々の画素の周囲の勾配変化を経路に沿って計算する。勾配変化を計算する１実施形態を、後で図９を説明しながらさらに説明する。ブロック７０８で、当該システムは、選択した経路に沿って画素の勾配変化を合計することによって経路のコストを計算する。経路のコストを計算するコスト関数を次式で表す。

ここで、Ｄ（ｉ、ｐ_ｉ）は画素（ｉ、ｐ_ｉ）の周囲の勾配変化を表す。したがって、上式は、選択した経路に沿った全画素の周囲の勾配変化の和を表す。当該混合システムが経路のコストを計算すると、当該コストを他の経路のコストと比較する。ブロック７１０で当該混合システムが最適経路を発見しなかったと判定した場合には、（ブロック７０４に戻って）混合ルーチンが新たな経路を訪問して、より低い勾配変化を表すコストが低い経路を見つける。

問題をより小さな部分問題に分割してテキストの上下の水平なバンドと当該水平なバンド内の最適経路を発見することによって、動的プログラミングの概念を図７に示す混合システムの実装に使用してもよい。当該動的プログラミング・モデルにより、経路の大きさと方向（ブロック７０４）と、選択した経路に沿った勾配変化の計算の停止または継続の判定の頻度（ブロック７１０）を記述してもよい。

図７に示す特定のステップは、本発明の１実施形態に従う、動作モードを切り替える特定の方法を提供することは理解される。代替的な実施形態では、それに応じて他のステップのシーケンスを実施してもよい。例えば、本発明の代替的な実施形態では、上で概観したステップを別の順序で実施してもよい。例えば、ユーザは第３の動作モードから第１の動作モードに変更することを選択し、第４のモードから第２のモードに変更することを選択し、またはその間の任意の組合せを選択してもよい。さらに、図７に示す個々のステップが、当該個々のステップに対して必要に応じて様々なシーケンスで実施できる複数のサブステップを含んでもよい。さらに、特定のアプリケーションに応じてさらなるステップを追加または削除してもよい。当業者は、方法７００の多数の変形、修正、および代替を認識し理解するはずである。

図８は、画像の上領域と下領域に沿って最適経路を発見するための遷移ステップを示す、テキストを有する画像の流れ図である。ブロック８０２で、テキストを有する画像を取得する。ブロック８０４で、当該テキストの大部分を有する領域をマスクして、当該テキストの下側と上側に２つの細いバンドを形成する。当該バンドは、記号からの雑音が殆どまたは全くない領域である。バンドを特定することによって、最適経路の探索空間が減る。当該記号により覆われるエリアの大部分で当該領域をマスクすることにより、テキストの何れかの側に２つのバンドが効果的に作成される。これにより、最適経路の計算中に、マスクされたエリア内の画素が無視されることとなる。当該混合システムはさらに、上の領域と下の領域をより細いバンド（図示せず）へと、当該より細いバンド内の勾配変化の全コストに基づいてまたは他の適切な技術を用いることによって、分割してもよい。当該混合システムが、テキストの上側と下側にある細いバンドを選択すると、ブロック８０６に示すように、最適経路が各バンドに沿って生成される。これらの最適経路は、図７を参照して説明した２つの経路の間の領域の背景色を補間するのに使用される。記号の対向する側にこれらのバンドを生成することは、当該混合システムが最適経路の発見前に検索すべき経路（ブロック７０４乃至７１０の繰返し）の数が大幅に減るので、有利である。

図９は、１組の近傍画素を選択し当該画素の周囲の勾配変化を計算する非限定的な例示的な実施形態を示す、近傍画素の図形表現である。本実施形態では、画素の周囲の勾配変化を、着目する画素の周囲の１組の近傍画素を選択することによって計算する。画素の周囲の勾配変化を、着目する画素と各近傍画素の間の差分の絶対値の和として計算する。画素の周囲の勾配変化を発見する方法を次式で表す。

ここで、Ｄ（ｕ、ｖ）は画素（ｕ、ｖ）周囲の勾配変化を表す。

は、（ｍ、ｎ）が（ｕ、ｖ）の近傍であることを意味する。

は、（ｕ、ｖ）にある画素の色であり、

は、近傍の系である。図９を参照すると、勾配変化が画素９０４の周囲で計算される。画素９０４は、着目する画素であり（ｕ、ｖ）に配置されている。９０２、９０６、９０８、９１０、および９１２にある画素は、画素９０４周囲の１組の画素である。１実施形態では、最適化ルーチンは画素９０８、９１０および９１２のみを選択して、勾配変化を計算するための１組の近傍画素を形成する。

図１０に示すコンピュータ・システムを、前述のコンピュータ装置の一部として組み込んでもよい。例えば、コンピュータ・システム１０００が、ハンドヘルド装置の構成要素の一部を表してもよい。ハンドヘルド装置は、カメラのような入力検知ユニットと表示ユニットとを有する任意のコンピューティング装置であってもよい。ハンドヘルド装置の例には、ビデオ・ゲーム・コンソール、タブレット、スマート・フォンおよびモバイル装置が含まれるがこれらに限られない。図１０は、様々な他の実施形態で提供される方法を本明細書で説明したように実施でき、かつ／または、ホスト・コンピュータ・システム、リモート・キオスク／端末、ＰＯＳ装置、モバイル装置、セットトップ・ボックスおよび／もしくはコンピュータ・システムとして機能できる、コンピュータ・システム１０００の１実施形態の略図を提供する。図１０は、様々な構成要素の一般的な説明を提供するものにすぎず、その一部または全部を必要に応じて利用することができる。図１０は、したがって、どのように個々のシステム要素を相対的に独立した形でまたは相対的により統合された形で実装できるかを広く示すものである。

コンピュータ・システム１０００は、バス１００５を介して電子的に接続できる（または、必要に応じて別の方法で通信できる）ハードウェア要素を備えるとして示されている。当該ハードウェア要素は、１つまたは複数のプロセッサ１０１０、１つまたは複数の入力装置１０１５、および１つまたは複数の出力装置１０２０を備えてもよい。１つまたは複数のプロセッサ１０１０には、限定ではなく、１つもしくは複数の汎用目的のプロセッサおよび／または（デジタル信号処理チップ、グラフィック・アクセラレーション・プロセッサ等のような）１つもしくは複数の特殊目的のプロセッサが含まれる。１つまたは複数の入力装置１０１５は、限定ではなく、カメラ、マウス、キーボード等を含むことができる。１つまたは複数の出力装置１０２０は、限定ではなく、ディスプレイ装置、プリンタ等を含むことができる。

コンピュータ・システム１０００は、１つまたは複数の非一時的な記憶装置１０２５を備えてもよい（かつ／または１つまたは複数の非一時的な記憶装置１０２５と通信してもよい）。１つまたは複数の非一時的な記憶装置１０２５は、限定ではなく、局所アクセス可能記憶部および／もしくはネットワーク・アクセス記憶部を備えてもよく、かつ／または、限定ではなく、ディスク・ドライブ、ドライブ・アレイ、光記憶装置、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）および／もしくはＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）のような固体記憶装置を含んでもよい。ＲＡＭ、ＲＯＭは、プログラム可能、フラッシュ更新可能等であってもよい。かかる記憶装置を、任意の適切なデータ記憶部を実装するように構成してもよい。当該記憶部には、限定ではなく、ファイル・システム、データベース構造等が含まれる。

コンピュータ・システム１０００が、通信サブシステム１０００を備えてもよい。通信サブシステム１０００は、限定ではなく、モデム、ネットワーク・カード（無線または有線）、赤外線通信装置、（Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１装置、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラ通信施設等）無線通信装置および／またはチップセット等を含んでもよい。通信サブシステム１０３０により、（１例を挙げれば後述するネットワークのような）ネットワーク、他のコンピュータ・システム、および／または本明細書に記載の他の任意の装置とデータを交換することができる。多数の実施形態では、コンピュータ・システム１０００がさらに、非一時的な作業用メモリ１０３５を備える。作業用メモリ１０３５は、上述のＲＡＭ装置またはＲＯＭ装置を含んでもよい。

コンピュータ・システム１０００はまた、作業用メモリ１０３５内部に現在配置されているとして示されているソフトウェア要素を含んでもよい。当該ソフトウェア要素には、オペレーティング・システム１０４０、装置ドライバ、実行可能ライブラリ、および／または１つもしくは複数のアプリケーション・プログラム１０４５のような他のコードが含まれる。当該ソフトウェア要素が、本明細書で説明した、様々な実施形態で提供するコンピュータ・プログラムを備えてもよく、かつ／または、他の実施形態で提供する方法を実装しかつ／もしくはシステムを構成するように設計されてもよい。単なる例として、上述の方法（複数可）に関して説明した１つまたは複数の手続きを、コンピュータ（および／またはコンピュータ内のプロセッサ）により実行可能なコードおよび／または命令として実装してもよい。１態様では、かかるコードおよび／または命令を使用して、汎用目的のコンピュータ（または他の装置）を、説明した方法に従って１つまたは複数の動作を実施するように構成および／または適合させてもよい。

１組のこれらの命令および／またはコードを、上述の記憶装置（複数可）１０２５のようなコンピュータ読取可能記憶媒体に格納してもよい。幾つかのケースでは、当該記憶媒体を、システム１０００のようなコンピュータ・システム内部に組み込んでもよい。他の実施形態では、当該記憶媒体がコンピュータ・システムから独立であってもよく（例えば、コンパクト・ディスクのような取外し可能媒体）、かつ／または、インストール・パッケージ内で提供し、当該記憶媒体を使用して当該記憶媒体に格納した命令／コードで汎用目的のコンピュータをプログラムし、構成し、かつ／または適合させてもよい。これらの命令が、コンピュータ・システム１０００により実行可能である実行可能コード、ならびに／または、ソースおよび／もしくはインストール可能コードの形をとってもよい。これらは、コンピュータ・システム１０００上で（例えば、様々な一般に入手可能なコンパイラ、インストール・プログラム、圧縮／解凍ユーティリティ等の何れかを用いて）コンパイルおよび／またはインストールされたとき、実行可能コードの形をとる。

特定の要件に従って実質的な変形を行ってもよいことは当業者には理解される。例えば、カスタマイズしたハードウェアを使用してもよく、かつ／または、特定の要素をハードウェア、ソフトウェア（アプレット等のポータブル・ソフトウェアを含む）、またはその両方で実装してもよい。さらに、ネットワーク入出力装置のような他のコンピューティング装置への接続を使用してもよい。

幾つかの実施形態では、（コンピュータ・システム１０００のような）コンピュータ・システムを使用して、本発明の様々な実施形態に従う方法を実施してもよい。例えば、説明した方法の手続きの一部または全部を、作業用メモリ１０３５に含まれる（オペレーティング・システム１０４０、および／または、アプリケーション・プログラム１０４５のような他のコードに組み込んでもよい）１つまたは複数の命令から成る１つまたは複数の列をプロセッサ１０１０が実行したことに応答して、コンピュータ・システム１０００により実施してもよい。かかる命令を、１つまたは複数の記憶装置（複数可）１０２５のような別のコンピュータ読取可能媒体から作業用メモリ１０３５に読み込んでもよい。単なる例として、作業用メモリ１０３５に含まれる命令の列の実行により、プロセッサ（複数可）１０１０に、本明細書に記載の方法の１つまたは複数の手続きを実施させてもよい。

本明細書で使用する「機械読取可能媒体」および「コンピュータ読取可能媒体」という用語は、機械を特定の様式で動作させるデータの提供に参加する任意の媒体をさす。コンピュータ・システム１０００を用いて実装した１実施形態では、様々なコンピュータ読取可能媒体が、実行用の命令／コードをプロセッサ（複数可）１０１０に提供することに関与してもよく、かつ／または、当該コンピュータ読取可能媒体を使用してかかる命令／コード（例えば、信号）を格納および／または運搬してもよい。多数の実装形態では、コンピュータ読取可能媒体は物理的および／または有形的な記憶媒体である。かかる媒体が不揮発性媒体、揮発性媒体、および送信媒体の形をとってもよいがこれらに限られない。不揮発性媒体には、例えば、記憶装置（複数可）１０２５のような光ディスクおよび／または磁気ディスクが含まれる。揮発性媒体には、限定ではなく、作業用メモリ１０３５のような動的メモリが含まれる。送信媒体には、限定ではなく、同軸ケーブル、バス１００５を備える線を含む、銅線および光ファイバ、ならびに通信サブシステム１０３０の様々な構成要素（および／または通信サブシステム１０３０がそれにより他の装置との通信を提供する媒体）が含まれる。したがって、送信媒体は波（限定ではなく、無線通信および赤外線通信中に生成されるもののような、無線波、音波、および／または光波が含まれる）の形をとってもよい。

物理的および／または有形的なコンピュータ読取可能媒体の共通的な形態には、例えば、フロッピ・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープ、または、他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、穴のパターンを有する他の任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、他の任意のメモリチップもしくはカートリッジ、以下で説明する搬送波、またはコンピュータがそこから命令および／もしくはコードを読み取れる他の任意の媒体等が含まれる

様々な形態のコンピュータ読取可能媒体が、１つまたは複数の命令から成る１つまたは複数の列をプロセッサ（複数可）１０１０に実行のために伝送することに関与してもよい。単なる例として、当該命令を最初にリモート・コンピュータの磁気ディスクおよび／または光ディスクに保持してもよい。リモート・コンピュータが命令をその動的メモリにロードし、当該命令を、コンピュータ・システム１０００により受信および／または実行される送信媒体上の信号として当該命令を送信してもよい。これらの信号は、電磁信号、音響信号、光信号等の形であってもよく、本発明の様々な諸実施形態に従って命令を符号化できる搬送波の全ての例である。

通信サブシステム１０３０（および／またはその構成要素）は一般に当該信号を受信し、バス１００５が当該信号（および／または当該信号が保持するデータ、命令等）を作業用メモリ１０３５に伝送し、プロセッサ（複数可）１０１０が作業用メモリ１０３５から当該命令を取り出して実行する。場合によっては、作業用メモリ１０３５が受信した命令を、プロセッサ（複数可）１０１０による実行の前または後の何れかに非一時的な記憶装置１０２５に格納してもよい。

上述の方法、システム、および装置は例である。様々な実施形態では、必要に応じて様々な手続きまたは構成要素を省略し、置換し、または追加してもよい。例えば、代替的な構成では、当該方法を、説明したのとは異なる順序で実施してもよく、かつ／または、様々な段階を追加し、省略し、かつ／または組み合せてもよい。また、特定の実施形態に関して説明した機能を様々な他の実施形態と組み合わせてもよい。当該実施形態の様々な態様と要素を同様に組み合わせてもよい。また、技術は発展するので、当該要素の多くは例であって本開示または諸請求項の範囲を限定するものではない。

本明細書では具体的な詳細を与えて、実施形態の徹底的な理解を与えた。しかし、これらの具体的な詳細なしに実装形態を実施することができる。例えば、公知な回路、プロセス、アルゴリズム、構造、および技術は、当該実施形態を不明瞭にするのを避けるために、不必要に詳細には説明しなかった。本明細書は、例示的な実施形態のみを提供するものであり、本発明の範囲、適用可能性、または構成を限定するものではない。寧ろ、実施形態の以上の説明は、本発明の諸実施形態を実装するための実施可能な説明を当業者に提供するものである。本発明の趣旨または範囲から逸脱しない様々な変更を、諸要素の機能と配置構成において行ってもよい。

また、幾つかの実施形態を、流れ図またはブロック図として示したプロセスとして説明した。各実施形態では動作を逐次的なプロセスとして説明したかもしれないが、当該動作の多くを並列または並行に実施してもよい。さらに、動作の順序を再構成してもよい。プロセスが、図面に含まれない追加のステップを有してもよい。さらに、方法の諸実施形態をハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せで実装してもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装するとき、関連するタスクを実施するためのプログラム・コードまたはコード・セグメントを、記憶媒体のようなコンピュータ読取可能媒体に格納してもよい。プロセッサが関連するタスクを実施してもよい。

幾つかの実施形態を説明したが、本開示の趣旨を逸脱しない様々な修正、代替構成、および均等物を使用してもよい。例えば、以上の要素が、大規模システムの構成要素であってもよい。この場合、他の規則が優先してもよく、または、当該他の規則が本発明のアプリケーションを修正してもよい。また、幾つかのステップを、上記の要素を考慮する前、最中、または後に行ってもよい。したがって、上記の説明は本開示の範囲を限定しない。

１０２ カメラ
１０４ 検出モジュール
１０６ 経路発見器
１０８ 背景補間器
１１０ 変換器
１１２ テキスト画素生成器
１１４ 画素混合器
１１６ 混合バッファ
１１８ 画像バッファ

Claims (32)

1. 第１の画像の中の少なくとも１つの記号を置換するための方法であって、
   前記少なくとも１つの記号を表す複数の画素と背景領域を表す複数の画素を含む前記第１の画像を取得するステップと、
   前記第１の画像の中の第１の境界と第２の境界を定義するステップであって、前記第１の境界と前記第２の境界とが前記第１の画像を表す前記少なくとも１つの記号の反対側に配置されるステップと、
   前記少なくとも１つの記号の少なくとも１つの変換記号を表す複数の画素を生成するステップと、
   前記第１の境界と前記第２の境界の間の複数の背景画素値を補間することによって、前記背景領域の補強バージョンを表す複数の画素を生成するステップと、
   前記少なくとも１つの変換記号を表す前記複数の画素と前記背景領域の補強バージョンを表す前記複数の画素とを含む第２の画像を構築するステップと、
   を含む、方法。
2. 前記第１の境界と前記第２の境界の各々は前記少なくとも１つの記号の片側に沿った一連の画素として定義される、請求項１に記載の方法。
3. 前記一連の画素は画素の経路として定義され、前記画素の経路は前記経路に関連付けられたコストを最小にする、請求項２に記載の方法。
4. 前記経路に関連付けられた前記コストは、前記経路に沿った複数の画素の画素色の勾配変化の和を最小にする画素の経路として定義される、請求項３に記載の方法。
5. 前記第１の画像の中の前記第１の境界と前記第２の境界を定義するステップは、
   前記少なくとも１つの記号の反対側にある第１のバンドと第２のバンドを定義するステップと、
   前記第１のバンドを横断する少なくとも第１の経路と前記第２のバンドを横断する少なくとも第２の経路を選択するステップと、
   各経路に沿った複数の画素の画素色の勾配変化を合計することによって前記少なくとも第１の経路と前記少なくとも第２の経路とのコストを導出するステップと、
   前記第１のバンドから最小コストを有する経路を前記第１の境界として選択し、前記第２のバンドから最小コストを有する経路を前記第２の境界として選択するステップと、
   を含む、請求項１に記載の方法。
6. 背景画素値を補間するステップは線形補間を利用する、請求項１に記載の方法。
7. 背景画素値を補間するステップは非線形補間を利用する、請求項１に記載の方法。
8. 前記少なくとも１つの記号は第１の人間の言語で少なくとも１つのテキスト文字を含み、前記少なくとも１つの変換記号は第２の人間の言語で少なくとも１つのテキスト文字を含む、請求項１に記載の方法。
9. プロセッサと、
   前記プロセッサに接続された入力装置と、
   前記プロセッサに接続された出力装置と、
   前記プロセッサに接続された非一時的なコンピュータ読取可能記憶媒体であって、
   少なくとも１つの記号を表す複数の画素と背景領域を表す複数の画素を含む第１の画像を取得するステップと、
   前記第１の画像の中の第１の境界と第２の境界を定義するステップであって、前記第１の境界と前記第２の境界とは前記第１の画像を表す前記少なくとも１つの記号の反対側に配置されるステップと、
   前記少なくとも１つの記号の少なくとも１つの変換記号を表す複数の画素を生成するステップと、
   前記第１の境界と前記第２の境界の間の複数の背景画素値を補間することによって、前記背景領域の補強バージョンを表す複数の画素を生成するステップと、
   前記少なくとも１つの変換記号を表す前記複数の画素と前記背景領域の前記補強バージョンを表す前記複数の画素とを含む第２の画像を構築するステップと、
   を含む方法を実装するための前記プロセッサにより実行可能なコードを備える、非一時的なコンピュータ読取可能記憶媒体と、
   を備える、装置。
10. 前記第１の境界と前記第２の境界の各々は前記少なくとも１つの記号の片側に沿った一連の画素として定義される、請求項９に記載の装置。
11. 前記一連の画素は画素の経路として定義され、前記画素の経路は前記経路に関連付けられたコストを最小にする、請求項１０に記載の装置。
12. 前記経路に関連付けられた前記コストは前記経路に沿った複数の画素の画素色の勾配変化の和を最小にする画素の経路として定義される、請求項１１に記載の装置。
13. 前記第１の画像の中の前記第１の境界と前記第２の境界を定義するステップは、
    前記少なくとも１つの記号の反対側にある第１のバンドと第２のバンドを定義するステップと、
    前記第１のバンドを横断する少なくとも第１の経路と前記第２のバンドを横断する少なくとも第２の経路を選択するステップと、
    各経路に沿った複数の画素の画素色の勾配変化を合計することによって前記少なくとも第１の経路と前記少なくとも第２の経路とのコストを導出するステップと、
    前記第１のバンドから最小コストを有する経路を前記第１の境界として選択し、前記第２のバンドから最小コストを有する経路を前記第２の境界として選択するステップと、
    を含む、請求項９に記載の装置。
14. 背景画素値を補間するステップは線形補間を利用する、請求項９に記載の装置。
15. 景画素値を補間するステップは非線形補間を利用する、請求項９に記載の装置。
16. 前記少なくとも１つの記号は第１の人間の言語で少なくとも１つのテキスト文字を含み、前記少なくとも１つの変換記号は第２の人間の言語で少なくとも１つのテキスト文字を含む、請求項９に記載の装置。
17. プロセッサに接続された非一時的なコンピュータ読取可能記憶媒体であって、
    少なくとも１つの記号を表す複数の画素と背景領域を表す複数の画素を含む第１の画像を取得するステップと、
    前記第１の画像の中の第１の境界と第２の境界を定義するステップであって、前記第１の境界と前記第２の境界とが前記第１の画像を表す前記少なくとも１つの記号の反対側に配置されるステップと、
    前記少なくとも１つの記号の少なくとも１つの変換記号を表す複数の画素を生成するステップと、
    前記第１の境界と前記第２の境界の間の複数の背景画素値を補間することによって、前記背景領域の補強バージョンを表す複数の画素を生成するステップと、
    前記少なくとも１つの変換記号を表す前記複数の画素と前記背景領域の前記補強バージョンを表す前記複数の画素とを含む第２の画像を構築するステップと、
    を含む方法を実装するための前記プロセッサにより実行可能なコンピュータ・プログラムを備える、非一時的なコンピュータ読取可能記憶媒体。
18. 前記第１の境界と前記第２の境界の各々は前記少なくとも１つの記号の片側に沿った一連の画素として定義される、請求項１７に記載の非一時的なコンピュータ読取可能記憶媒体。
19. 前記一連の画素は画素の経路として定義され、前記画素の経路は前記経路に関連付けられたコストを最小にする、請求項１８に記載の非一時的なコンピュータ読取可能記憶媒体。
20. 前記経路に関連付けられた前記コストは前記経路に沿った複数の画素の画素色の勾配変化の和を最小にする画素の経路として定義される、請求項１９に記載の非一時的なコンピュータ読取可能記憶媒体。
21. 前記第１の画像の中の前記第１の境界と前記第２の境界を定義するステップは、
    前記少なくとも１つの記号の反対側にある第１のバンドと第２のバンドを定義するステップと、
    前記第１のバンドを横断する少なくとも第１の経路と前記第２のバンドを横断する少なくとも第２の経路を選択するステップと、
    各経路に沿った複数の画素の画素色の勾配変化を合計することによって前記少なくとも第１の経路と前記少なくとも第２の経路とのコストを導出するステップと、
    前記第１のバンドから最小コストを有する経路を前記第１の境界として選択し、前記第２のバンドから最小コストを有する経路を前記第２の境界として選択するステップと、
    を含む、請求項１７に記載の非一時的なコンピュータ読取可能記憶媒体。
22. 背景画素値を補間するステップは線形補間を利用する、請求項１７に記載の非一時的なコンピュータ読取可能記憶媒体。
23. 背景画素値を補間するステップは非線形補間を利用する、請求項１７に記載の非一時的なコンピュータ読取可能記憶媒体。
24. 前記少なくとも１つの記号は第１の人間の言語で少なくとも１つのテキスト文字を含み、前記少なくとも１つの変換記号は第２の人間の言語で少なくとも１つのテキスト文字を含む、請求項１７に記載の非一時的なコンピュータ読取可能記憶媒体。
25. 第１の画像の中の少なくとも１つの記号を置換するための装置であって、
    前記少なくとも１つの記号を表す複数の画素と背景領域を表す複数の画素を含む前記第１の画像を取得するための手段と、
    前記第１の画像の中の第１の境界と第２の境界を定義ための手段であって、前記第１の境界と前記第２の境界とは前記第１の画像を表す前記少なくとも１つの記号の反対側に配置される手段と、
    前記少なくとも１つの記号の少なくとも１つの変換記号を表す複数の画素を生成するための手段と、
    前記第１の境界と前記第２の境界の間の複数の背景画素値を補間することによって、前記背景領域の補強バージョンを表す複数の画素を生成するための手段と、
    前記少なくとも１つの変換記号を表す前記複数の画素と前記背景領域の補強バージョンを表す前記複数の画素とを含む第２の画像を構築するための手段と、
    を備える、装置。
26. 前記第１の境界と前記第２の境界の各々は前記少なくとも１つの記号の片側に沿った一連の画素として定義される、請求項２５に記載の装置。
27. 前記一連の画素は画素の経路として定義され、前記画素の経路は前記経路に関連付けられたコストを最小にする、請求項２６に記載の装置。
28. 前記経路に関連付けられた前記コストは前記経路に沿った複数の画素の画素色の勾配変化の和を最小にする画素の経路として定義される、請求項２７に記載の装置。
29. 前記第１の画像の中の前記第１の境界と前記第２の境界を定義するための手段は、
    前記少なくとも１つの記号の反対側にある第１のバンドと第２のバンドを定義するための手段と、
    前記第１のバンドを横断する少なくとも第１の経路と前記第２のバンドを横断する少なくとも第２の経路を選択するための手段と、
    各経路に沿った複数の画素の画素色の勾配変化を合計することによって前記少なくとも第１の経路と前記少なくとも第２の経路とのコストを導出するための手段と、
    前記第１のバンドから最小コストを有する経路を前記第１の境界として選択し、前記第２のバンドから最小コストを有する経路を前記第２の境界として選択するための手段と、
    を含む、請求項２５に記載の装置。
30. 背景画素値を補間するステップは線形補間を利用する、請求項２５に記載の装置。
31. 背景画素値を補間するステップは非線形補間を利用する、請求項２５に記載の装置。
32. 前記少なくとも１つの記号は第１の人間の言語で少なくとも１つのテキスト文字を含み、前記少なくとも１つの変換記号は第２の人間の言語で少なくとも１つのテキスト文字を含む、請求項２５に記載の装置。