JP2018120591A

JP2018120591A - 文書の向きの認識方法、認識装置及びニューラルネットワーク

Info

Publication number: JP2018120591A
Application number: JP2018007337A
Authority: JP
Inventors: 若辰王; Ruochen Wang; ファヌ・ウエイ; Wei Fan; 俊孫; Shun Son
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-01-24
Filing date: 2018-01-19
Publication date: 2018-08-02
Anticipated expiration: 2038-01-19
Also published as: US20180211109A1; JP7020134B2; US10891476B2; CN108345827A; CN108345827B

Abstract

【課題】本発明は文書の向きの認識方法、認識装置及びニューラルネットワークを提供する。【解決手段】該方法は、文書におけるテキスト行を抽出するステップと、テキスト行が正向きであるかを示す第１正向き結果、及びテキスト行が逆向きであるかを示す第１逆向き結果を算出するステップと、１８０度回転されたテキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転されたテキスト行が逆向きであるかを示す第２逆向き結果を算出するステップと、第１正向き結果及び第１逆向き結果、並びに第２正向き結果及び第２逆向き結果に基づいて、文書の向きを決定するステップと、を含む。【選択図】図２

Description

本発明は、文書の向きの認識方法、認識装置及びニューラルネットワークに関する。

深層学習（ｄｅｅｐｌｅａｒｎｉｎｇ）技術の普及に伴い、畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）は、画像の向きの判別を含む画像の検出、分類などのタスクにますます応用されている。畳み込みニューラルネットワークは多層のニューラルネットワークであり、各層は複数の二次元平面により構成され、各平面は複数の独立したニューロンにより構成されている。現在は、畳み込みニューラルネットワークの構造の変形体が多くあるが、これらの変形体の基本的な構造は非常に類似する。畳み込みニューラルネットワークの基本的な構造は、３つの層、即ち畳み込み層、プーリング層（ダウンサンプリング層とも称される）及び全結合層を含む。パターン分類のための畳み込みニューラルネットワークは、通常、最後の層でｓｏｆｔｍａｘ等の分類器を用いる。図１は従来技術における典型的な畳み込みニューラルネットワークの構成を示す図である。図１に示すように、該典型的な畳み込みニューラルネットワークは、入力層、畳み込み層、プーリング層、全結合層及び分類器を含む。

入力層は、処理すべき対象である。

畳み込み層は、学習入力の特徴の表示のためのものである。図１に示すように、畳み込み層は、幾つかの特徴マップ（ｆｅａｔｕｒｅｍａｐｓ）により構成されている。特徴マップの各ニューロンは前の層の隣接するニューロンに接続され、このような隣接領域は該ニューロンの前の層における局所感知フィールドと称される。新たな特徴マップを算出するために、まず、入力された特徴マップと学習済みの畳み込みカーネル（フィルタ、特徴検出器とも称される）との畳み込みを行い、そして、結果を非線形活性化関数に渡す。異なる畳み込みカーネルを用いることで新たな特徴マップを取得する。なお、１つの特徴マップを生成するためのカーネルは同一である（即ち重みが共有されている）。このような重み共有モードの利点として、モードの複雑さを低減でき、ネットワークを訓練しやすくなる。活性化関数は、畳み込みニューラルネットワークの非線形度を示しており、多層ネットワークにより非線形特徴を検出するのに非常に理想的である。典型的な活性化関数は、ｓｉｇｍｏｉｄ、ｔａｎｈ及びＲｅＬＵである。

プーリング層（ダウンサンプリング層とも称される）は、特徴マップの解像度を低下させることで空間的不変性を達成するためのものである。プーリング層は、通常、２つの畳み込み層の間に位置する。各プーリング層の特徴マップは、対応する前の畳み込み層の特徴マップに接続されているため、両者の特徴マップの数は同じである。典型的なプーリング処理は、平均プーリング及び最大化プーリングである。幾つかの畳み込み層とプーリング層を重ね合わせることで、より抽象的な特徴マップの表現を抽出できる。

幾つかの畳み込み層及びプーリング層の後に、通常、１つ又は複数の全結合層が存在する。全結合層の各ニューロンは前の層の全てのニューロンにそれぞれ接続され、全結合層では空間的情報が保存されていない。

全結合層の後に分類器が接続され、分類器は、通常１つの多層感知機構により構成されている。

上述した典型的な畳み込みニューラルネットワークは、画像に対する複雑な前処理を回避し、元の画像を直接入力できるため、広く用いられている。しかし、画像の向きを判別する場合は、通常の畳み込みニューラルネットワークを直接用いると、良好な認識効果を得ることができない。重要な理由の１つは、認識すべきサンプルに自己対称な部分が大量含まれているため、画像の向きを認識できなくなる。

以下は、本発明の態様を基本的に理解させるために、本発明の簡単な概要を説明する。なお、この簡単な概要は、本発明を網羅的な概要ではなく、本発明のポイント又は重要な部分を意図的に特定するものではなく、本発明の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。

本発明は、上記の問題点を鑑み、向き判別のタスクにおける自己対称なサンプルによる干渉を効果的に除去でき、モデルの全体的な精度を向上できる文書の向きの認識方法、認識装置及びニューラルネットワークを提供することを目的とする。

本発明の１つの態様では、文書の向きの認識方法であって、文書におけるテキスト行を抽出するステップと、前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出するステップと、１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出するステップと、前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定するステップと、を含む、方法を提供する。

本発明のもう１つの態様では、文書の向きの認識装置であって、文書におけるテキスト行を抽出する抽出手段と、前記抽出手段に接続され、前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出する第１算出手段と、前記抽出手段に接続され、１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出する第２算出手段と、前記第１算出手段及び前記第２算出手段に接続され、前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定する決定手段と、を含む、装置を提供する。

本発明のもう１つの態様では、文書の向きを認識するニューラルネットワークであって、文書からテキスト行を抽出して、畳み込みニューラルネットワーク及び拡張畳み込みニューラルネットワークに入力する入力手段と、前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出する畳み込みニューラルネットワークと、１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出する拡張畳み込みニューラルネットワークと、前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定し、決定された結果を出力する出力手段と、を含む、ニューラルネットワークを提供する。

本発明のもう１つの態様では、機器が読み取り可能なプログラムコードを含む記憶媒体であって、情報処理装置において該プログラムコードを実行する際に、該プログラムコードを介して該情報処理装置に本発明の上記の方法を実行させる、記憶媒体をさらに提供する。

本発明のもう１つの態様では、機器が実行可能な命令を含むプログラムであって、情報処理装置において該命令を実行する際に、該命令を介して該情報処理装置に本発明の上記の方法を実行させる、プログラムをさらに提供する。

以下は、本発明の利点がより明確になるように、図面を参照しながら本発明の好適な実施例を詳細に説明する。

本発明の他の特徴及び利点を理解させるために、図面を参照しながら本発明の各実施例を説明する。ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本発明の範囲を限定するものではない。
従来技術における典型的な畳み込みニューラルネットワークの構成を示す図である。本発明の実施例に係る文書の向きを認識するニューラルネットワークを示す図である。本発明の実施例に係るニューラルネットワークを用いる文書の向きの認識方法の例を示す図である。本発明の実施例に係る文書の向きの認識方法を示すフローチャートである。本発明の実施例に係る文書の向きの認識方法における第２算出ステップを示すフローチャートである。本発明の実施例に係る文書の向きの認識装置の構成を示す図である。本発明の実施例に係る文書の向きの認識装置における決定部の構成を示す図である。本発明に係る方法及び装置を実施するためのコンピュータの例示的な構成を示すブロック図である。

以下は本発明の実施形態を詳細に説明する。なお、以下の説明は単なる例示的なものであり、本発明を限定するものではない。また、以下の説明では、同一の符号を用いて異なる図面における同一又は類似の構成部を示している。本発明の範囲内の他の実施形態を形成するように、以下で説明する異なる実施形態における異なる特徴を組み合わせてもよい。

図２は本発明の実施例に係る文書の向きを認識するニューラルネットワーク２００を示す図である。図２に示すように、ニューラルネットワーク２００は、入力部２１０、畳み込みニューラルネットワーク２２０、拡張畳み込みニューラルネットワーク２３０及び出力部２４０を含む。

入力部２１０は、入力された文書画像からテキスト行の画像ブロックを抽出して、畳み込みニューラルネットワーク２２０及び拡張畳み込みニューラルネットワーク２３０にそれぞれ入力する。

畳み込みニューラルネットワーク２２０は、テキスト行が正向きであるかを示す第１正向き結果、及びテキスト行が逆向きであるかを示す第１逆向き結果を算出する。畳み込みニューラルネットワーク２２０の構成は公知のものであり、畳み込みプーリング部２２１及び分類部２２２を含む。

具体的には、畳み込みプーリング部２２１は、テキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得する。畳み込みプーリング部２２１は、通常、複数の畳み込み層とプーリング層の重ね合わせ構造を用いるものであり、プーリング層は２つの畳み込み層の間に位置し、畳み込み層及びプーリング層の数は実際の状況に応じて決定される。畳み込み層はテキスト行の特徴の表現を抽出するためのものであり、幾つかの特徴マップを含む。プーリング層は、特徴マップの解像度を低減するためのものである。

分類部２２２は、畳み込みプーリング部２２１の後に位置し、畳み込みプーリング部２２１の一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第２正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第２逆向き結果として出力する。分類部２２２は分類器を含み、該分類器は通常１つの多層感知機構により構成され、一般的な分類器は例えばｓｏｆｔｍａｘ分類器である。

好ましくは、分類部２２２は全結合層をさらに含み、該全結合層は、畳み込みプーリング層２２１の最後の層の全てのニューロンと自分の各ニューロンとを接続することで特徴を抽出し、取得された特徴の配列を分類器に出力する。

図２に示すように、拡張ニューラルネットワーク２３０は、回転層２３１、畳み込みプーリング部２３２、順序反転部２３３及び分類部２３４を含む。拡張ニューラルネットワーク２３０は、１８０度回転されたテキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転されたテキスト行が逆向きであるかを示す第２逆向き結果を算出する。

本発明の実施例に係る拡張畳み込みニューラルネットワーク２３０は、上述した畳み込みニューラルネットワーク２２０に回転層２３１及び順序反転層２３３を挿入することによって得られるため、拡張畳み込みニューラルネットワーク２３０における畳み込みプーリング部２３２及び分類部２３４と畳み込みニューラルネットワーク２２０における畳み込みプーリング部２２１及び分類部２２２とは構成及びパラメータが同一である。また、本発明の実施例に係るニューラルネットワーク２００を訓練する際に、畳み込みニューラルネットワーク２２０のみを訓練してもよい。

具体的には、回転層２３１は、入力部からテキスト行を受信し、該テキスト行を１８０度回転した後に、畳み込みプーリング部２３２に出力する。

畳み込みプーリング部２３２は、回転後のテキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得する。畳み込みプーリング部２３２は、通常、複数の畳み込み層とプーリング層の重ね合わせ構造を用いるものであり、プーリング層は２つの畳み込み層の間に位置し、畳み込み層及びプーリング層の数は実際の状況に応じて決定される。畳み込み層はテキスト行の特徴の表現を抽出するためのものであり、幾つかの特徴マップを含む。プーリング層は、特徴マップの解像度を低減するためのものである。

順序反転層２３３は、畳み込みプーリング部２３２からの一次元配列における各要素の順序を反転する。

分類部２３４は、順序反転層２３３の後に位置し、順序反転層２３３から出力された配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第２正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第２逆向き結果として出力する。分類部２３４は分類器を含み、該分類器は通常１つの多層感知機構により構成され、一般的な分類器は例えばｓｏｆｔｍａｘ分類器である。

好ましくは、分類部２３４は全結合層をさらに含み、該全結合層は、順序反転層２３３の全ての出力と自分の各ニューロンとを接続することで特徴を抽出し、取得された特徴の配列を分類器に出力する。

出力部２４０は、畳み込みニューラルネットワーク２２０及び拡張畳み込みニューラルネットワーク２３０に接続されている。出力部２４０は、畳み込みニューラルネットワークからの第１正向き結果及び第１逆向き結果、並びに拡張畳み込みニューラルネットワークからの第２正向き結果及び第２逆向き結果に基づいて、文書の向きを決定する。

具体的には、本発明の実施例では、出力部２４０は、第１正向き結果と第２逆向き結果との和を正向き信頼度とし、第１逆向き結果と第２正向き結果との和を逆向き信頼度とし、該正向き信頼度及び逆向き信頼度に基づいて文書の向きを決定する。例えば、正向き信頼度が逆向き信頼度よりも大きい場合は、出力部２４０は、文書の向きが正向きであると決定する。一方、正向き信頼度が逆向き信頼度よりも小さい場合は、出力部２４０は文書の向きが逆向きであると決定する。正向き信頼度が逆向き信頼度に等しい場合は、入力部２１０に文書の他の部分のテキスト行の画像ブロックを抽出させて文書の向きを識別する。

図３は本発明の実施例に係るニューラルネットワークを用いる文書の向きの認識方法の例を示す図である。

図３に示すように、畳み込みニューラルネットワーク及び拡張畳み込みニューラルネットワークにテキスト行「ＨＩＯＸＢＬ」をそれぞれ入力する。畳み込みニューラルネットワークにおける畳み込みプーリング部は、該テキスト行に対して処理を行い、一次元配列「（７，２，５，６，３，１）」を取得する。該一次元配列を畳み込みニューラルネットワークの分類部に入力して分類処理を行い、テキスト行が正向きであるかを示す第１正向き結果及びテキスト行が逆向きであるかを示す第１逆向き結果を出力する。

拡張畳み込みニューラルネットワークでは、回転層は入力されたテキスト行「ＨＩＯＸＢＬ」を１８０度回転し、逆向きのテキスト行「
（外１）
」を取得する。そして、畳み込みプーリング部は、該逆向きのテキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列「（９，８，６，５，２，７）」を出力する。そして、順序反転層は、畳み込みプーリング部から出力された一次元配列の順序を反転し、一次元配列「（７，２，５，６，８，９）」を取得する。最後に、分類部は、順序が反転された一次元配列を処理し、テキスト行が正向きであるかを示す第２正向き結果及びテキスト行が逆向きであるかを示す第２逆向き結果を出力する。

図３の例から分かるように、回転層により回転されたテキスト行「
（外２）
」は、元のテキスト行「ＨＩＯＸＢＬ」に比べて、各文字の向き及び位置が共に変化している。このため、拡張畳み込みニューラルネットワーク２３０の畳み込みプーリング部２３２により出力された一次元配列（９，８，６，５，２，７）は、向き及び位置が共に変化しているテキスト行「
（外３）
」の特徴を表示している。順序反転層では、一次元配列（９，８，６，５，２，７）における各要素の順序を反転し、一次元配列「（７，２，５，６，８，９）」を取得する。順序反転された配列は、テキスト行「
（外４）
」の特徴を表示している。回転前のテキスト行「ＨＩＯＸＢＬ」に比べて、テキスト行「
（外５）
」における各要素は、向きのみが変化し、位置が変化していない。従って、拡張畳み込みニューラルネットワーク２３０から出力された分類結果は、各要素を１８０度回転し、且つ各要素間の位置が変化していないテキスト行の分類結果である。よって、出力部２４０では、畳み込みニューラルネットワークから出力された回転していないテキスト行の向きを示す第１正向き結果及び第１逆向き結果と、拡張畳み込みニューラルネットワークから出力された各要素がそれぞれ１８０度回転され、且つ各要素間の位置が変化していないテキスト行の向きを示す第２逆向き結果及び第２正向き結果とを加算してもよい。これによって、自己対称な要素のテキスト行の向きの判別への影響を除去でき、文書の向きをより正確に決定できる。

また、本発明の実施例では、テキスト行から各要素を抽出して各要素を１８０度回転して畳み込みニューラルネットワークに入力して文書の向きを決定することではなく、畳み込みニューラルネットワークに回転層及び順序反転層を挿入する。これによって、ニューラルネットワーク２００の複雑さを大幅に低減でき、文書の向きの認識の効率を向上できる。

図４は本発明の実施例に係る文書の向きの認識方法を示すフローチャートである。

本発明の実施例に係る文書の向きの認識方法は、以下のステップを含む。抽出ステップＳ４１０において、入力された文書画像からテキスト行の画像ブロックを抽出する。第１算出ステップＳ４２０において、テキスト行が正向きであるかを示す第１正向き結果、及びテキスト行が逆向きであるかを示す第１逆向き結果を算出する。第２算出ステップＳ４３０において、１８０度回転されたテキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転されたテキスト行が逆向きであるかを示す第２逆向き結果を算出する。決定ステップＳ４４０において、第１正向き結果及び第１逆向き結果、並びに第２正向き結果及び第２逆向き結果に基づいて、文書の向きを決定する。ここで、第１算出ステップＳ４２０及び第２算出ステップＳ４３０の実行順序について特に制限がない。例えば、第１算出ステップＳ４２０及び第２算出ステップＳ４３０を並行して実行してもよいし、第１算出ステップＳ４２０を実行した後に第２算出ステップＳ４３０を実行してもよいし、第２算出ステップＳ４３０を実行した後に第１算出ステップＳ４２０を実行してもよい。

第１算出ステップＳ４２０において、畳み込みニューラルネットワークを用いて、テキスト行が正向きであるかを示す第１正向き結果、及びテキスト行が逆向きであるかを示す第１逆向き結果を算出する。畳み込みニューラルネットワークは、複数の畳み込み層とプーリング層の重ね合わせ構造を有する畳み込みプーリング部、及び分類部を含む。第１算出ステップＳ４２０は、畳み込みニューラルネットワークの畳み込みプーリング部によりテキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得するステップと、畳み込みニューラルネットワークの分類部により該一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第１正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第１逆向き結果として出力するステップと、を含む。

第２算出ステップＳ４３０において、回転層、複数の畳み込み層とプーリング層の重ね合わせ構造を有する畳み込みプーリング部、順序反転層及び分類部を含む拡張畳み込みニューラルネットワークを用いて、１８０度回転されたテキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転されたテキスト行が逆向きであるかを示す第２逆向き結果を算出する。図５は該第２算出ステップを示すフローチャートである。図５に示すように、ステップＳ４３１において、回転層によりテキスト行を１８０度回転し、ステップＳ４３２において、拡張畳み込みニューラルネットワークの畳み込みプーリング部により回転後のテキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得し、ステップＳ４３３において、順序反転層により該一次元配列における各要素の順序を反転し、ステップＳ４３４において、拡張畳み込みニューラルネットワークの分類部により順序反転後の一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第２正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第２逆向き結果として出力する。

図６は本発明の実施例に係る文書の向きの認識装置６００の構成を示す図である。

図６に示すように、文書の向きの認識装置６００は、抽出部６１０、第１算出部６２０、第２算出部６３０及び決定部６４０を含む。

抽出部６１０は、第１算出部６２０及び第２算出部６３０に接続され、入力された文書画像からテキスト行の画像ブロックを抽出し、第１算出部６２０及び第２算出部６３０に出力する。

第１算出部６２０は、畳み込みニューラルネットワークを用いて、テキスト行が正向きであるかを示す第１正向き結果、及びテキスト行が逆向きであるかを示す第１逆向き結果を算出する。

第２算出部６３０は、上述した拡張畳み込みニューラルネットワークを用いて、１８０度回転されたテキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転されたテキスト行が逆向きであるかを示す第２逆向き結果を算出する。上述したように、拡張畳み込みニューラルネットワークは、畳み込みニューラルネットワークに回転層及び順序反転層を挿入することによって得られ、回転層２３１、畳み込みプーリング部２３２、順序反転層２３３及び分類部２３４を含む。

決定部６４０は、第１算出部６２０及び第２算出部６３０に接続され、第１正向き結果及び第１逆向き結果、並びに第２正向き結果及び第２逆向き結果に基づいて、文書の向きを決定する。図７は本発明の実施例に係る文書の向きの認識装置における決定部６４０の構成を示す図である。図７に示すように、決定部６４０は、第１加算ユニット６４１、第２加算ユニット６４２及び決定ユニット６４３を含む。第１加算ユニット６４１は、畳み込みニューラルネットワークからの第１正向き結果と拡張畳み込みニューラルネットワークからの第２逆向き結果との和を正向き信頼度として加算する。第２加算ユニット６４２は、畳み込みニューラルネットワークからの第１逆向き結果と拡張畳み込みニューラルネットワークからの第２正向き結果との和を逆向き信頼度として加算する。決定ユニット６４３は、該正向き信頼度及び逆向き信頼度に基づいて文書の向きを決定する。

なお、上記装置における各構成要件、ユニットはソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせにより実現されてもよい。用いられる具体的な手段又は方式の構成は当業者にとって周知であり、ここでその説明が省略される。ソフトウェア又はファームウェアにより実施されている場合、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ（例えば図８示されている汎用コンピュータ８００）に上記方法を実施するためのソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータは各種のプログラムがインストールされている場合は各種の機能などを実行できる。

図８は本発明に係る方法及び装置を実施するためのコンピュータの例示的な構成を示すブロック図である。

図８において、中央処理部（即ちＣＰＵ）８０１は、読み出し専用メモリ（ＲＯＭ）８０２に記憶されているプログラム、又は記憶部８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ８０３には、必要に応じて、ＣＰＵ８０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ８０１、ＲＯＭ８０２、及びＲＡＭ８０３は、バス８０４を介して互いに接続されている。入力／出力インターフェース８０５もバス８０４に接続されている。

入力部８０６（キーボード、マウスなどを含む）、出力部８０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部８０８（例えばハードディスクなどを含む）、通信部８０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース８０５に接続されている。通信部８０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部８１０は、入力／出力インターフェース８０５に接続されてもよい。取り外し可能な媒体８１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部８１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部８０８にインストールされている。

ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体８１１を介してソフトウェアを構成するプログラムをインストールする。

これらの記憶媒体は、図８に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体８１１に限定されない。取り外し可能な媒体８１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ８０２、記憶部８０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。

本発明は、機器に読み取り可能な命令コードを記憶するプログラムプロダクトをさらに提供する。該命令コードは機器により読み出されて、上述した本発明の実施例に係る方法を実行できる。

それに応じて、本発明は、機器読み取り可能な命令コードを記憶するプログラムのプロダクトが記録されている記憶媒体をさらに含む。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティックを含むが、これらに限定されない。

また、本発明の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。

以上は本発明の具体的な実施例の説明を通じて本発明を開示するが、上記の全ての実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本発明に対して各種の修正、改良、均等的なものに変更してもよい。これらの修正、改良又は均等的なものに変更することは本発明の保護範囲に含まれるものである。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
文書の向きの認識方法であって、
文書におけるテキスト行を抽出するステップと、
前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出するステップと、
１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出するステップと、
前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定するステップと、を含む、方法。
（付記２）
畳み込みニューラルネットワークを用いて、前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出する、付記１に記載の方法。
（付記３）
前記畳み込みニューラルネットワークは、複数の畳み込み層とプーリング層の重ね合わせ構造を有する畳み込みプーリング部、及び分類部を含み、
前記テキスト行が正向きであるかを示す第１正向き結果及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出するステップは、
前記畳み込みニューラルネットワークの畳み込みプーリング部により前記テキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得するステップと、
前記畳み込みニューラルネットワークの分類部により前記一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第１正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第１逆向き結果として出力するステップと、を含む、付記２に記載の方法。
（付記４）
回転層、複数の畳み込み層とプーリング層の重ね合わせ構造を有する畳み込みプーリング部、順序反転層及び分類部を含む拡張畳み込みニューラルネットワークを用いて、１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出し、
当該ステップは、
前記回転層により前記テキスト行を１８０度回転するステップと、
前記拡張畳み込みニューラルネットワークの畳み込みプーリング部により回転後のテキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得するステップと、
前記順序反転層により前記一次元配列における各要素の順序を反転するステップと、
前記拡張畳み込みニューラルネットワークの分類部により順序反転後の前記一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第２正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第２逆向き結果として出力するステップと、を含む、付記３に記載の方法。
（付記５）
前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定するステップは、
前記第１正向き結果と前記第２逆向き結果との和を正向き信頼度とするステップと、
前記第１逆向き結果と前記第２正向き結果との和を逆向き信頼度とするステップと、
前記正向き信頼度及び前記逆向き信頼度に基づいて前記文書の向きを決定するステップと、を含む、付記４に記載の方法。
（付記６）
前記拡張畳み込みニューラルネットワークは、前記畳み込みニューラルネットワークに前記回転層及び前記順序反転層を挿入することによって得られる、付記４又は５に記載の方法。
（付記７）
前記畳み込みニューラルネットワークのみを訓練する、付記６に記載の方法。
（付記８）
前記畳み込みニューラルネットワークの分類部は、分類処理を行う分類器を含む、付記６に記載の方法。
（付記９）
前記分類器は、ｓｏｆｔｍａｘ分類器である、付記８に記載の方法。
（付記１０）
文書の向きの認識装置であって、
文書におけるテキスト行を抽出する抽出手段と、
前記抽出手段に接続され、前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出する第１算出手段と、
前記抽出手段に接続され、１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出する第２算出手段と、
前記第１算出手段及び前記第２算出手段に接続され、前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定する決定手段と、を含む、装置。
（付記１１）
前記第１算出手段は、畳み込みニューラルネットワークを用いて、前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出する、付記１０に記載の装置。
（付記１２）
前記畳み込みニューラルネットワークは、
複数の畳み込み層とプーリング層の重ね合わせ構造を有し、前記テキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得する畳み込みプーリング部と、
前記一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第１正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第１逆向き結果として出力する分類部と、を含む、付記１１に記載の装置。
（付記１３）
前記第２算出手段は、拡張畳み込みニューラルネットワークを用いて、１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出し、
前記拡張畳み込みニューラルネットワークは、
前記テキスト行を１８０度回転する回転層と、
複数の畳み込み層とプーリング層の重ね合わせ構造を有し、回転後のテキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得する畳み込みプーリング部と、
前記一次元配列における各要素の順序を反転する順序反転層と、
順序反転後の前記一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第２正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第２逆向き結果として出力する分類部と、を含む、付記１２に記載の装置。
（付記１４）
前記拡張畳み込みニューラルネットワークは、前記畳み込みニューラルネットワークに前記回転層及び前記順序反転層を挿入することによって得られる、付記１３に記載の装置。
（付記１５）
前記決定手段は、
前記第１正向き結果と前記第２逆向き結果との和を正向き信頼度とする第１加算ユニットと、
前記第１逆向き結果と前記第２正向き結果との和を逆向き信頼度とする第２加算ユニットと、
前記正向き信頼度及び前記逆向き信頼度に基づいて前記文書の向きを決定する決定ユニットと、を含む、付記１４に記載の装置。
（付記１６）
文書の向きを認識するニューラルネットワークであって、
文書からテキスト行を抽出して、畳み込みニューラルネットワーク及び拡張畳み込みニューラルネットワークに入力する入力手段と、
前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出する畳み込みニューラルネットワークと、
１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出する拡張畳み込みニューラルネットワークと、
前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定し、決定された結果を出力する出力手段と、を含む、ニューラルネットワーク。
（付記１７）
前記畳み込みニューラルネットワークは、
複数の畳み込み層とプーリング層の重ね合わせ構造を有し、前記テキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得する畳み込みプーリング部と、
前記一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第１正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第１逆向き結果として出力する分類部と、を含む、付記１６に記載のニューラルネットワーク。
（付記１８）
前記拡張畳み込みニューラルネットワークは、
前記テキスト行を１８０度回転する回転層と、
複数の畳み込み層とプーリング層の重ね合わせ構造を有し、回転後の前記テキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得する畳み込みプーリング部と、
前記一次元配列における各要素の順序を反転する順序反転層と、
順序反転後の一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第２正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第２逆向き結果として出力する分類部と、を含む、付記１７に記載のニューラルネットワーク。
（付記１９）
前記拡張畳み込みニューラルネットワークは、前記畳み込みニューラルネットワークに前記回転層及び前記順序反転層を挿入することによって得られる、付記１８に記載のニューラルネットワーク。
（付記２０）
前記出力手段は、
前記第１正向き結果と前記第２逆向き結果との和を正向き信頼度とする第１加算ユニットと、
前記第１逆向き結果と前記第２正向き結果との和を逆向き信頼度とする第２加算ユニットと、
前記正向き信頼度及び前記逆向き信頼度に基づいて前記文書の向きを決定する決定ユニットと、を含む、付記１９に記載のニューラルネットワーク。

Claims

文書の向きの認識方法であって、
文書におけるテキスト行を抽出するステップと、
前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出するステップと、
１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出するステップと、
前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定するステップと、を含む、方法。
畳み込みニューラルネットワークを用いて、前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出する、請求項１に記載の方法。
前記畳み込みニューラルネットワークは、複数の畳み込み層とプーリング層の重ね合わせ構造を有する畳み込みプーリング部、及び分類部を含み、
前記テキスト行が正向きであるかを示す第１正向き結果及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出するステップは、
前記畳み込みニューラルネットワークの畳み込みプーリング部により前記テキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得するステップと、
前記畳み込みニューラルネットワークの分類部により前記一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第１正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第１逆向き結果として出力するステップと、を含む、請求項２に記載の方法。
回転層、複数の畳み込み層とプーリング層の重ね合わせ構造を有する畳み込みプーリング部、順序反転層及び分類部を含む拡張畳み込みニューラルネットワークを用いて、１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出し、
当該ステップは、
前記回転層により前記テキスト行を１８０度回転するステップと、
前記拡張畳み込みニューラルネットワークの畳み込みプーリング部により回転後のテキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得するステップと、
前記順序反転層により前記一次元配列における各要素の順序を反転するステップと、
前記拡張畳み込みニューラルネットワークの分類部により順序反転後の前記一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第２正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第２逆向き結果として出力するステップと、を含む、請求項３に記載の方法。
前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定するステップは、
前記第１正向き結果と前記第２逆向き結果との和を正向き信頼度とするステップと、
前記第１逆向き結果と前記第２正向き結果との和を逆向き信頼度とするステップと、
前記正向き信頼度及び前記逆向き信頼度に基づいて前記文書の向きを決定するステップと、を含む、請求項４に記載の方法。
前記拡張畳み込みニューラルネットワークは、前記畳み込みニューラルネットワークに前記回転層及び前記順序反転層を挿入することによって得られる、請求項４又は５に記載の方法。
前記畳み込みニューラルネットワークのみを訓練する、請求項６に記載の方法。
文書の向きの認識装置であって、
文書におけるテキスト行を抽出する抽出手段と、
前記抽出手段に接続され、前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出する第１算出手段と、
前記抽出手段に接続され、１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出する第２算出手段と、
前記第１算出手段及び前記第２算出手段に接続され、前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定する決定手段と、を含む、装置。
文書の向きを認識するニューラルネットワークであって、
文書からテキスト行を抽出して、畳み込みニューラルネットワーク及び拡張畳み込みニューラルネットワークに入力する入力手段と、
前記テキスト行が正向きであるかを示す第１正向き結果、及び前記テキスト行が逆向きであるかを示す第１逆向き結果を算出する畳み込みニューラルネットワークと、
１８０度回転された前記テキスト行が正向きであるかを示す第２正向き結果、及び１８０度回転された前記テキスト行が逆向きであるかを示す第２逆向き結果を算出する拡張畳み込みニューラルネットワークと、
前記第１正向き結果及び前記第１逆向き結果、並びに前記第２正向き結果及び前記第２逆向き結果に基づいて、文書の向きを決定し、決定された結果を出力する出力手段と、を含む、ニューラルネットワーク。
前記拡張畳み込みニューラルネットワークは、
前記テキスト行を１８０度回転する回転層と、
複数の畳み込み層とプーリング層の重ね合わせ構造を有し、回転後の前記テキスト行に対して畳み込み処理及びプーリング処理を行い、一次元配列を取得する畳み込みプーリング部と、
前記一次元配列における各要素の順序を反転する順序反転層と、
順序反転後の一次元配列に対して分類処理を行い、テキスト行が正向きであるかを示す確率を第２正向き結果として出力し、テキスト行が逆向きであるかを示す確率を第２逆向き結果として出力する分類部と、を含む、請求項９に記載のニューラルネットワーク。