JP2010176237A - 文字コード自動判別システム、文字コード自動判別方法及び文字コード自動判別プログラム - Google Patents

Abstract

【課題】文字列データの記述に用いた文字コードの種類を自動的に判別するにあたり、文字コードを自動的に判別できない状況の発生を防止して、ユーザの負担を軽減するとともに、文字コードの判別精度を向上させて、文字コードの誤判別に伴う文字列データの誤変換を防止する。
【解決手段】文字コード自動判別システム３１０は、所定の文字コードで記述された文字列データをバイナリ値で取得するとともに、取得したバイナリ値を、複数種類の文字コードを用いて文字列に変換し、各文字コードで変換した文字列を統計的に解析した後、統計的な解析の結果にもとづいて、各文字コードに統計的評価値を付与し、各文字コードに付与した統計的評価値にもとづいて、文字列データの記述に用いた文字コードの種類を判別する。
【選択図】図２

Description

本発明は、文字列データの記述に用いた文字コードの種類を自動的に判別する文字コード自動判別システム、文字コード自動判別方法及び文字コード自動判別プログラムに関する。

通常、電子化された文字列データ（テキストデータ）は、所定の文字コードを用いて記述されている。文字コードとは、コンピュータ上で文字を利用するために各文字に割り当てられるバイト表現（日本語の場合は、通常、２バイトの符号表現）であり、日本語に対応した文字コードとしては、ＪＩＳ（ＩＳＯ−２０２２−ＪＰに基づくもの）、シフトＪＩＳ（ＭＳ漢字コード）、ＥＵＣ−ＪＰ（ＡＴ＆Ｔコード）などがあり、また、ＵＮＩＣＯＤＥを利用するＵＴＦ−８やＵＴＦ−１６も知られている。

不特定多数の文字列データを扱うコンピュータ（アプリケーション）では、複数種類の文字コードで記述された文字列データの入力が想定されるので、文字列データの記述に用いた文字コードの種類を自動的に判別するとともに、判別した文字コードを用いて、文字列データを文字列に変換することが求められる。例えば、インターネットを介して、不特定多数の文字列データを扱うブラウザは、複数種類の文字コードに対応するために、文字コードの自動判別機能を有している。

文字コードの自動判別方法としては、文字列データのバイナリ値と、複数種類の文字コードとの一致度を機械的に解析する機械的解析手法が知られている。例えば、特許文献１には、各種の文字コードが有する固有のマッピング（使用バイト数及びバイト表現範囲：特許文献１の段落［００１７］参照）に着目し、判別対象であるバイナリ値のマッピングを解析することで、文字列データの記述に用いた文字コードを自動的に判別する方法が示されている。

特開２００７−０４８２８４号公報 特開２００４−２５８７５９号公報

しかしながら、上記のような機械的解析手法を用いた文字コード自動判別方法では、文字コードを自動的に判別できない場合がある。その理由は、各種文字コードの共通マッピング領域で記述された文字列データの場合、機械的な解析結果が同等な評価となり、いずれか一つの文字コードを選択できないからである。
そして、文字コードを自動的に判別できない場合は、適用する文字コードをユーザが手動で切り換えるとともに、変換後の文字列を目視で確認する必要があるので、ユーザの負担が増大するという問題がある。

なお、特許文献２には、所定の文字コードを用いて記述された文字列データのバイナリ値を、所定の文字コードを用いて文字列に変換するとともに、変換した文字列を統計的に解析（形態素解析）することが記載されているが、ここに示される統計的解析手法は、文字列データの言語（ヨーロッパ系言語やアジア系言語）を判別するために行われており、文字列データの記述に用いた文字コードの種類を判別することについては何らの示唆もない。

本発明は、上記の事情にかんがみなされたものであり、文字列データの記述に用いた文字コードの種類を自動的に判別するにあたり、文字コードを自動的に判別できない状況の発生を防止して、ユーザの負担を軽減するとともに、文字コードの判別精度を向上させて、文字コードの誤判別に伴う文字列データの誤変換を防止することができる文字コード自動判別システム、文字コード自動判別方法及び文字コード自動判別プログラムの提供を目的とする。

上記目的を達成するため本発明の文字コード自動判別システムは、所定の文字コードで記述された文字列データをバイナリ値で取得するバイナリ値取得手段と、複数種類の文字コードを用いて、前記バイナリ値を文字列に変換する文字列変換手段と、各文字コードで変換した前記文字列を統計的に解析する統計的解析手段と、統計的な解析の結果にもとづいて、各文字コードに統計的評価値を付与する統計的解析結果評価手段と、各文字コードに付与した統計的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別する文字コード判別手段と、を備える構成としてある。

また、上記目的を達成するため本発明の文字コード自動判別方法は、所定の文字コードで記述された文字列データをバイナリ値で取得し、複数種類の文字コードを用いて、前記バイナリ値を文字列に変換し、各文字コードで変換した前記文字列を統計的に解析し、統計的な解析の結果にもとづいて、各文字コードに統計的評価値を付与し、各文字コードに付与した統計的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別する方法としてある。

また、上記目的を達成するため本発明の文字コード自動判別プログラムは、コンピュータに、所定の文字コードで記述された文字列データをバイナリ値で取得させ、複数種類の文字コードを用いて、前記バイナリ値を文字列に変換させ、各文字コードで変換した前記文字列を統計的に解析させ、統計的な解析の結果にもとづいて、各文字コードに統計的評価値を付与させ、各文字コードに付与した統計的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別させる構成としてある。

本発明によれば、文字列データの記述に用いた文字コードの種類を自動的に判別するにあたり、文字コードを自動的に判別できない状況の発生を防止して、ユーザの負担を軽減するとともに、文字コードの判別精度を向上させて、文字コードの誤判別に伴う文字列データの誤変換を防止することができる。

本発明の第一実施形態に係る文字コード自動判別システムの構成を示すブロック図である。 本発明の第一実施形態に係る文字コード自動判別の処理手順を示すフローチャートである。 本発明の第一実施形態に係る機械的解析処理の処理手順を示すフローチャートである。 本発明の第一実施形態に係る統計的解析処理の処理手順を示すフローチャートである。 本発明の第一実施形態に係る解析結果評価処理の処理手順を示すフローチャートである。 本発明の第一実施形態に係る解析結果評価処理の評価結果を示す説明図である。 本発明の第二実施形態に係る文字コード自動判別の処理手順を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。
［第一実施形態］
まず、本発明の第一実施形態に係る文字コード自動判別システム（文字コード自動判別方法及び文字コード自動判別プログラムを含む）について、図１〜図６を参照して説明する。
図１は、本発明の第一実施形態に係る文字コード自動判別システムの構成を示すブロック図である。

この図に示すように、本発明の第一実施形態に係る文字コード自動判別システム３１０は、入力データ２１０に対して処理を行うことで、出力データ２２０を出力する。
入力データ２１０は、所定の文字コードで記述された文字列データのバイナリ値であり、これを入力した文字コード自動判別システム３１０は、文字列データの記述に用いた文字コードを自動的に判別するとともに、判別した文字コードを用いて前記バイナリ値を文字列に変換し、これを出力データ２２として出力する。

本実施形態の文字コード自動判別システム３１０は、処理部１００と、機械的解析部３３０と、統計的解析部３４０とを備えて構成されている。
機械的解析部３３０は、文字列データのバイナリ値と、複数種類の文字コードとの一致度を機械的に解析する。例えば、各種の文字コードが有する固有のマッピング（使用バイト数及びバイト表現範囲）に着目し、判別対象であるバイナリ値のマッピングを解析することで、文字列データの記述に用いた文字コードを自動的に判別することが可能になる。

統計的解析部３４０は、文字列データのバイナリ値を解析するのではなく、複数種類の文字コードを用いて変換された文字列を対象として統計的な解析を行う。
例えば、各文字コードで変換された文字列を、形態素解析により評価することで、文字列データの記述に用いた文字コードを自動的に判別することが可能になる。なお、形態素解析は、文字列を形態素に分解し、各形態素の品詞や辞書登録の有無を識別する公知の解析手法であり、漢字変換プログラムなどで広く用いられている。

処理部１００は、制御部１１０と、設定データ取得部１２０と、文字列取得部１３０と、文字列初期処理部１４０と、解析結果評価部１５０と、文字列出力部１６０とを備えて構成されている。

制御部１１０は、設定データ取得部呼び出し手段１１１と、文字列取得部呼び出し手段１１２と、文字列初期処理部呼び出し手段１１３と、機械的解析部呼び出し手段１１４と、統計的解析部呼び出し手段１１５と、解析評価部呼び出し手段１１６と、文字列出力部呼び出し手段１１７と、ロジック制御手段１１８と備えている。

設定データ取得部呼び出し手段１１１は、設定データ取得部１２０の各手段を実施するために、ロジック制御手段１１８に基づいて必要となるデータ渡し及びデータ取得を実施する手段である。
文字列取得部呼び出し手段１１２は、文字列取得部１３０の各手段を実施するために、ロジック制御手段１１８に基づいて必要となるデータ渡し及びデータ取得を実施する手段である。
文字列初期処理部呼び出し手段１１３は、文字列初期処理部１４０の各手段を実施するために、ロジック制御手段１１８に基づいて必要となるデータ渡し及びデータ取得を実施する手段である。
機械的解析部呼び出し手段１１４は、機械的解析部３３０の各手段を実施するために、ロジック制御手段１１８に基づいて必要となるデータ渡し及びデータ取得を実施する手段である。

統計的解析部呼び出し手段１１５は、統計的解析部３４０の各手段を実施するために、ロジック制御手段１１８に基づいて必要となるデータ渡し及びデータ取得を実施する手段である。
解析評価部呼び出し手段１１６は、解析結果評価部１５０の各手段を実施するために、ロジック制御手段１１８に基づいて必要となるデータ渡し及びデータ取得を実施する手段である。
文字列出力部呼び出し手段１１７は、文字列出力部１６０の各手段を実施するために、ロジック制御手段１１８に基づいて必要となるデータ渡し及びデータ取得を実施する手段である。
ロジック制御手段１１８は、本発明の自動判別ロジックを実装し、各機能を呼び出す手段１１１〜１１８を制御する手段である。

設定データ取得部１２０は、設定データ取得手段１２１と、設定データ提供手段１２２とを備えている。
設定データ取得手段１２１は、設定データ２３０から設定データを取得する手段である。
設定データ提供手段１２２は、取得した設定データ２３０の情報を、制御部１１０へ提供する手段である。

文字列取得部１３０は、文字列バイナリ値取得手段１３１と、文字列バイナリ値提供手段１３２と、仮文字コード文字列取得手段１３３と、仮文字コード文字列提供手段１３４とを備えている。
文字列バイナリ値取得手段１３１は、入力データ２１０から文字列データをバイナリ値で取得する手段である。
文字列バイナリ値提供手段１３２は、文字列バイナリ値取得手段１３１で取得した情報を、制御部１１０へ提供する手段である。
仮文字コード文字列取得手段１３３は、入力データ２１０から取得した文字列データのバイナリ値を、文字コードセット３２０が備える各種の文字コードを用いて変換した文字列を取得する手段である。
仮文字コード文字列提供手段１３４は、仮文字コード文字列取得手段１３３で取得した情報を、制御部１１０へ提供する手段である。

文字列初期処理部１４０は、文字列初期処理手段１４１を備えている。
文字列初期処理手段１４１は、制御部１１０から提供される仮文字コード文字列提供手段１３４の情報を、統計的解析部３４０で適性に解析可能な情報に変換する手段であり、例えば、以下の方法で文字列を切り分ける。
１）空白と空白の間にある文字列を一文とする。
２）「。」句読点、「．」ピリオドで切り分けて一文とする。
３）改行の場合、つぎの文字コードが半角アルファベットでない場合は一文の続きとして認識する。

解析結果評価部１５０は、機械的解析結果評価手段１５１と、統計的解析結果評価手段１５２と、全体評価手段１５３とを備えている。
機械的解析結果評価手段１５１は、制御部１１０から提供される機械的解析部３３０の情報と設定データ提供手段１２２の値を組み合わせて評価する手段である。

統計的解析結果評価手段１５２は、制御部１１０から提供される統計的解析部３４０の情報に設定データ提供手段１２２の値を組み合わせて評価する手段であり、例えば、以下の場合に適合するときは、評価値をマイナスする。
１）形態素解析で分割された形態素が未知語である場合
２）その文字コードにおける漢字コードの範囲で一文字のみで構成され、かつ、一般名詞である場合（形態素解析の特性により、不特定の文字列を一般名詞とご認識しやすいため）
３）形態素解析の際に分割しにくく誤字の可能性である場合

全体的解析結果評価手段１５３は、機械的解析結果評価手段１５１と統計的解析結果評価手段１５２の情報を組み合わせて評価する手段であり、例えば、最も評価値の高いものを正しい文字コードと識別する。
また、評価値が同値で１つに定まらない場合は、同値の文字コードの中で、統計的解析結果評価手段１５２で最初に設定した文字コードとする。

文字列出力部１６０は、文字コード文字列出力取得手段１６１と、文字コード文字列出力提供手段１６２とを備えている。
文字コード文字列出力取得手段１６１は、制御部１１０から提供される全体的解析結果評価手段１５３の結果情報を取得する手段である。
文字コード文字列出力提供手段１６２は、制御部１１０から提供される文字コード文字列出力取得手段１６１の情報と文字コードセット３２０の対応関係により、文字列データのバイナリ値を正しい文字コードで変換して出力データ２２０として出力する手段である。

つぎに、本発明の第一実施形態に係る文字コード自動判別の処理手順について、図２〜図６を参照して説明する。
図２は、本発明の第一実施形態に係る文字コード自動判別の処理手順を示すフローチャートである。

この図に示すように、文字列自動判別システム３１０が起動されると、制御部１１０のロジック手段１１８が呼び出され、文字コード自動判別処理が開始される。
文字コード自動判別処理が開始されると、まず、初期処理として設定データ取得部１２０の設定データ取得手段１２１から設定データ２３０を取得する（Ｓ１１）。

つぎに、機械的解析部３３０で機械的解析処理を実施するとともに（Ｓ１２：図３参照）、統計的解析部３４０で統計的解析処理（Ｓ１３：図４参照）を実施する。
つぎに、全体的解析結果評価手段１５３で機械的手法と統計的手法による評価を行い、最も良い評価値の文字コードを設定する（Ｓ１４：図５参照）。
つぎに、設定された文字コードを用いて、文字列出力部１６０で文字列データの変換を行う（Ｓ１５）。
そして、変換された文字列を出力する（Ｓ１６）。

図３は、本発明の第一実施形態に係る機械的解析処理の処理手順を示すフローチャートである。
この図に示すように、機械的解析処理では、初期処理で設定が終了後、文字列取得部１３０の文字列バイナリ値取得手段１３１によりバイナリ値で文字列データを取得する（Ｓ２１：バイナリ値取得手段）。
つぎに、機械的解析部３３０において、文字列取得部１３０で設定したバイナリ値を機械的に解析する（Ｓ２２：機械的解析手段）。
つぎに、機械的解析部３３０の解析結果を取得し、解析評価部１５０の機械的解析結果評価手段１５１により評価を行う（Ｓ２３：機械的解析結果評価手段）。
そして、機械的評価値は、統計的解析結果と組み合せた解析結果評価を行うために解析結果評価ルーチンに渡す。

図４は、本発明の第一実施形態に係る統計的解析処理の処理手順を示すフローチャートである。
この図に示すように、統計的解析処理では、初期処理で設定が終了後、文字列取得部１３０の仮文字コード文字列取得手段１３３から、各種の文字コードで変換した文字列を取得する（Ｓ３１：文字列変換手段）。
つぎに、文字列初期処理部１４０の文字列初期処理手段１４１により、文字列の処理を行い、形態素解析可能な一文として制御部１１０へ渡す（Ｓ３２）。

つぎに、統計的解析部３４０において形態素解析を行い、文字列を形態素に分解するとともに、各形態素の識別を行う（Ｓ３３：統計的解析手段）。
次いで、解析評価部１５０の統計的解析結果評価手段１５２により、初期値の重さを加えて評価を行う（Ｓ３４：統計的解析結果評価手段）。
つぎに、全ての文字コードについて解析が終了したか否かを判断する（Ｓ３５）。
そして、この判断結果がＮＯである場合は、つぎの文字コードについて形態素解析を実行し、判断結果がＹＥＳである場合は、機械的解析結果と組み合せた解析結果評価を行うために、統計的評価値を解析結果評価ルーチンへ渡す。

図５は、本発明の第一実施形態に係る解析結果評価処理の処理手順を示すフローチャート、図６は、本発明の第一実施形態に係る解析結果評価処理の評価結果を示す説明図である。
図５に示すように、解析結果評価処理では、統計的解析結果の評価値と機械的解析結果の評価値を取得し、各文字コードの評価値を組み合わせる（Ｓ４１）。
つぎに、合計評価値が最も大きい文字コードを取得する（Ｓ４２：文字コード判別手段）。
その際、最も大きい合計評価値が複数の場合、統計的評価の点数付与の順で最初に設定する文字コードを正しい文字コードとする（Ｓ４３）。
例えば、図６に示す評価結果の場合は、シフトＪＩＳが選択される。

以上説明したように、本実施形態の文字コード自動判別システム３１０によれば、所定の文字コードで記述された文字列データをバイナリ値で取得するとともに、取得したバイナリ値を、複数種類の文字コードを用いて文字列に変換し、各文字コードで変換した文字列を統計的に解析した後、統計的な解析の結果にもとづいて、各文字コードに統計的評価値を付与し、各文字コードに付与した統計的評価値にもとづいて、文字列データの記述に用いた文字コードの種類を判別するので、文字列データの記述に用いた文字コードの種類を自動的に判別するにあたり、文字コードを自動的に判別できない状況の発生を防止して、ユーザの負担を軽減するとともに、文字コードの判別精度を向上させて、文字コードの誤判別に伴う文字列データの誤変換を防止することができる。
その理由は、機械的な解析結果が同等な評価となる文字列データ（例えば、各種文字コードの共通マッピング領域で記述された文字列データ）であっても、複数種類の文字コードを用いて文字列に変換し、これらを統計的に解析することにより、文字列データの記述に用いた文字コードの種類を正確に判断することができるからである。

また、本実施形態の文字コード自動判別システム３１０は、複数種類の文字コードと前記バイナリ値との一致度を機械的に解析するとともに、機械的な解析の結果にもとづいて、各文字コードに機械的評価値を付与し、各文字コードに付与した統計的評価値及び機械的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別するので、統計的評価値のみで文字コードを判別する場合に比べ、文字コードの識別精度を更に向上させることができる。

また、本実施形態の文字コード自動判別システム３１０は、各文字コードに付与した統計的評価値と機械的評価値との合計値を求め、合計値の最も大きい文字コードが、前記文字列データの記述に用いた文字コードであると判断するので、簡単な数値処理で文字コードを選択することができる。

また、前記合計値の最も大きい文字コードが複数の場合は、これら複数の文字コードのうち、統計的評価値の最も大きい文字コードが、前記文字列データの記述に用いた文字コードであると判断するので、前記合計値の最も大きい文字コードが複数の場合であっても、一つの文字コードを選択することができる。
さらに、前記統計的な解析には、周知の形態素解析ロジックを使用することができるので、統計的解析ロジックを新規に開発することなく、本発明の実施が可能となる。

［第二実施形態］
つぎに、本発明の第二実施形態に係る文字コード自動判別システム（文字コード自動判別方法及び文字コード自動判別プログラムを含む）について、図７を参照して説明する。
なお、上述した第一実施形態と共通する部分については、第一実施形態と同一の符号を付与することにより、第一実施形態の説明を援用する。

図７は、本発明の第二実施形態に係る文字コード自動判別の処理手順を示すフローチャートである。
この図に示すように、本発明の第二実施形態に係る文字コード自動判別システムは、機械的解析処理を行わない点が前記実施形態と相違している。

このような構成からなる第二実施形態の文字コード自動判別システムによれば、第一実施形態と同様に、各文字コードで変換した文字列を統計的に解析した後、統計的な解析の結果にもとづいて、各文字コードに統計的評価値を付与し、各文字コードに付与した統計的評価値にもとづいて、文字列データの記述に用いた文字コードの種類を判別することができるので、文字列データの記述に用いた文字コードの種類を自動的に判別するにあたり、文字コードを自動的に判別できない状況の発生を防止して、ユーザの負担を軽減するとともに、文字コードの判別精度を向上させて、文字コードの誤判別に伴う文字列データの誤変換を防止することができる。

以上、本発明の文字コード自動判別システムについて、実施形態を示して説明したが、本発明に係る文字コード自動判別システムは、上述した実施形態にのみ限定されるものではなく、特許請求の範囲内で種々の変更が可能であることは言うまでもない。
また、本発明は、文字コード自動判別システムとしてだけでなく、文字コード自動判別方法や文字コード自動判別プログラムとしても実施することができる。

本発明は、文字列データの記述に用いた文字コードの種類を自動的に判別する文字コード自動判別システム、文字コード自動判別方法及び文字コード自動判別プログラムに適用することができ、特に、不特定多数の文字列データを扱うコンピュータやアプリケーションにおいて有用である。

１００ 処理部
１１０ 制御部
１２０ 設定データ取得部
１３０ 文字列取得部
１４０ 文字列初期処理部
１５０ 解析結果評価部
１６０ 文字列出力部
３１０ 文字コード自動判別システム
３３０ 機械的解析部
３４０ 統計的解析部

Claims (9)

1. 所定の文字コードで記述された文字列データをバイナリ値で取得するバイナリ値取得手段と、
   複数種類の文字コードを用いて、前記バイナリ値を文字列に変換する文字列変換手段と、
   各文字コードで変換した前記文字列を統計的に解析する統計的解析手段と、
   統計的な解析の結果にもとづいて、各文字コードに統計的評価値を付与する統計的解析結果評価手段と、
   各文字コードに付与した統計的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別する文字コード判別手段と、を備える
   ことを特徴とする文字コード自動判別システム。
2. 複数種類の文字コードと前記バイナリ値との一致度を機械的に解析する機械的解析手段と、
   機械的な解析の結果にもとづいて、各文字コードに機械的評価値を付与する機械的解析結果評価手段と、を更に備え、
   前記文字コード判別手段は、
   各文字コードに付与した統計的評価値及び機械的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別する
   ことを特徴とする請求項１記載の文字コード自動判別システム。
3. 前記文字コード判別手段は、
   各文字コードに付与した統計的評価値と機械的評価値との合計値を求め、合計値の最も大きい文字コードが、前記文字列データの記述に用いた文字コードであると判断する
   ことを特徴とする請求項１又は２記載の文字コード自動判別システム。
4. 前記文字コード判別手段は、
   前記合計値の最も大きい文字コードが複数の場合、これら複数の文字コードのうち、統計的評価値の最も大きい文字コードが、前記文字列データの記述に用いた文字コードであると判断する
   ことを特徴とする請求項１〜３のいずれかに記載の文字コード自動判別システム。
5. 前記統計的な解析には、
   文字列の形態素解析が含まれる
   ことを特徴とする請求項１〜４のいずれかに記載の文字コード自動判別システム。
6. 所定の文字コードで記述された文字列データをバイナリ値で取得し、
   複数種類の文字コードを用いて、前記バイナリ値を文字列に変換し、
   各文字コードで変換した前記文字列を統計的に解析し、
   統計的な解析の結果にもとづいて、各文字コードに統計的評価値を付与し、
   各文字コードに付与した統計的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別する
   ことを特徴とする文字コード自動判別方法。
7. 複数種類の文字コードと前記バイナリ値との一致度を機械的に解析し、
   機械的な解析の結果にもとづいて、各文字コードに機械的評価値を付与し、
   各文字コードに付与した統計的評価値及び機械的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別する
   ことを特徴とする請求項６記載の文字コード自動判別方法。
8. コンピュータに、
   所定の文字コードで記述された文字列データをバイナリ値で取得させ、
   複数種類の文字コードを用いて、前記バイナリ値を文字列に変換させ、
   各文字コードで変換した前記文字列を統計的に解析させ、
   統計的な解析の結果にもとづいて、各文字コードに統計的評価値を付与させ、
   各文字コードに付与した統計的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別させる
   ための文字コード自動判別プログラム。
9. 前記コンピュータに、
   複数種類の文字コードと前記バイナリ値との一致度を機械的に解析させ、
   機械的な解析の結果にもとづいて、各文字コードに機械的評価値を付与させ、
   各文字コードに付与した統計的評価値及び機械的評価値にもとづいて、前記文字列データの記述に用いた文字コードの種類を判別させる
   ための請求項８記載の文字コード自動判別プログラム。

Images