JP2008033606A - 画像処理システム、動画像編集処理システム、画像処理装置、動画像編集処理装置、画像処理プログラムおよび動画像編集処理プログラム - Google Patents

Abstract

【課題】複数画像中にある文字から文字列を生成することができないことを課題とし、複数画像中にある文字から文字列を生成することができるようにした画像処理システムを提供する。
【解決手段】画像処理システムの画像入力手段は、時系列に連動した画像を入力し、第１の文字抽出手段は前記画像入力手段によって入力された第１の画像から文字を抽出し、第２の文字抽出手段は前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出し、差分検出手段は前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出し、分割手段は前記差分検出手段によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割し、合成手段は前記分割手段によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に合成する。
【選択図】図１

Description

本発明は、画像処理システム、動画像編集処理システム、画像処理装置、動画像編集処理装置、画像処理プログラムおよび動画像編集処理プログラムに関する。

近年、ＤＶＤ、ハードディスク等の記憶媒体に動画像を格納しておき、コンピュータを用いて、それらから動画像を再生できるようにした動画像再生装置が開発されている。そして、操作者が容易にその動画像から見たい画像を探し出すための動画像の検索に関する技術が開発されている。
ここで、動画像中に現れる字幕、テロップ等を自動的に検出し、字幕等の文字をインデックスとして用いることが行われている。

これらに関連する技術として、例えば、特許文献１には、画像の中から字幕が現れている領域を検出する字幕領域検出方法および字幕領域検出装置において，字幕領域の誤検出を削減する高精度な字幕領域検出方法を提供することを目的とし、画像の一部または全体を複数個のブロックに分割し、ブロックの間の差異を計算し、差異を用いて字幕領域を判定し、これにより、繰り返しパターンから構成される矩形領域が字幕領域と判定されるケースが減少し、字幕領域の誤検出を削減することができることが開示されている。
特開２０００−１８２０２８号公報

本発明は、このような背景技術の状況の中でなされたもので、複数画像中にある文字から文字列を生成することができないことを課題とし、複数画像中にある文字から文字列を生成することができるようにした画像処理システム、動画像編集処理システム、画像処理装置、動画像編集処理装置、画像処理プログラムおよび動画像編集処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力された第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字に応じて、前記第２の画像に合成する合成手段
を具備することを特徴とする画像処理システム。

［２］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割手段と、
前記分割手段によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に合成する合成手段
を具備することを特徴とする画像処理システム。

［３］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記画像入力手段によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第３の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記第２の文字抽出手段によって文字が抽出できず、前記差分検出手段によって差分が検出されなかった場合は、前記第１の文字抽出手段または前記第３の文字抽出手段によって抽出された文字を前記第２の画像に合成する合成手段
を具備することを特徴とする画像処理システム。

［４］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記画像入力手段によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第３の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記第２の文字抽出手段によって文字が抽出できず、前記差分検出手段によって差分が検出された場合は、該差分を、前記第１の画像と前記第３の画像との間にある画像の数にあわせて分割する分割手段と、
前記分割手段によって分割された文字の差分を、前記第１の画像と前記第３の画像との間にある画像に合成する合成手段
を具備することを特徴とする画像処理システム。

［５］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字に応じて、文字列を合成する合成手段
を具備することを特徴とする画像処理システム。

［６］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、前記第２の文字抽出手段によって抽出された文字を接続することによって、文字列を合成する合成手段
を具備することを特徴とする画像処理システム。

［７］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、該検出された差分の文字を付加することによって、文字列を合成する合成手段
を具備することを特徴とする画像処理システム。

［８］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、前記第２の文字抽出手段によって抽出された文字のうち最後の１文字を付加することによって、文字列を合成する合成手段
を具備することを特徴とする画像処理システム。

［９］ 動画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割手段と、
前記分割手段によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に索引として関連付ける索引付与手段
を具備することを特徴とする動画像編集処理システム。

［１０］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力された第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字に応じて、前記第２の画像に合成する合成手段
を具備することを特徴とする画像処理装置。

［１１］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割手段と、
前記分割手段によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に合成する合成手段
を具備することを特徴とする画像処理装置。

［１２］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記画像入力手段によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第３の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記第２の文字抽出手段によって文字が抽出できず、前記差分検出手段によって差分が検出されなかった場合は、前記第１の文字抽出手段または前記第３の文字抽出手段によって抽出された文字を前記第２の画像に合成する合成手段
を具備することを特徴とする画像処理装置。

［１３］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記画像入力手段によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第３の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記第２の文字抽出手段によって文字が抽出できず、前記差分検出手段によって差分が検出された場合は、該差分を、前記第１の画像と前記第３の画像との間にある画像の数にあわせて分割する分割手段と、
前記分割手段によって分割された文字の差分を、前記第１の画像と前記第３の画像との間にある画像に合成する合成手段
を具備することを特徴とする画像処理装置。

［１４］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字に応じて、文字列を合成する合成手段
を具備することを特徴とする画像処理装置。

［１５］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、前記第２の文字抽出手段によって抽出された文字を接続することによって、文字列を合成する合成手段
を具備することを特徴とする画像処理装置。

［１６］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、該検出された差分の文字を付加することによって、文字列を合成する合成手段
を具備することを特徴とする画像処理装置。

［１７］ 時系列に連動した画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、前記第２の文字抽出手段によって抽出された文字のうち最後の１文字を付加することによって、文字列を合成する合成手段
を具備することを特徴とする画像処理装置。

［１８］ 動画像を入力する画像入力手段と、
前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
前記差分検出手段によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割手段と、
前記分割手段によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に索引として関連付ける索引付与手段
を具備することを特徴とする動画像編集処理装置。

［１９］ コンピュータに、
時系列に連動した画像を入力する画像入力機能と、
前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
前記画像入力機能によって入力された第２の画像から文字を抽出する第２の文字抽出機能と、
前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字に応じて、前記第２の画像に合成する合成機能
を実現させることを特徴とする画像処理プログラム。

［２０］ コンピュータに、
時系列に連動した画像を入力する画像入力機能と、
前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
前記差分検出機能によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割機能と、
前記分割機能によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に合成する合成機能
を実現させることを特徴とする画像処理プログラム。

［２１］ コンピュータに、
時系列に連動した画像を入力する画像入力機能と、
前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
前記画像入力機能によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出機能と、
前記第１の文字抽出機能によって抽出された文字と前記第３の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
前記第２の文字抽出機能によって文字が抽出できず、前記差分検出機能によって差分が検出されなかった場合は、前記第１の文字抽出機能または前記第３の文字抽出機能によって抽出された文字を前記第２の画像に合成する合成機能
を実現させることを特徴とする画像処理プログラム。

［２２］ コンピュータに、
時系列に連動した画像を入力する画像入力機能と、
前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
前記画像入力機能によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出機能と、
前記第１の文字抽出機能によって抽出された文字と前記第３の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
前記第２の文字抽出機能によって文字が抽出できず、前記差分検出機能によって差分が検出された場合は、該差分を、前記第１の画像と前記第３の画像との間にある画像の数にあわせて分割する分割機能と、
前記分割機能によって分割された文字の差分を、前記第１の画像と前記第３の画像との間にある画像に合成する合成機能
を実現させることを特徴とする画像処理プログラム。

［２３］ コンピュータに、
時系列に連動した画像を入力する画像入力機能と、
前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
前記差分検出機能によって差分が検出された場合、前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字に応じて、文字列を合成する合成機能
を実現させることを特徴とする画像処理プログラム。

［２４］ コンピュータに、
時系列に連動した画像を入力する画像入力機能と、
前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
前記差分検出機能によって差分が検出された場合、前記第１の文字抽出機能によって抽出された文字の後に、前記第２の文字抽出機能によって抽出された文字を接続することによって、文字列を合成する合成機能
を実現させることを特徴とする画像処理プログラム。

［２５］ コンピュータに、
時系列に連動した画像を入力する画像入力機能と、
前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
前記差分検出機能によって差分が検出された場合、前記第１の文字抽出機能によって抽出された文字の後に、該検出された差分の文字を付加することによって、文字列を合成する合成機能
を実現させることを特徴とする画像処理プログラム。

［２６］ コンピュータに、
時系列に連動した画像を入力する画像入力機能と、
前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
前記差分検出機能によって差分が検出された場合、前記第１の文字抽出機能によって抽出された文字の後に、前記第２の文字抽出機能によって抽出された文字のうち最後の１文字を付加することによって、文字列を合成する合成機能
を実現させることを特徴とする画像処理プログラム。

［２７］ コンピュータに、
動画像を入力する画像入力機能と、
前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
前記差分検出機能によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割機能と、
前記分割機能によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に索引として関連付ける索引付与機能
を実現させることを特徴とする動画像編集処理プログラム。

請求項１にかかる画像処理システムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を生成して、その文字列を画像に合成することができるようになる。

請求項２にかかる画像処理システムによれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像に前後の画像から生成した文字を合成することができるようになる。

請求項３にかかる画像処理システムによれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像よりも前または後の画像から生成した文字を合成することができるようになる。

請求項４にかかる画像処理システムによれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像に前後の画像から生成した文字を合成することができるようになる。

請求項５にかかる画像処理システムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項６にかかる画像処理システムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項７にかかる画像処理システムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項８にかかる画像処理システムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項９にかかる動画像編集処理システムによれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像に対して索引を付与することができるようになる。

請求項１０にかかる画像処理装置によれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を生成して、その文字列を画像に合成することができるようになる。

請求項１１にかかる画像処理装置によれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像に前後の画像から生成した文字を合成することができるようになる。

請求項１２にかかる画像処理装置によれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像よりも前または後の画像から生成した文字を合成することができるようになる。

請求項１３にかかる画像処理装置によれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像に前後の画像から生成した文字を合成することができるようになる。

請求項１４にかかる画像処理装置によれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項１５にかかる画像処理装置によれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項１６にかかる画像処理装置によれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項１７にかかる画像処理装置によれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項１８にかかる動画像編集処理装置によれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像に対して索引を付与することができるようになる。

請求項１９にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を生成して、その文字列を画像に合成することができるようになる。

請求項２０にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像に前後の画像から生成した文字を合成することができるようになる。

請求項２１にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像よりも前または後の画像から生成した文字を合成することができるようになる。

請求項２２にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像に前後の画像から生成した文字を合成することができるようになる。

請求項２３にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項２４にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項２５にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項２６にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、複数画像中にある文字から文字列を合成することができるようになる。

請求項２７にかかる動画像編集処理プログラムによれば、本構成を有していない場合に比較して、複数画像中に文字を抽出できない画像があっても、その画像に対して索引を付与することができるようになる。

以下、図面に基づき本発明の好適な実施の形態を説明する。
各図は本発明の一実施の形態を示している。図１は、一実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、装置、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータによって実現される場合も含まれる。

本実施の形態は、複数画像入力モジュール１１０、文字抽出モジュール１２０、差分検出モジュール１３０、分割モジュール１４０、合成モジュール１５０を有している。
複数画像入力モジュール１１０は、複数の画像を入力する。ここでの複数の画像は、時系列的に連続した画像であり、具体的には動画像である。ただし、パノラマのように時系列的に連続して撮影した複数の静止画であってもよい。動画像の場合、１つ１つの画像はその動画像のフレーム画像が該当する。ここで時系列的に連続した画像は、複数の画像であって、それらの画像間には時間的に前後関係があり、少なくともその画像内にある文字が意味的に連続しているものである。例えば、動画像の場合、その間隔は一定時間間隔であってもよいし、画像内容の変化が激しいフレーム画像（例えば、動画像圧縮されていれば、圧縮された画像容量が大きいものを検出する）を対象として選択するようにしてもよい。また、フレーム画像とは、ここでは、動画像においては表示の際の１画面分の画像をいい、静止画においては複数の画像のうちの１つの画像として用いる。
また、ここで入力する画像内には、字幕、テロップ等の文字があるとする。また、文字は、字幕に限られず画像内に撮影された文字であってもよい。そして、その文字は、必ずしも良好な状態で読めるものであるとは限らない。例えば、文字の色と背景の色が同じであり、その文字が読めない場合もある。

文字抽出モジュール１２０は、複数画像入力モジュール１１０によって入力された画像から文字を抽出する。ここで、文字抽出の技術は、テキスト／イメージ分離技術、ＭＲＣ（Ｍｉｘｅｄ Ｒａｓｔｅｒ Ｃｏｎｔｅｎｔ）の技術等を用いることができる。複数画像入力モジュール１１０が入力する画像が、動画像の場合、文字抽出モジュール１２０が対象とする画像はフレーム画像であり、その全てのフレーム画像毎に文字を抽出してもよい。また、動画像である場合は、フレーム間でほとんど変化がない場合もあるので、ある間隔毎に対象とするフレーム画像を選択するようにしてもよい。
なお、文字抽出モジュール１２０が対象とする時系列的に前の画像をＡ画像、Ａ画像よりも時系列的に後の画像をＢ画像とも言う。Ａ画像とＢ画像の関係は、時系列的に前後であればよく、隣接している必要はなく、Ａ画像とＢ画像の間に複数の画像があってもよい。
ここで、文字を抽出するとは、文字を画像として抽出する場合のほかに、その抽出した文字の画像を文字認識し、テキストデータとすることであってもよい。
また、文字抽出モジュール１２０は、文字を抽出できない場合もある。前述したように、例えば、文字の色と背景の色が同じであり、その文字が読めない場合である。

差分検出モジュール１３０は、文字抽出モジュール１２０によってＡ画像から抽出された文字とＢ画像から抽出された文字との差分を検出する。
文字抽出モジュール１２０によって文字が画像として抽出された場合は、画像として比較（パターンマッチング）を行い、差分を画像として検出する。
また、文字抽出モジュール１２０によって抽出された文字が文字認識後のテキストデータである場合は、テキストデータとしての差分を検出する。

分割モジュール１４０は、差分検出モジュール１３０によって検出された差分を、文字抽出モジュール１２０の対象画像であるＡ画像とＢ画像との間にある画像の数にあわせて分割する。ここで、Ａ画像とＢ画像の間に画像がある場合として、前述したようにある間隔毎に対象とするフレーム画像が選択された場合の他に、文字抽出モジュール１２０によって文字が抽出できなかった場合がある。ここで、Ａ画像とＢ画像との間にある画像の数にあわせて分割するとは、差分はＢ画像を含めたものであるので、Ａ画像とＢ画像との間にある画像の数に１を加えた数で分割することをいう。
分割モジュール１４０は、場合によっては動作しない場合がある。つまり、差分検出モジュール１３０によって差分が検出できなかった場合（Ａ画像とＢ画像の文字が同じ場合）は、分割する必要がないからである。
その他の場合、つまり、Ａ画像とＢ画像との間にある画像では文字抽出モジュール１２０によって文字が抽出できず、差分検出モジュール１３０によって差分が検出された場合は、該差分を、Ａ画像とＢ画像との間にある画像の数にあわせて分割する。

合成モジュール１５０は、分割モジュール１４０によって分割された文字の差分を、Ａ画像とＢ画像との間にある画像に合成する。
また、Ａ画像とＢ画像との間にある画像では文字抽出モジュール１２０によって文字が抽出できず、さらに、差分検出モジュール１３０によってＡ画像とＢ画像内の文字の差分が検出されなかった場合は、Ａ画像から抽出された文字またはＢ画像から抽出された文字を、Ａ画像とＢ画像との間にある画像（文字が抽出できなかった画像）に合成する。
また、差分検出モジュール１３０によって差分が検出された場合、Ａ画像から文字抽出モジュール１２０によって抽出された文字とＢ画像から文字抽出モジュール１２０によって抽出された文字に基づいて、文字列を生成し、該文字列をＢ画像に合成する。
また、合成モジュール１５０は、文字列を画像に合成することの他、Ａ画像から抽出された文字またはＢ画像から抽出された文字に応じて、文字列を合成することも行う。

次に作用・働き（動作）を説明する。
図２を用いて、本実施の形態による文字抽出処理を説明する。
ステップＳ２０１では、複数画像入力モジュール１１０が動画像を入力する。フレーム画像を入力する。
ステップＳ２０２では、文字抽出モジュール１２０がそのフレーム画像ごとに文字を抽出する。
ステップＳ２０３では、文字抽出モジュール１２０が文字抽出できたかを判断し、文字抽出できた場合はステップＳ２０４へ進み、文字抽出できなかった場合はステップＳ２０２へ戻る。つまり、文字抽出できるまでステップＳ２０２が繰り返されることになり、フレーム画像内に文字が無い場合、フレーム画像内の文字の色と背景色との関係から文字を抽出できなかった場合等にループする。

ステップＳ２０４では、差分検出モジュール１３０が、現在のフレーム画像の文字抽出結果と、現在のフレーム画像の前に文字抽出できたフレーム画像の文字抽出結果との差分を取る。
ステップＳ２０５では、分割モジュール１４０が、ステップＳ２０４での差分を、現在のフレーム画像と、現在のフレーム画像の前に文字抽出できたフレーム画像との間のフレーム画像の枚数で分割する。
ステップＳ２０６では、合成モジュール１５０が、あるべきはずの文字がなかったフレーム画像に対して、差分を分割した文字領域と、その一つ前のフレーム画像の文字抽出結果を用いて、文字列を再合成する。あるべきはずの文字がなかったフレーム画像とは、ステップＳ２０３にてＮｏとなったフレーム画像である。
そして、複数画像入力モジュール１１０により入力された動画像内の全てのフレーム画像に対して、上記処理が終了するまで繰り返す。つまり、最終フレーム画像になるまで、ステップＳ２０２に戻り、ステップＳ２０２からステップＳ２０６までの処理が行われる。

図３から図６、図１１を用いて、本実施の形態による具体的な文字抽出処理の例を説明する。
図３は、文字抽出できたフレーム画像があった後に、複数枚連続して、文字抽出した結果がなく、その後に文字抽出できたフレーム画像があった場合である。
図３（Ａ）は、複数画像入力モジュール１１０によって入力された動画像のフレーム画像（６枚）を時間軸（ｔ１〜ｔ６）にしたがって示したものである。図に示すように、時間軸ｔ１でのフレーム画像は、白色の文字「おはよう」が背景色黒で読める画像である。時間軸ｔ２から時間軸ｔ５までのフレーム画像は、白色の文字「おはよう」があるのであるが、背景色との関係で読めなくなっている。時間軸ｔ６でのフレーム画像は、時間軸ｔ１でのフレーム画像と同様に白色の文字「おはよう」が背景色黒で読める画像である。

図３（Ｂ）は、文字抽出モジュール１２０がその時間軸におけるフレーム画像から文字を抽出処理した結果を示したものである。この場合は、時間軸ｔ１、ｔ６でのフレーム画像から「おはよう」（図３の３０１、３０６）という文字画像を抽出できている。時間軸ｔ２からｔ５でのフレーム画像からは文字画像を抽出できなかった（図３の３０２、３０３、３０４、３０５）。つまり、図２のフローチャートでは、時間軸ｔ２からｔ５でのフレーム画像に対して、ステップＳ２０３でＮｏの処理となる。時間軸ｔ６でのフレーム画像に対して、ステップＳ２０４からステップＳ２０６までの処理が行われる。

差分検出モジュール１３０は、現在のフレーム画像（時間軸ｔ６）の文字抽出結果と、現在のフレーム画像の前に文字抽出できたフレーム画像（時間軸ｔ１）の文字抽出結果との差分を取る。差分の抽出として、例えばパターンマッチングによる方法がある。時間軸ｔ６の文字抽出結果は「おはよう」（図３の３０６）であり、時間軸ｔ１の文字抽出結果は「おはよう」（図３の３０１）である。したがって、この場合は差分がないと判断される。
分割モジュール１４０は、差分を、現在のフレーム画像（時間軸ｔ６）と、現在のフレーム画像の前に文字抽出できたフレーム画像（時間軸ｔ１）との間のフレーム画像の枚数にあわせて分割する。つまり、この場合は５（時間軸ｔ１と時間軸ｔ６との間にあるフレーム数４に１を加えた５）で分割することになる。ただし、差分が検出できなかったので、分割モジュール１４０による分割の処理は行われない。
合成モジュール１５０は、時間軸ｔ２のフレーム画像の文字抽出結果として、時間軸ｔ１の結果と差分を分割した結果を合成する。この場合は、分割した画像はないので時間軸ｔ１の文字抽出結果そのままである。もちろん、時間軸ｔ６の文字抽出結果を用いても同じになる。
時間軸ｔ３から時間軸ｔ５の場合も同様である。この場合は時間軸ｔ１または時間軸ｔ６の文字抽出結果がそのまま時間軸ｔ３から時間軸ｔ５の文字抽出結果となる。つまり、図３（Ｃ）に示すように、抽出した文字の画像として「おはよう」が時間軸ｔ２からｔ５（図３の３１２、３１３、３１４、３１５）のフレーム画像に対応付けられ、それぞれのフレーム画像に合成される。

図４は、文字抽出できたフレーム画像があった後に、複数枚連続して、文字抽出した結果がなく、その後に文字抽出できたフレーム画像があった場合である。図３の例と異なるところは、文字抽出モジュール１２０は文字を画像として抽出するだけではなく、文字認識までをも行って、その結果であるテキストデータを抽出した文字として扱う。また、図３では差分がなかったが、図４では差分がある場合を示す。
図４（Ａ）は、複数画像入力モジュール１１０によって入力された動画像のフレーム画像（６枚）を時間軸（ｔ１〜ｔ６）にしたがって示したものである。図に示すように、時間軸ｔ１でのフレーム画像は、黒色の文字「お」が背景色白で読める画像である。時間軸ｔ２から時間軸ｔ５までのフレーム画像は、黒色の文字「おは」、「おはよ」、「おはよう」、「おはようご」があるのであるが、背景色との関係で読めなくなっている。時間軸ｔ６でのフレーム画像は、黒色の文字「おはようござ」が背景色白で読める画像である。

図４（Ｂ）は、文字抽出モジュール１２０がその時間軸におけるフレーム画像から文字認識した結果を示したものである。この場合は、時間軸ｔ１でのフレーム画像から「お」（図４の４０１）という文字を認識できている。時間軸ｔ２からｔ５でのフレーム画像からは文字認識できなかった（図４の４０２、４０３、４０４、４０５）。つまり、図２のフローチャートでは、時間軸ｔ２からｔ５でのフレーム画像に対して、ステップＳ２０３でＮｏの処理となる。時間軸ｔ６でのフレーム画像から「おはようござ」（図４の４０６）という文字を認識できている。時間軸ｔ６でのフレーム画像に対して、ステップＳ２０４からステップＳ２０６までの処理が行われる。

差分検出モジュール１３０は、現在のフレーム画像（時間軸ｔ６）の文字認識結果と、現在のフレーム画像の前に文字認識できたフレーム画像（時間軸ｔ１）の文字認識結果との差分を取る。差分の抽出として、例えばテキストによる比較を行う。時間軸ｔ６の文字認識結果は「おはようござ」（図４の４０６）であり、時間軸ｔ１の文字認識結果は「お」（図４の４０１）である。したがって、この場合の差分は「はようござ」（図４の４０７）となる。
分割モジュール１４０は、差分を、現在のフレーム画像（時間軸ｔ６）と、現在のフレーム画像の前に文字認識できたフレーム画像（時間軸ｔ１）との間のフレーム画像の枚数にあわせて分割する。つまり、この場合は５（時間軸ｔ１と時間軸ｔ６との間にあるフレーム数４に１を加えた５）で分割する。５等分の結果として、「は」（図４の４０８）、「よ」（図４の４０９）、「う」（図４の４１０）、「ご」（図４の４１１）、「ざ」（図４の４１２）となる。
合成モジュール１５０は、時間軸ｔ２のフレーム画像の文字認識結果として、時間軸ｔ１の結果（「お」図４の４２１）と差分を分割した結果（「は」図４の４０８）を合成する。つまり、図４（Ｃ）のように「おは」（図４の４２２）となる。
時間軸ｔ３から時間軸ｔ５の場合も同様である。つまり、図４（Ｃ）に示すように、時間軸ｔ３では「おはよ」（図４の４２３）、時間軸ｔ４では「おはよう」（図４の４２４）、時間軸ｔ５では「おはようご」（図４の４２５）、時間軸ｔ６では「おはようござ」（図４の４２６）となる。そして、各文字をそれぞれのフレーム画像に合成する。

図５は、文字抽出できたフレーム画像があった後に、複数枚連続して、文字抽出した結果がなく、その後に文字抽出できたフレーム画像があった場合である。図４の例と異なるところは、文字抽出モジュール１２０は文字認識を行うものではなく、文字を画像として抽出する。
図５（Ａ）は、複数画像入力モジュール１１０によって入力された動画像のフレーム画像（６枚）を時間軸（ｔ１〜ｔ６）にしたがって示したものである。図に示すように、時間軸ｔ１でのフレーム画像は、黒色の文字「お」が背景色白で読める画像である。時間軸ｔ２から時間軸ｔ５までのフレーム画像は、黒色の文字「おは」、「おはよ」があるのであるが、背景色との関係で読めなくなっている。時間軸ｔ６でのフレーム画像は、黒色の文字「おはよう」が背景色白で読める画像である。

図５（Ｂ）は、文字抽出モジュール１２０がその時間軸におけるフレーム画像から文字抽出した結果を示したものである。この場合は、時間軸ｔ１でのフレーム画像から「お」（図５の５０１）という文字を抽出できている。時間軸ｔ２からｔ５でのフレーム画像からは文字抽出できなかった（図５の５０２、５０３、５０４、５０５）。つまり、図２のフローチャートでは、時間軸ｔ２からｔ５でのフレーム画像に対して、ステップＳ２０３でＮｏの処理となる。時間軸ｔ６でのフレーム画像から「おはよう」（図６の５０６）という文字を抽出できている。時間軸ｔ６でのフレーム画像に対して、ステップＳ２０４からステップＳ２０６までの処理が行われる。

差分検出モジュール１３０は、現在のフレーム画像（時間軸ｔ６）の文字抽出結果と、現在のフレーム画像の前に文字抽出できたフレーム画像（時間軸ｔ１）の文字抽出結果との差分を取る。差分の抽出として、例えばパターンマッチングによる方法がある。時間軸ｔ６の文字抽出結果は「おはよう」（図５の５０６）であり、時間軸ｔ１の文字抽出結果は「お」（図５の５０１）である。したがって、この場合の差分は「はよう」（図５の５０７）となる。
分割モジュール１４０は、差分を、現在のフレーム画像（時間軸ｔ６）と、現在のフレーム画像の前に文字抽出できたフレーム画像（時間軸ｔ１）との間のフレーム画像の枚数にあわせて分割する。つまり、この場合は５（時間軸ｔ１と時間軸ｔ６との間にあるフレーム数４に１を加えた５）で分割する。５等分の結果として、「は」の左側（図５の５１２）、「は」の右側（図５の５１４）、「よ」の左側（図５の５１６）、「よ」の右側と「う」の左側（図５の５１８）、「う」の右側（図５の５２０）となる。
合成モジュール１５０は、時間軸ｔ２のフレーム画像の文字抽出結果として、時間軸ｔ１の結果（「お」図５の５１１）と差分を分割した結果（「は」の左側図５の５１２）を合成する。つまり、図５（Ｃ）のように「お」と「は」の左側（図５の５１３）となる。
時間軸ｔ３から時間軸ｔ５の場合も同様である。つまり、図５（Ｃ）に示すように、時間軸ｔ３では「おは」（図５の５１５）、時間軸ｔ４では「おは」と「よ」の左側（図５の５１７）、時間軸ｔ５では「おはよ」と「う」の左側（図５の５１９）、時間軸ｔ６では「おはよう」（図５の５２１）となる。そして、各文字の画像をそれぞれのフレーム画像に合成する。

図６は、いずれのフレーム画像からも文字抽出はできたが、一部に文字抽出した結果が欠落している場合である。
図６（Ａ）は、複数画像入力モジュール１１０によって入力された動画像のフレーム画像（６枚）を時間軸（ｔ１〜ｔ６）にしたがって示したものである。図に示すように、時間軸ｔ１でのフレーム画像は、黒色の文字「お」が背景色白で読める画像である。時間軸ｔ２から時間軸ｔ５までのフレーム画像は、黒色の背景によって、文字の一部分が欠落している場合である。つまり、時間軸ｔ２でのフレーム画像は、文字「は」は読めるが、「お」が欠落している。時間軸ｔ３でのフレーム画像は、文字「おは」は読めるが、「よ」が欠落している。時間軸ｔ４でのフレーム画像は、文字「はよう」は読めるが、「お」が欠落している。時間軸ｔ５でのフレーム画像は、文字「おは」と「うご」は読めるが、「よ」が欠落している。時間軸ｔ６でのフレーム画像は、黒色の文字「おはようござ」が背景色白で読める画像である。

図６（Ｂ）は、文字抽出モジュール１２０がその時間軸におけるフレーム画像から文字抽出した結果を示したものである。この場合は、時間軸ｔ１でのフレーム画像から「お」（図６の６０１）という文字を抽出できている。時間軸ｔ２でのフレーム画像から「は」（図６の６０２）という文字を抽出できている。時間軸ｔ３でのフレーム画像から「おは」（図６の６０３）という文字を抽出できている。時間軸ｔ４でのフレーム画像から「はよう」（図６の６０４）という文字を抽出できている。時間軸ｔ５でのフレーム画像から「おはうご」（図６の６０５）という文字を抽出できている。時間軸ｔ６でのフレーム画像から「おはようござ」（図６の６０６）という文字を抽出できている。つまり、図２のフローチャートでは、時間軸ｔ２からｔ６でのフレーム画像に対して、ステップＳ２０４からステップＳ２０６までの処理が行われる。

時間軸ｔ２での処理を説明する。
ステップＳ２０４で、差分検出モジュール１３０は、現在のフレーム画像（時間軸ｔ２）の文字抽出結果と、現在のフレーム画像の前に文字抽出できたフレーム画像（時間軸ｔ１）の文字抽出結果との差分を取る。例えば、パターンマッチングした結果、「お」（図６の６１１）と「は」（図６の６０２）では、差分があることが検出される。
ステップＳ２０５で、分割モジュール１４０は、分割数は１となり、差分を１で分割する。また、分割数１のため処理を行わなくてもよい。
ステップＳ２０６で、合成モジュール１５０は、その文字が出現した時間、フレーム画像内における出現した場所に応じて、合成する。つまり、この場合、「お」も「は」も出現した場所は同じだが、出現した時間は「お」の方が早い。合成する文字画像は、「お」の後に「は」を付加したものである。なお、現在のフレーム画像（時間軸ｔ２）の文字抽出結果として保持するものは、「おは」（図６の６１２）である。合成する位置情報は、後に出てくるフレーム画像の位置情報と、前のフレーム画像の文字領域の大きさを考慮して、再計算する。この場合は、後のフレーム画像の「は」の位置から、前のフレームの「お」の分だけ、位置情報をずらす。

時間軸ｔ３での処理を説明する。
ステップＳ２０４で、差分検出モジュール１３０は、現在のフレーム画像（時間軸ｔ３）の文字抽出結果と、現在のフレーム画像の前に文字抽出できたフレーム画像（時間軸ｔ２）の文字抽出結果との差分を取る。例えば、パターンマッチングした結果、「おは」（図６の６１２）と「おは」（図６の６０３）では、差分がないことが検出される。
ステップＳ２０５で、分割モジュール１４０は、分割数は１となり、差分を１で分割する。また、分割数１のため処理を行わなくてもよい。
ステップＳ２０６で、合成モジュール１５０は、現在のフレーム画像（時間軸ｔ３）の文字抽出結果として保持する。その保持するものは、「おは」（図６の６１３）である。また、保持する位置情報は、現在のフレーム画像（時間軸ｔ３）の位置情報である。

時間軸ｔ４での処理を説明する。
ステップＳ２０４で、差分検出モジュール１３０は、現在のフレーム画像（時間軸ｔ４）の文字抽出結果と、現在のフレーム画像の前に文字抽出できたフレーム画像（時間軸ｔ３）の文字抽出結果との差分を取る。例えば、パターンマッチングした結果、「おは」（図６の６１３）と「はよう」（図６の６０４）では、差分があることが検出される。
ステップＳ２０５で、分割モジュール１４０は、分割数は１となり、差分を１で分割する。また、分割数１のため処理を行わなくてもよい。
ステップＳ２０６で、合成モジュール１５０は、パターンマッチングした文字を軸に（この場合は「は」）、「おは」と「はよう」を論理和により結合する。これによって、「おはよう」ができあがる（図６の６１４）。なお、現在のフレーム画像（時間軸ｔ４）の文字抽出結果として保持するものは、「おはよう」（図６の６１４）である。また、位置情報は、現在のフレーム画像（時間軸ｔ４）の位置情報とパターンマッチングした文字を軸に、前のフレーム画像（時間軸ｔ３）の文字領域の大きさを考慮して、再計算する。この場合は、後のフレーム画像の「は」（マッチングした文字）を中心にして、「お」の分だけ、位置情報をずらす。そして、生成された文字列を、時間軸ｔ４のフレーム画像の先に求めた位置情報の位置に合成する。

時間軸ｔ５での処理を説明する。
ステップＳ２０４で、差分検出モジュール１３０は、現在のフレーム画像（時間軸ｔ５）の文字抽出結果と、現在のフレーム画像の前に文字抽出できたフレーム画像（時間軸ｔ４）の文字抽出結果との差分を取る。例えば、パターンマッチングした結果、「おはよう」（図６の６１４）と「おは うご」（図６の６０５）では、差分があることが検出される。
ステップＳ２０５で、分割モジュール１４０は、分割数は１となり、差分を１で分割する。また、分割数１のため処理を行わなくてもよい。
ステップＳ２０６で、合成モジュール１５０は、パターンマッチングした文字を軸に（この場合は「おは」または「う」である）、「おはよう」と「おは うご」を論理和により結合する。これによって、「おはようご」ができあがる（図６の６１５）。なお、現在のフレーム画像（時間軸ｔ５）の文字抽出結果として保持するものは、「おはようご」（図６の６１５）である。また、位置情報は、現在のフレーム画像（時間軸ｔ５）の位置情報とパターンマッチングした文字を軸に、前のフレーム画像（時間軸ｔ４）の文字領域の大きさを考慮して、再計算する。この場合は、現在のフレーム画像の「おは」（マッチングした文字）は、すでに現在のフレームの一番端なので、そのまま位置情報として利用する。そして、生成された文字列を、時間軸ｔ５のフレーム画像の先に求めた位置情報の位置に合成する。

時間軸ｔ６での処理を説明する。
ステップＳ２０４で、差分検出モジュール１３０は、現在のフレーム画像（時間軸ｔ６）の文字抽出結果と、現在のフレーム画像の前に文字抽出できたフレーム画像（時間軸ｔ５）の文字抽出結果との差分を取る。例えば、パターンマッチングした結果、「おはようご」（図６の６１５）と「おはようござ」（図６の６０６）では、差分があることが検出される。
ステップＳ２０５で、分割モジュール１４０は、分割数は１となり、差分を１で分割する。また、分割数１のため処理を行わなくてもよい。
ステップＳ２０６で、合成モジュール１５０は、時間軸ｔ６での文字抽出結果は、時間軸ｔ５での文字抽出結果を含んでおり、その差分の文字位置は右端であるので、合成を行う必要はない。なお、現在のフレーム画像（時間軸ｔ６）の文字抽出結果として保持するものは、「おはようござ」（図６の６１６）である。保持する位置情報も現在のフレーム画像における位置情報である。

前述した実施の形態における処理（図２に示したフローチャート）の一部を、以下のようにすることも可能である。つまり、図２のステップＳ２０７の後に、図７のフローチャートで示す処理を追加しても良い。
ステップＳ７０１では、現在のフレーム画像の文字抽出結果と、前のフレーム画像の文字抽出結果との差分をとる。
ステップＳ７０２では、ステップＳ７０１での差分を継ぎ足して、文字列を生成する。
これらの処理を、対象とするフレーム画像がなくなるまで繰り返す。

具体的な処理例を示す。図８は、文字列が１行ごとに表示されるような場合である。例えば、画面下方から１行ごとに表示されるような場合である。
文字抽出結果は、図８（Ａ）に示すように、時間軸ｔ１では「おはようございます。」、時間軸ｔ２では「おはようございます。」、時間軸ｔ３では「おはようございます。」、時間軸ｔ４では「今日は晴れです。」、時間軸ｔ５では「今日は晴れです。」、時間軸ｔ６では「今日は晴れです。」である。
時間軸ｔ２のステップＳ７０１では、差分がないと判断され、ステップＳ７０２では継ぎ足すべき文字はない。したがって、抽出した文字列は、図８（Ｂ）に示す「おはようございます。」である。
時間軸ｔ３でも同様であり、この時点での抽出した文字列は、図８（Ｂ）に示す「おはようございます。」である。
時間軸ｔ４のステップＳ７０１では、差分が検出される。ステップＳ７０２では、差分を継ぎ足していく。つまり、生成する文字列は、図８（Ｃ）のように「おはようございます。今日は晴れです。」である。
時間軸ｔ５、ｔ６では、差分は検出されないので、生成した文字列は「おはようございます。今日は晴れです。」のままである。

図９は、文字が一文字ずつ追加されて表示されるような場合である。例えば、画面右方から１文字ごとに表示され、それまでの文字は左方向へ移動するような場合である。
文字抽出結果は、図９（Ａ）に示すように、時間軸ｔ１では「お」、時間軸ｔ２では「おは」、時間軸ｔ３では「おはよ」、時間軸ｔ４では「おはよう」、時間軸ｔ５では「おはようご」、時間軸ｔ６では「はようござ」、時間軸ｔ７では「ようござい」である。つまり、どの時間軸においても抽出できる文字は５文字までであり、「おはようござい」を１フレーム画像から抽出することはできていない。
ステップＳ７０１では、各時間軸において差分が検出される。
ステップＳ７０２では、フレーム画像内での位置関係に基づいて、差分である右端にある文字を継ぎ足していく。具体的には、時間軸ｔ２では、ステップＳ７０１で差分が検出されたので、その差分である「は」を文字列の最後に継ぎ足して「おは」とする。
以下、同様に処理が行われて、「おはようござい」という文字列が生成できている。
また、特に、抽出した文字列を比較して、その差分のみを追加していくこともできる。例えば、ここでは、時間軸ｔ４では「おはよう」、時間軸ｔ５では「おはようご」を抽出できているが、差分の「ご」のみを時間軸ｔ４で抽出した「おはよう」の最後に付加して「おはようご」としている。

また、画像内に文字が追加されるのは右端からであり、１フレームに１文字が追加されて表示されるとした場合には、より簡便な方法で行うことができる。図１０を用いて、その簡便な方法を説明する。図１０も、図９と同じく文字が一文字ずつ追加されて表示されるような場合である。
図１０（Ａ）に示した文字抽出結果は、図９（Ａ）と同じである。
文字抽出した結果の最後の文字である右端の１文字だけを継ぎ足していくことによって、文字列を生成することができる。具体的には、時間軸ｔ２の右端の文字は「は」であり、これを前の時間軸ｔ１で生成した文字列「お」（図１０（Ｂ））の終端に継ぎ足して「おは」とする（図１０（Ｃ））。これを繰り返して、図１０（Ｈ）に示すように「おはようござい」まで生成する。

図１１を用いて、撮影した画像の中に文字がある場合について説明する。
本実施の形態が対象とできるものは、必ずしも、動画像の中で、字幕やテロップ等の文字自体が移動しながら画像に合成されている必要はない。看板等の文字に対して、ビデオカメラを移動させて撮影すれば、文字が移動している場合と状況は同じである。
１フレーム画像内に全ての文字が撮影されているなどの撮影条件がよい場合は、動画像から抽出した文字をとりだせばよいが、以下のような文字が見えなくなる場合などで、本実施の形態は有用である。
例えば、以下の場合がある。
・電光掲示板で文字が移動して表示されており、その電光掲示板のある場所だけ発光しないで文字に欠けが生じるような場合。
・撮影していると、障害物（人物や自動車等）があり、文字に欠けが生じるような場合。
・ビデオカメラが自動的に逆光補正したりして、文字が見えにくくなってしまうような場合。
・文字抽出、文字認識の性能では文字が欠落してしまうような場合。

ここで、具体例について説明する。例えば「第７回 ○×△保育園 リズム発表会」という看板を、ビデオカメラを右に移動させて撮影したとする（図１１（Ａ）、（Ｂ）参照）。
この場合、図１１（Ｃ）のように、フレーム１からフレーム５に示すような画像が撮影されたとする。フレーム１では「第７回 ○」、フレーム２では「回 ×△保」、フレーム３では「△保育園 リ」、フレーム４では「園 リズム発表」、フレーム５では「発表会」が文字抽出できるが、フレーム２では看板の前に人がいて、あるべきはずの「○」の文字が隠れてしまっている。このような場合であっても、本実施の形態の前述した処理によって、「第７回 ○×△保育園 リズム発表会」の文字列を生成することができる。

図１２を参照して、実施の形態の画像処理システムのハードウェア構成例について説明する。図１２に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理システムである。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１は、上述の実施の形態において説明した各種のモジュール、すなわち、文字抽出モジュール１２０、差分検出モジュール１３０、分割モジュール１４０、合成モジュール１５０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２は、ＣＰＵ４０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ（例えば、文字抽出の途中結果）等を格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。

ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス４０６に接続されている。

キーボード４０８、マウス等のポインティングデバイス４０９は、操作者により操作される入力デバイスである。ディスプレイ４１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、本実施の形態の処理対象である動画像や各種情報（テキスト、イメージ情報等）を表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ４０１によって実行するプログラムや動画像、各種情報を記録または再生させる。ハードディスクは、複数画像入力モジュール１１０により入力した画像や文字抽出モジュール１２０による結果データなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ４１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体４１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース４０７、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介して接続されているＲＡＭ４０３に供給する。リムーバブル記録媒体４１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート４１４は、外部接続機器４１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート４１４は、インタフェース４０７、および外部バス４０６、ブリッジ４０５、ホストバス４０４等を介してＣＰＵ４０１等に接続されている。通信部４１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。

なお、図１２に示す画像処理システムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態の画像処理システムは、図１２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、ビデオデッキ、ビデオカメラ、デジタルカメラ、情報家電、携帯電話、ゲーム機、ＧＰＳなどに組み込まれていてもよい。

前記実施の形態においては、合成モジュール１５０によって画像に文字を合成することを示したが、文字をその画像の索引（インデックス）として付与するようにしてもよい。すなわち、分割モジュール１４０によって分割された文字の差分を、Ａ画像とＢ画像との間にある画像に索引として関連付けてもよい。ここで、索引とは、動画像を編集、検索等する際に用いられるものであり、全てのフレームに対して索引を付与してもよいし、シーン毎に索引を付与してもよい。また、抽出した文字がテキストデータである場合は、形態素解析を行って、意味的にひとかたまりになるような文字列になる都度に、そのフレーム画像に索引として付与するようにしてもよい。このようにした場合は、更に編集、検索等の利便性が高まる。つまり、早送りやシーン飛ばしなどに利用することができるようになる。

また、その他に抽出した文字列の利用法として、次のようなものがある。
（１）ビデオテープのタイトルに利用する。
（２）動画データベースの中から、目的とするシーンを検索するためのキーワードにする。
（３）複数の動画像を種類別に分けるときのキーワードにする。
（４）対象がレストランや土地名などであれば、携帯電話やＧＰＳなどに利用することもできる。

前記実施の形態では、１フレーム画像中に文字列が１つしか出現していないが、例えば、１フレーム画像の上側横１列と下側横１列に同時に文字列が存在する場合でも、それらの位置関係や抽出した文字列のパターンマッチング等から、それぞれ独立して文字列の合成を行うことが可能である。

なお、説明したプログラムについては、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供することもできる。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えることもできる。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。

なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

本実施の形態の概念的なモジュール構成図である。 本実施の形態による文字抽出処理を示すフローチャート例である。 本実施の形態による具体的な文字抽出処理の例（その１）を説明する説明図である。 本実施の形態による具体的な文字抽出処理の例（その２）を説明する説明図である。 本実施の形態による具体的な文字抽出処理の例（その３）を説明する説明図である。 本実施の形態による具体的な文字抽出処理の例（その４）を説明する説明図である。 本実施の形態による文字列生成処理を示すフローチャート例である。 本実施の形態による具体的な文字列生成処理の例（その１）を説明する説明図である。 本実施の形態による具体的な文字列生成処理の例（その２）を説明する説明図である。 本実施の形態による具体的な文字列生成処理の例（その３）を説明する説明図である。 本実施の形態による具体的な文字抽出処理の例（その５）を説明する説明図である。 本実施の形態のハードウェア構成例を示すブロック図である。

符号の説明

１１０…複数画像入力モジュール
１２０…文字抽出モジュール
１３０…差分検出モジュール
１４０…分割モジュール
１５０…合成モジュール

Claims (27)

1. 時系列に連動した画像を入力する画像入力手段と、
   前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
   前記画像入力手段によって入力された第２の画像から文字を抽出する第２の文字抽出手段と、
   前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字に応じて、前記第２の画像に合成する合成手段
   を具備することを特徴とする画像処理システム。
2. 時系列に連動した画像を入力する画像入力手段と、
   前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
   前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
   前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
   前記差分検出手段によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割手段と、
   前記分割手段によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に合成する合成手段
   を具備することを特徴とする画像処理システム。
3. 時系列に連動した画像を入力する画像入力手段と、
   前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
   前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
   前記画像入力手段によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出手段と、
   前記第１の文字抽出手段によって抽出された文字と前記第３の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
   前記第２の文字抽出手段によって文字が抽出できず、前記差分検出手段によって差分が検出されなかった場合は、前記第１の文字抽出手段または前記第３の文字抽出手段によって抽出された文字を前記第２の画像に合成する合成手段
   を具備することを特徴とする画像処理システム。
4. 時系列に連動した画像を入力する画像入力手段と、
   前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
   前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
   前記画像入力手段によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出手段と、
   前記第１の文字抽出手段によって抽出された文字と前記第３の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
   前記第２の文字抽出手段によって文字が抽出できず、前記差分検出手段によって差分が検出された場合は、該差分を、前記第１の画像と前記第３の画像との間にある画像の数にあわせて分割する分割手段と、
   前記分割手段によって分割された文字の差分を、前記第１の画像と前記第３の画像との間にある画像に合成する合成手段
   を具備することを特徴とする画像処理システム。
5. 時系列に連動した画像を入力する画像入力手段と、
   前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
   前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
   前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
   前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字に応じて、文字列を合成する合成手段
   を具備することを特徴とする画像処理システム。
6. 時系列に連動した画像を入力する画像入力手段と、
   前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
   前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
   前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
   前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、前記第２の文字抽出手段によって抽出された文字を接続することによって、文字列を合成する合成手段
   を具備することを特徴とする画像処理システム。
7. 時系列に連動した画像を入力する画像入力手段と、
   前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
   前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
   前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
   前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、該検出された差分の文字を付加することによって、文字列を合成する合成手段
   を具備することを特徴とする画像処理システム。
8. 時系列に連動した画像を入力する画像入力手段と、
   前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
   前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
   前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
   前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、前記第２の文字抽出手段によって抽出された文字のうち最後の１文字を付加することによって、文字列を合成する合成手段
   を具備することを特徴とする画像処理システム。
9. 動画像を入力する画像入力手段と、
   前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
   前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
   前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
   前記差分検出手段によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割手段と、
   前記分割手段によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に索引として関連付ける索引付与手段
   を具備することを特徴とする動画像編集処理システム。
10. 時系列に連動した画像を入力する画像入力手段と、
    前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
    前記画像入力手段によって入力された第２の画像から文字を抽出する第２の文字抽出手段と、
    前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字に応じて、前記第２の画像に合成する合成手段
    を具備することを特徴とする画像処理装置。
11. 時系列に連動した画像を入力する画像入力手段と、
    前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
    前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
    前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
    前記差分検出手段によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割手段と、
    前記分割手段によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に合成する合成手段
    を具備することを特徴とする画像処理装置。
12. 時系列に連動した画像を入力する画像入力手段と、
    前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
    前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
    前記画像入力手段によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出手段と、
    前記第１の文字抽出手段によって抽出された文字と前記第３の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
    前記第２の文字抽出手段によって文字が抽出できず、前記差分検出手段によって差分が検出されなかった場合は、前記第１の文字抽出手段または前記第３の文字抽出手段によって抽出された文字を前記第２の画像に合成する合成手段
    を具備することを特徴とする画像処理装置。
13. 時系列に連動した画像を入力する画像入力手段と、
    前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
    前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
    前記画像入力手段によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出手段と、
    前記第１の文字抽出手段によって抽出された文字と前記第３の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
    前記第２の文字抽出手段によって文字が抽出できず、前記差分検出手段によって差分が検出された場合は、該差分を、前記第１の画像と前記第３の画像との間にある画像の数にあわせて分割する分割手段と、
    前記分割手段によって分割された文字の差分を、前記第１の画像と前記第３の画像との間にある画像に合成する合成手段
    を具備することを特徴とする画像処理装置。
14. 時系列に連動した画像を入力する画像入力手段と、
    前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
    前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
    前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
    前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字に応じて、文字列を合成する合成手段
    を具備することを特徴とする画像処理装置。
15. 時系列に連動した画像を入力する画像入力手段と、
    前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
    前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
    前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
    前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、前記第２の文字抽出手段によって抽出された文字を接続することによって、文字列を合成する合成手段
    を具備することを特徴とする画像処理装置。
16. 時系列に連動した画像を入力する画像入力手段と、
    前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
    前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
    前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
    前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、該検出された差分の文字を付加することによって、文字列を合成する合成手段
    を具備することを特徴とする画像処理装置。
17. 時系列に連動した画像を入力する画像入力手段と、
    前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
    前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
    前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
    前記差分検出手段によって差分が検出された場合、前記第１の文字抽出手段によって抽出された文字の後に、前記第２の文字抽出手段によって抽出された文字のうち最後の１文字を付加することによって、文字列を合成する合成手段
    を具備することを特徴とする画像処理装置。
18. 動画像を入力する画像入力手段と、
    前記画像入力手段によって入力された第１の画像から文字を抽出する第１の文字抽出手段と、
    前記画像入力手段によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出手段と、
    前記第１の文字抽出手段によって抽出された文字と前記第２の文字抽出手段によって抽出された文字との差分を検出する差分検出手段と、
    前記差分検出手段によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割手段と、
    前記分割手段によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に索引として関連付ける索引付与手段
    を具備することを特徴とする動画像編集処理装置。
19. コンピュータに、
    時系列に連動した画像を入力する画像入力機能と、
    前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
    前記画像入力機能によって入力された第２の画像から文字を抽出する第２の文字抽出機能と、
    前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字に応じて、前記第２の画像に合成する合成機能
    を実現させることを特徴とする画像処理プログラム。
20. コンピュータに、
    時系列に連動した画像を入力する画像入力機能と、
    前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
    前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
    前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
    前記差分検出機能によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割機能と、
    前記分割機能によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に合成する合成機能
    を実現させることを特徴とする画像処理プログラム。
21. コンピュータに、
    時系列に連動した画像を入力する画像入力機能と、
    前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
    前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
    前記画像入力機能によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出機能と、
    前記第１の文字抽出機能によって抽出された文字と前記第３の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
    前記第２の文字抽出機能によって文字が抽出できず、前記差分検出機能によって差分が検出されなかった場合は、前記第１の文字抽出機能または前記第３の文字抽出機能によって抽出された文字を前記第２の画像に合成する合成機能
    を実現させることを特徴とする画像処理プログラム。
22. コンピュータに、
    時系列に連動した画像を入力する画像入力機能と、
    前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
    前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
    前記画像入力機能によって入力され、前記第２の画像より後の画像である第３の画像から文字を抽出する第３の文字抽出機能と、
    前記第１の文字抽出機能によって抽出された文字と前記第３の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
    前記第２の文字抽出機能によって文字が抽出できず、前記差分検出機能によって差分が検出された場合は、該差分を、前記第１の画像と前記第３の画像との間にある画像の数にあわせて分割する分割機能と、
    前記分割機能によって分割された文字の差分を、前記第１の画像と前記第３の画像との間にある画像に合成する合成機能
    を実現させることを特徴とする画像処理プログラム。
23. コンピュータに、
    時系列に連動した画像を入力する画像入力機能と、
    前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
    前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
    前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
    前記差分検出機能によって差分が検出された場合、前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字に応じて、文字列を合成する合成機能
    を実現させることを特徴とする画像処理プログラム。
24. コンピュータに、
    時系列に連動した画像を入力する画像入力機能と、
    前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
    前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
    前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
    前記差分検出機能によって差分が検出された場合、前記第１の文字抽出機能によって抽出された文字の後に、前記第２の文字抽出機能によって抽出された文字を接続することによって、文字列を合成する合成機能
    を実現させることを特徴とする画像処理プログラム。
25. コンピュータに、
    時系列に連動した画像を入力する画像入力機能と、
    前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
    前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
    前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
    前記差分検出機能によって差分が検出された場合、前記第１の文字抽出機能によって抽出された文字の後に、該検出された差分の文字を付加することによって、文字列を合成する合成機能
    を実現させることを特徴とする画像処理プログラム。
26. コンピュータに、
    時系列に連動した画像を入力する画像入力機能と、
    前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
    前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
    前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
    前記差分検出機能によって差分が検出された場合、前記第１の文字抽出機能によって抽出された文字の後に、前記第２の文字抽出機能によって抽出された文字のうち最後の１文字を付加することによって、文字列を合成する合成機能
    を実現させることを特徴とする画像処理プログラム。
27. コンピュータに、
    動画像を入力する画像入力機能と、
    前記画像入力機能によって入力された第１の画像から文字を抽出する第１の文字抽出機能と、
    前記画像入力機能によって入力され、前記第１の画像より後の画像である第２の画像から文字を抽出する第２の文字抽出機能と、
    前記第１の文字抽出機能によって抽出された文字と前記第２の文字抽出機能によって抽出された文字との差分を検出する差分検出機能と、
    前記差分検出機能によって検出された差分を、前記第１の画像と前記第２の画像との間にある画像の数にあわせて分割する分割機能と、
    前記分割機能によって分割された文字の差分を、前記第１の画像と前記第２の画像との間にある画像に索引として関連付ける索引付与機能
    を実現させることを特徴とする動画像編集処理プログラム。

Images