JP2003060894A

JP2003060894A - 画像合成装置、画像合成システム、画像合成機能付きカメラおよび画像合成サービス方法

Info

Publication number: JP2003060894A
Application number: JP2001250636A
Authority: JP
Inventors: Masaru Sugioka; 賢杉岡; Kazuhiro Ishikawa; 和弘石川; Koichi Higuchi; 浩一樋口
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2001-08-21
Filing date: 2001-08-21
Publication date: 2003-02-28

Abstract

(57)【要約】【課題】デジタルカメラ等で分割撮影されたドキュメ
ントイメージデータから１枚の判読可能な画像を合成す
る。【解決手段】動画像データから、ある時点の１枚の静
止画像をフレーム画像として順次抽出して出力し、また
は、時系列に配列された静止画像データをフレーム画像
として順次出力するフレーム抽出部１０４と、フレーム
画像を格納するフレーム格納部１０６と、フレーム画像
を入力し、文字、図形等が記載された領域を抽出する記
載領域抽出部１０８と、特徴を抽出する特徴抽出部１１
０と、特徴を格納する特徴情報格納部１１２と、特徴抽
出部１１０で抽出された特徴を現フレームの特徴として
入力し、かつ特徴情報格納部１１２に格納された特徴を
前フレームの特徴として入力し、双方の特徴を比較して
重なり領域を検出する重なり領域検出部１１４と、現フ
レームと前フレームとを合成する画像合成部１１６とを
具える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像データ、特
に文字が主体に構成されいるイメージデータ（以下、ド
キュメントイメージデータと称する。）において、デジ
タルカメラ等を用いて、動画撮影または複数枚の静止画
として撮影されたドキュメントイメージデータを１枚の
画像に合成するシステムに関する。

【０００２】また、同様な画像合成機能を有する装置、
または撮影部を有するカメラに関する。

【０００３】また、ネットワークを介して、動画撮影ま
たは複数に分割して静止画として撮影されたドキュメン
トイメージデータを受信し、１枚に合成するサービス方
法に関する。

【０００４】

【従来の技術】従来から文書や帳票等の紙面で構成され
る媒体からの画像収集においては、スキャナが用いられ
ていた。スキャナは、高精細での収集において利点はあ
るが、持ち運びの不便さ、設置スペースの問題、装置の
コスト等の短所がある。

【０００５】これらの短所を補うために、ハンドヘルド
スキャナが製品化されているがハンドヘルドスキャナで
は、広範囲の画像を一度にスキャンできないという問題
があった。

【０００６】この問題を解決するために、特開２０００
−２７８５１４号公報では、複数回に分けてスキャン
し、それぞれの画像を合成する方法が開示されている。

【０００７】この方法では、複数枚の静止画像における
重なり領域を、１）文字認識結果または２）文字サイズ
または位置を特徴として検出し、他の静止画像における
特徴と同定し合成することで１枚の静止画像を作成する
方法である。

【０００８】しかし、この方法では、予め各静止画像に
重なり領域が存在するよう注意深くスキャンする必要が
あり時間と労力を必要とする。また、特徴を検出する際
に、１）文字認識を使う場合には、処理量が膨大になる
だけでなく認識辞書を格納しておく大容量のメモリが必
要となる。また２）文字サイズや位置を使う場合には、
等ピッチで印刷された活字文字では、特徴の区別が付き
にくいという問題があった。

【０００９】

【発明が解決しようとする課題】近年では、デジタルカ
メラが動画や連写などの高機能化、分解能などの高性能
化、小型軽量化が進んだことで急激に普及し、スキャナ
に代わる新たな画像収集機器として注目されている。

【００１０】しかし、一般のデジタルカメラを用いて例
えば新聞のような文字や図形（表等を含む）対象（以下
文書）を撮影する場合、文書全体を撮影すると記載され
ている文字が小さくなり判読できず、文字を判読するた
めに接写すると文書全体の画像を把握するには困難があ
る。

【００１１】前記従来技術のように複数の領域を撮影
し、後に１枚の静止画像に合成することは可能である
が、ハンドヘルドスキャナとは異なり非接触方式、すな
わち、文書と画像入力センサとが離れている状態で撮影
するデジタルカメラにおいて、各静止画に重なり領域が
存在するように撮影するのは困難であり、また、複数の
領域の撮影において、常に文書と画像入力センサとの距
離を等しくすることは難しく、その結果文字認識結果や
文字サイズ等の特徴を同定することは困難であった。

【００１２】そこで、画像、特に文書画像を対象に、非
接触方式のデジタルカメラの動画撮影または連写撮影機
能を使い、いわば、なぞるような簡単な撮影によって得
られたドキュメントイメージデータから１枚の判読可能
な画像を合成する画像合成装置・システム或いはサービ
スが望まれていた。

【００１３】

【課題を解決するための手段】このために、この発明の
画像合成装置は、フレーム抽出部とフレーム格納部と記
載領域抽出部と特徴抽出部と特徴情報格納部と重なり領
域検出部と画像合成部とを具える。フレーム抽出部は、
外部からの開始命令またはプログラムに書かれた開始命
令を受け、デジタルカメラもしくは画像記録媒体に記録
された動画ファイルなどの画像データを入力する。

【００１４】フレーム抽出部は、入力データが動画デー
タの場合は、ある時点の１枚の静止画像をフレーム画像
として順次抽出して出力する。入力データが連写した静
止画像データである場合は、その静止画像をフレーム画
像として順次出力する。尚、順次抽出では、時系列順に
抽出するのであれば、動画データから得られるすべての
フレーム画像を抽出する必要はない。

【００１５】フレーム格納部は、フレーム抽出部から出
力されたフレーム画像を格納する。

【００１６】記載領域抽出部は、フレーム格納部に格納
されたフレーム画像を入力して、文字、図形等が記載さ
れた領域を抽出する。

【００１７】特徴抽出部は、記載領域抽出部で抽出され
た各領域の特徴を抽出する。

【００１８】特徴情報格納部は、この特徴を格納する。

【００１９】重なり領域検出部は、特徴領域抽出部で抽
出された特徴を現フレームの特徴として入力し、かつ、
重なり領域検出部は、特徴情報格納部に格納された特徴
を前フレームの特徴として入力する。そして、重なり領
域検出部は、双方の特徴を比較して重なり領域を検出す
る。

【００２０】画像合成部は、重なり領域で検出した重な
り領域のデータに基づき現フレームと前フレームとを合
成する。

【００２１】このような装置構成により、分割撮影され
たドキュメントイメージデータから、画像を合成するこ
とができる。そして、１枚の判読可能な静止画像を得る
ことができる。

【００２２】また、この発明は、カメラ部と合成処理部
を組み合わせた画像合成システム、及び画像合成機能付
きカメラを提供する。

【００２３】また、画像合成機能を有するサーバを利用
したネットワークを介した画像合成システムと画像合成
サービス方法を提供する。

【００２４】

【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について、説明する。なお、図中、各構成
成分の配置関係等は、この発明が理解できる程度に概略
的に示してあるにすぎず、また、以下に説明する数値的
条件は単なる例示にすぎない。

【００２５】［第１の実施の形態］（構成）図１は、この実施の形態の画像合成装置の好適
な構成を示す図である。

【００２６】画像合成装置１００は、画像記録媒体１０
２に接続され、この画像記録媒体１０２から画像データ
を読み込む。また、画像合成装置１００は、開始命令に
より動画像データから、ある時点の１枚の静止画像をフ
レーム画像として順次抽出するフレーム抽出部１０４
と、フレーム抽出部１０４で抽出されたフレーム画像を
格納するフレーム格納部１０６と、フレーム格納部１０
６に格納されたフレーム画像を入力し、文字、図形等が
記載された領域を抽出する記載領域抽出部１０８とを含
む。尚ドキュメントイメージデータとは、文字を主体と
して簡単な図形、表、グラフ等で構成されるイメージデ
ータのことである。

【００２７】更に、画像合成装置１００は、記載領域抽
出部１０８で、抽出された各領域の特徴を抽出する特徴
抽出部１１０と、この特徴を格納する特徴情報格納部１
１２を含む。

【００２８】画像合成装置１００内に含まれる重なり領
域検出部１１４は、特徴抽出部１１０で抽出された特徴
を現フレームの特徴として入力し、特徴情報格納部１１
２に格納された特徴を前フレームの特徴として入力す
る。そして重なり領域検出部１１４は、双方の特徴を比
較して重なり領域を検出する。換言すれば、画像合成サ
イクルの中で、現在処理を実施しているフレームの特徴
と、直前に処理を済ませたフレームの特徴を比較する。

【００２９】更に、画像合成装置１００は、重なり領域
検出部１１４で検出したデータに基づき現フレームと前
フレームを合成する画像合成部１１６を具え、画像合成
部１１６は、合成された画像を出力する。

【００３０】尚、画像記録媒体１０２からの入力情報が
動画像データであることを前提に上記の説明を行った
が、入力情報がデジタルカメラの連写機能を用いて得ら
れた時系列的に配列された静止画像データの場合には、
フレーム抽出部１０４は、その静止画像をフレーム画像
として順次出力する。

【００３１】（動作）以下、図１乃至図１２を参照し
て、この発明の第１の実施の形態を説明する。

【００３２】図２は、この実施の形態の処理の流れを示
す図である。フレーム抽出部１０４は、外部からの開始
命令またはプログラムに書かれた開始命令を受け、外部
の画像記録媒体１０２に記録された画像データを入力す
る。この画像データは、動画データ、或いはデジタルカ
メラの連写によって得られた時系列的に配列された複数
の静止画像等である。

【００３３】フレーム抽出部１０４は、画像データが動
画像であるか静止画像であるかを例えばファイルフォー
マット等から判別する（Ｓ２０１）。動画像である場合
（Ｙｅｓ）は、撮影時刻順に静止画像のフレーム画像と
して順次抽出し（Ｓ２０２）、フレーム格納部１０６に
順次出力する。また、フレーム抽出部１０４は、静止画
像である場合（Ｎｏ）には、静止画像をそのままフレー
ム画像として時系列的に、すなわち撮影時刻順に、入力
した静止画像をフレーム画像としてフレーム格納部１０
６に順次出力する。尚、フレーム画像のデータは、各種
データの特徴を表すヘッダ部とデータ部から構成され
る。

【００３４】フレーム格納部１０６は、順次入力された
画像を、順番に格納する（Ｓ２０３）。フレーム格納部
１０６は、一番最初に入力されたフレーム画像を、開始
フレームと認識し、ヘッダ部の一部の開始フラグをセッ
トする。フレーム格納部１０６は、フレーム画像が開始
フレームか否かを、開始フラグの情報から判断する（Ｓ
２１３）。

【００３５】フレーム画像が開始フレームである場合
（Ｙｅｓ）には、直ちに、記載領域抽出部１０８に出力
される（Ｓ２１４）。同時に、後述する画像合成部１１
６に出力される（図１の矢印１０ｄ参照）。

【００３６】フレーム画像が開始フレームでない場合
（Ｎｏ）には、フレーム格納部１０６は、格納されたフ
レーム画像を格納された順序に、今度は、１枚ずつ記載
領域抽出部１０８に送る。送るタイミングは、開始フラ
グがセットされた後で有れば、全てのフレーム画像がフ
レーム格納部１０６に格納されていなくとも良い。しか
し、具体的には、後述する特徴抽出部１１０からの指示
があったとき（図１の矢印１０ａ参照）にフレーム格納
部１０６は、記載領域抽出部１０８へフレーム画像を送
信する。また。後述する画像合成部１１６からの指示が
あったときに、記載領域抽出部１０８に最新に出力した
フレーム画像を画像合成部１１６に送信する（図１の矢
印１０ｄ参照）。

【００３７】フレーム格納部１０６内のフレーム画像
は、送信後もフレーム画像として残しておくことは、可
能である。しかし、画像合成部１１６からの指示によっ
て、フレーム画像を送信した後は、送信済みのフレーム
画像を消去してフレーム格納部１０６の空きメモリを増
やし、その空きメモリに新たな静止画像を格納する方法
によりフレーム格納部１０６のメモリ容量を小さくでき
る。

【００３８】記載領域抽出部１０８は、フレーム格納部
１０６からフレーム画像を入力し、文字、図形などが記
載されている領域を矩形領域として抽出する（Ｓ２０
４）。

【００３９】図３（Ａ）と図３（Ｂ）を参照して記載領
域抽出部１０８の動作を説明する。図３（Ａ）は、フレ
ーム画像の例を示す図である。尚、ヘッダ部は、図示せ
ず、データ部のみを可視的に表現している。図３（Ｂ）
は、文字、図形等が記載された領域を抽出した状態を示
す図である。

【００４０】抽出方法としては、公知の技術を用いる。
例えば、画像を縦方向または横方向に走査し、背景色と
比較して濃度の高い画素がある程度集中して存在する領
域を囲む矩形として抽出する。記載領域抽出部１０８
は、図３（Ｂ）に示すように、連続する文字列、図形を
矩形で囲む。そして、抽出された領域数Ｎ（Ｎは、整数
で、この例ではＮ＝１０）と各矩形領域の始点（左上端
位置）と終点（右下端位置）の座標を抽出する。例え
ば、第１矩形領域は、[（ＸＳ１，ＹＳ１）〜（ＸＥ
１，ＹＥ１）]と表記される（ＸＳ１等は、数値データ
を示す）。抽出したデータは、フレーム画像と共に、特
徴抽出部１１０に出力する（Ｓ２０４）。

【００４１】特徴抽出部１１０は、記載領域抽出部１０
８から、フレーム画像とその抽出された記載領域数Ｎ
と、抽出された各矩形領域の始点と終点の座標を入力
し、各矩形領域において、それぞれ「特徴」を抽出する
（Ｓ２０５）。特徴とは、各矩形領域を定量的に同定で
きる情報であり、以下に、特徴抽出を詳しく述べる。

【００４２】図４乃至図６を参照に、特徴を表すヒスト
グラムの作成について説明する。

【００４３】ある矩形領域について、Ｘ方向とＹ方向の
それぞれの長さを始点座標と終点座標の差分から求め
る。そして、各矩形座標毎にＸ方向とＹ方向の差分を比
較し、Ｘ方向の差分が大きければ、Ｘ方向における（す
なわちＸ方向を横軸とした）Ｙ方向成分のヒストグラム
を作成する（ヒストグラムの具体的な作成方法は、後で
説明する）。逆にＹ方向の差分が大きければ、Ｙ方向に
おけるＸ方向成分のヒストグラムを作成する。またＸ方
向とＹ方向の差分が等しい場合は、どちらを横軸にして
も良い。

【００４４】尚、ヒストグラムは入力されたフレーム画
像が、白黒の２値画像、または階調性のある濃淡画像、
或いはカラー画像のいずれかにより、成分の抽出の方法
が異なる。ドキュメントイメージデータが、２値画像の
場合は、ドキュメントを構成する画素の個数を基にし、
濃淡画像の場合は、各画素の濃度（例えば２５６階調の
場合は、０〜２５５のいずれかで表現される。）の累計
を抽出する。また、カラー画像の場合は、Ｒ、Ｇ、Ｂの
３種類の色素成分毎に各画素の濃度を抽出すればよい。
入力フレーム画像に対して切り換えの為スイッチ機構を
付加することも、プログラムで制御することもできる。
この実施の形態では、多階調で撮影される濃淡画像の例
について説明する。

【００４５】図４は、Ｘ方向におけるＹ方向成分の濃淡
画像のヒストグラムの例を示す図である。尚、ヒストグ
ラムの図の横軸は長辺方向の座標を、縦軸の濃度量は、
任意の単位で示している。また、図５は、Ｙ方向におけ
るＸ方向成分のヒストグラムの例を示す図である。

【００４６】文書には、一般に、横書きと縦書きが存在
するが、矩形領域の長辺方向における短辺成分のヒスト
グラムを作成することにより、ヒストグラムは、各文字
の特徴を横書き縦書きいずれの場合も文字の特徴を的確
に表せる。また、後述するが、黒塗りの逆三角形は、極
大点を示し、白抜きの逆三角形は極小点を示す。

【００４７】ヒストグラムの具体的な作製は、矩形領域
を長辺方向に沿って走査し、長辺方向の各座標における
短辺方向の各画素の濃度の和を求め、これを当該座標に
おける濃度量として抽出する。

【００４８】矩形領域内の文字の配列では、文字が存在
し濃度量の高い領域と文字間に相当し濃度量の低い領域
が、一般的に存在する。図６は、極小点を示す図であ
り、文字間に相当する濃度量の低い領域の中間点の座標
を極小点と定める。

【００４９】一方、２つの極小点に挟まれる濃度量の高
い領域のうち最も濃度が高い位置の座標を極大点と定め
る。極大点は、１文字に対して１つとは限らない。図４
の「い」の文字や、図５に示す「う」の文字のように、
ヒストグラムが分離してしまう場合はそれぞれ分離した
文字領域において濃度量が最大となる長辺方向の座標を
極大点として定める。

【００５０】尚、文字間に相当する濃度量の低い領域
は、必ずしも白色（濃度階調０）とは限らない。このた
め文字間に相当する濃度量の低い領域と文字が存在し濃
度量の高い領域を判別するための濃度の閾値は、予め定
めておいても良いし、抽出対象の矩形領域内の平均濃度
量を算出して、閾値を決定しても良い。

【００５１】以上の方法で、特徴抽出部１１０は、フレ
ーム画像の各矩形領域の特徴を抽出する（Ｓ２０５）。
ここで、記載領域抽出部１０８で抽出された領域数Ｎ
と、抽出された矩形領域の始点と終点の座標と、特徴抽
出部１１０で得られたそれぞれのヒストグラム情報と、
極大点と極小点の座標とを、更にフレーム画像のヘッダ
部を合わせて、フレーム画像の特徴情報と称することと
する。特徴抽出部１１０は、これらフレーム画像の特徴
情報を、特徴情報格納部１１２に出力する。

【００５２】特徴情報格納部１１２は、特徴抽出部１１
０から入力されたフレーム画像の特徴情報のヘッダ部を
参照して、入力された特徴情報が、開始フレームの特徴
情報か否かを判断する（Ｓ２０６）。

【００５３】開始フレームの特徴情報である場合（Ｙｅ
ｓ）には、開始フレーム画像の特徴情報として、特徴情
報格納部１１２に格納する（Ｓ２０７）。一方、開始フ
レームの特徴情報でない場合（Ｎｏ）には、入力された
フレーム画像の特徴情報を、特徴情報格納部１１２に出
力するが、特徴情報格納部１１２には、前のフレームの
特徴情報が格納された状態にある。そこで、特徴情報格
納部１１２は、先ず、格納されている前フレーム画像の
特徴情報を重なり領域検出部１１４に出力する（Ｓ２０
８）。次いで、入力されたフレーム画像の特徴情報を特
徴情報格納部１１２に格納する（図１の矢印１０ｃ参
照）（Ｓ２０９）。

【００５４】また、特徴抽出部１１０は、特徴情報を重
なり領域検出部１１４にも出力する（図１の矢印１０ｂ
参照）。そして出力終了後フレーム格納部１０６に新た
なフレームを出力する指示を出す（図１の矢印１０ａ参
照）。

【００５５】重なり領域検出部１１４は、特徴抽出部１
１０で、抽出された特徴（または特徴情報）を現フレー
ムの特徴として入力し、かつ、特徴情報格納部１１２に
格納されていた特徴を前フレームの特徴として入力す
る。そして、双方の特徴を比較し重なり領域を検出す
る。以下に、重なり領域検出部１１４の処理の詳細を説
明する。

【００５６】｛重なりの概念｝図７は、重なりの概念を
示す図である。デジタルカメラが、右下方向に移動しな
がら連写した場合を想定している。先に写されたフレー
ム画像を前フレーム、後に写された画像を現フレームと
して示している。網目上で示す部分が重なり領域であ
る。この図では「つてとなに」および「むめもやゆ」の
文字列が、重なり領域に含まれる。

【００５７】｛重なり領域の検出の概略｝図８は、矩形
領域の比較の順番の概略を示す図である。前フレーム
は、３個の矩形領域を含む。第１矩形領域は、「あいう
えおかき」の文字列を含み、第２矩形領域は、「たちつ
てとなに」の文字列を含み、第３矩形領域は、「まみむ
めもやゆ」の文字列を含む。現フレームも３個の矩形領
域を含み、第１矩形領域は、「つてとなにぬね」の文字
列を含み、第２矩形領域は、「むめもやゆよ」の文字列
を含み、第３矩形領域は、「るれろわをん、」の文字列
を含む。

【００５８】図７からは、視覚的に重なり領域が存在
し、前フレームと現フレームのズレ量も識別できる。し
かし、実際に入力される情報は、前フレームの特徴情報
と現フレームの特徴情報である。それらの特徴情報から
現フレームが前フレームからどの方向にどの程度移動し
たかを算出する必要がある。

【００５９】そこで、まず、前フレームおよび現フレー
ムのそれぞれの矩形領域における特徴情報を比較し、一
致する領域が存在するかどうか判断する。後述するよう
に、特徴情報の比較は、ヒストグラム情報を用いて実施
する。

【００６０】それに先立ち、図８を参照して矩形領域の
比較の順番の概略を説明する。まず、現フレームの第１
矩形領域と前フレームの第１矩形領域を比較する。ここ
では文字情報であるが一致する領域は存在しない。次
に、現フレームの第１矩形領域と前フレームの第２矩形
領域を比較する。ここでは「つてとなに」の文字列が、
一致する領域として存在する。もし現フレームの第１矩
形領域に関して一致する領域が、全ての前フレームの矩
形領域に対して存在しない場合は、順次現フレームの第
２矩形領域に対して、同様の比較を行う。両フレームの
矩形領域に対し確認されるまで継続する。

【００６１】尚、デジタルビデオやデジタルカメラで動
画や連写によって撮影された画像では、図７に示すよう
な重なり領域が存在する。しかし、撮影者が撮影範囲を
１枚ごとに決定しながら写していく場合も、重なり領域
が存在するように撮影すれば、この発明は適用可能であ
る。

【００６２】｛特徴情報の一致確認｝図９を参照して、
特徴情報比較方法（一致確認）について説明する。一致
確認は、前述したヒストグラム情報を利用して行う。こ
こではその処理を説明するため、既に作成した図４のヒ
ストグラム情報を使用して説明を行う。前フレームの矩
形領域は「あいう」の文字列から構成され、現フレーム
の矩形領域は「いうえ」の文字列から構成されるとす
る。

【００６３】図９は、前フレームの矩形領域の特徴情報
を基準に、現フレームの矩形領域の特徴情報を矩形領域
の長辺方向にずらしながら比較する方法を示している。
ここで使用されている特徴情報は、ヒストグラム情報で
ある。

【００６４】まず前フレームのヒストグラム情報を基準
とする（図中（Ｒ）の状態）。そして、比較のために、
まず、前フレームの第１極大点と現フレームの第１極大
点を注目点としてそれぞれがＸ軸上のＡ点で等しくなる
よう現フレームのヒストグラムを位置合わせする（図中
（Ａ）の状態）。次に、この状態で前フレームと現フレ
ームのヒストグラム情報（この場合濃度量）の差分の算
出、すなわち長辺方向の各座標毎に濃度差の算出を行
い、その絶対値を比較した領域分合計を求める。このと
き、どちらかの矩形領域が存在しない領域は、差分算出
の対象外とする。すなわち差分算出は、図９の算出領域
ＬＡの範囲で行われる。

【００６５】次に差分は、比較した領域で正規化され
る。正規化は、算出した差分値を領域ＬＡの長さで割る
ことにより行われる。この正規化は比較した領域の長さ
の大小による差分の変化を補正するための平均化であ
る。

【００６６】この正規化された差分が、予め決められた
閾値より小さい場合に特徴が一致したと判断する。尚、
閾値は例えば、画像合成処理の実験により決められる。

【００６７】第１の一致確認で一致がとれないときは第
２の一致確認を行う。今度は、前フレームの第１極小点
と現フレームの第１極小点を注目点とし、Ｘ軸上Ｂ点で
等しくなるよう現フレームのヒストグラムを位置合わせ
する（図中（Ｂ）の状態）。そして、同様に算出領域Ｌ
Ｂにおいて、正規化された差分を求める。

【００６８】一致が確認できない場合、以降順次現フレ
ームの方を前フレームに対して長辺方向に移動させるよ
う位置合わせと一致度確認を繰り返す。確認順と設定す
る注目点の対応表を図１０に示す。図１０に示すよう
に、前フレームの注目点は、順次移動するが、それに対
応する現フレームの注目点は、第１の極大点と第１の極
小点を交互に繰り返す構成となる。

【００６９】図９では、前フレームの第２の極大点と現
フレームの第１極大点を位置合わせした状態（図中
（Ｃ）の状態で、算出領域ＬＣにおいて、正規化された
差分を求めたとき、その値は、ＬＣのように同じ文字列
の比較を行う場合非常に小さな値となる（実験的に求め
る閾値は、この値より大きい値として決定される。）。

【００７０】｛ずれ量の算出｝図１１を参照して、ずれ
量の算出方法を説明する。

【００７１】一致が確認された時点で、一致確認の作業
は、中断する。一致がとれた時点での代表点の座標をそ
れぞれのフレームについて求める。ここでは図７で示し
た前フレームと現フレームを基に、部分を切り出して説
明を行う。

【００７２】この実施の形態では、一致確認がとれた領
域の左上の座標を、代表点とする。前フレームの左上端
を原点（０，０）として、前フレームの代表点が（ＸＢ
１，ＹＢ１）に存在するとし、一方、現フレームの左上
端を原点（０，０）として、現フレームの代表点が（Ｘ
Ｐ２，ＹＰ２）に存在する場合、ずれ量は、＜ＸＢ１−
ＸＰ２，ＹＢ１−ＹＰ２＞となる。すなわちＸＢ１−Ｘ
Ｐ２がＸ方向のずれ量、ＹＢ１−ＹＰ２がＹ方向のずれ
量を表す（Ｓ２１０）。

【００７３】尚、この実施の形態では、カメラの移動方
向が右下、すなわち座標系に対してＸ方向もＹ方向も正
方向に移動しているので、現フレームの前フレームに対
するずれ量は、正の値を取るが、カメラの動きの方向に
よっては、負の値を取ることもあり得る。

【００７４】また、図７に示すような、重なり領域に複
数の矩形領域（図７では２個）が存在する場合、別の矩
形領域での一致度を確認することは可能である。図８に
示すように、前フレームの第２矩形領域と現フレームの
第１矩形領域が一致していると既に前述の方法で確認さ
れている場合、これを利用して、前フレームの第３矩形
領域と現フレームの第２矩形領域とが一致すると推定す
ることもできる。この場合、既にずれ量も計算されてい
るので、双方の矩形領域の比較では、Ｘ方向のずれ量だ
け現フレームの矩形領域をずらして、特徴の一致度を確
認すればよい。

【００７５】この場合、ずれ量が決定しているので差分
の算出と閾値との比較のみで特徴の一致が確認できれ
ば、重なり領域の検出の精度が高いと判断できる。ま
た、仮に２回目の特徴の一致が確認できなければ、最初
の一致が不適当であると判断され、再度、最初の特徴の
一致の確認を再開する。

【００７６】画像合成部１１６は、まずフレーム格納部
１０６から。、開始フレームを受け取り、画像合成部１
１６内のメモリ中に、例えば、左上の座標を原点となる
ように開始フレームを格納する。次に重なり領域検出部
１１４から、前フレーム（最初のステップでは開始フレ
ームに相当する）に対する現フレームのズレ量を受け取
ると、フレーム格納部１０６に対し現フレーム画像を要
求し、現フレーム画像受け取り（図１の双方向矢印１０
ｄ参照）をメモリ上にズレ量だけずらして貼り付ける
（上書きする。）（Ｓ２１１）。図１２に合成画像を示
す。

【００７７】画像合成部１１６は、現フレームが最終フ
レームかどうか判断する（Ｓ２１２）。これは、開始フ
レームの確認同様フレーム画像のヘッダ部を参照するこ
とにより行なわれる。最終フレームでない場合（Ｎ
ｏ）、一連の処理を繰り返す（Ｓ２０３）に戻る。最終
フレームである場合、全てのフレームが合成されたこと
になり、画像合成部１１６は、合成画像を外部に出力し
処理を終了する。

【００７８】換言すれば画像合成装置１００は、動画像
データを読み込み、該動画像データからある時点の１枚
の静止画像をフレーム画像を順次抽出して出力し、また
は時系列的に配列された静止画像データをフレーム画像
として順次出力する手順と、出力されたフレーム画像を
格納する手順と、格納されたフレーム画像を入力し、文
字または図形が記載された領域を抽出する手順と、抽出
された各領域の特徴を抽出する手順と、その特徴を格納
する手順と、新たに抽出された特徴を現フレームの特徴
として入力し、格納されている特徴を前フレームの特徴
として入力して、双方の特徴を比較して重なり領域を検
出する手順と、検出された重なり領域のデータに基づき
現フレームと前フレームとを合成する手順とを実行させ
るためのプログラムで動作する。このプログラムを「画
像合成プログラム」と称することとする。

【００７９】（効果）この実施の形態の画像合成装置に
よれば、デジタルカメラ等による動画または連写によっ
て撮影されたドキュメントイメージデータの部分毎のフ
レーム画像から、合成画像を得ることができる。また、
この実施の形態の一連の処理のプログラムを画像合成装
置（コンピュータ）に実行させることよって、１枚の合
成画像を得ることができる。

【００８０】また、この実施の形態によれば、重なり領
域を検出する際の特徴として、画像のヒストグラム情報
を検討し、ヒストグラムの極大点や極小点を合わせるよ
うにヒストグラムをスライドさせ特徴の一致を確認する
ので、文字認識等を用いる方法よりも、処理量が少なく
高速であり、また認識辞書のような大容量のメモリを必
要としない。また、特徴の一致確認を行え、また、文字
の位置やサイズといったものを用いる方法よりも高精度
の合成画像が得られる。

【００８１】［第２の実施の形態］図１３を参照して、
第２の実施の形態を説明する。

【００８２】（構成）図１３は、この実施の形態の画像
合成ユニットシステムの構成を示す図である。画像合成
ユニットシステム１３００は、カメラ部１３１０と合成
処理部１３２０との組み合わせから構成される。

【００８３】カメラ部１３１０は、動画撮影または連写
された画像イメージをアナログ信号として出力するセン
サ１３１２とセンサから入力された信号を多階調のデジ
タル画像に変換するＡ／Ｄ変換部１３１４とを含む。

【００８４】合成処理部１３２０の構成要素に関して、
第１の実施の形態で使用された構成要素には同じ番号が
付されている。合成処理部１３２０は、図１に参照され
る第１の実施の形態の画像合成装置１００と比較する
と、フレーム抽出部１０４が除かれた構成となってい
る。尚、Ａ／Ｄ変換部１３１４をカメラ部１３１０に代
えて合成処理部１３２０に含ませる構成とすることもで
きる。

【００８５】合成処理部１３２０は、フレーム画像を格
納するフレーム格納部１０６と、フレーム格納部１０６
に格納されたフレーム画像を入力し、文字、図形等が記
載された領域を抽出する記載領域抽出部１０８と、記載
領域抽出部１０８で抽出された各領域の特徴を抽出する
特徴抽出部１１０と、この特徴を格納する特徴情報格納
部１１２とを含む。更に、合成処理部１３２０は、重な
り領域検出部１１４を有する。重なり領域検出部１１４
は、特徴抽出部１１０で抽出された特徴を現フレームの
特徴として入力し、特徴情報格納部１１２に格納された
特徴を前フレームの特徴として入力し、双方の特徴を比
較して重なり領域を検出する。そして、合成処理部１３
２０は、重なり領域検出部１１４で検出したデータに基
づき現フレームと前フレームを合成する画像合成部１１
６を具え、画像合成部１１６は、合成された画像を出力
する。

【００８６】（動作）第２の実施の形態の画像合成ユニ
ットシステムの動作を説明する。

【００８７】カメラ部１３１０のセンサ１３１２は、ド
キュメントイメージデータが記載された画像を、動画ま
たは連写によって撮影し、連続的に画像イメージをアナ
ログ信号として取り込む。Ａ／Ｄ変換部１３１４は、セ
ンサ１３１２から入力されたアナログ信号を多階調のデ
ジタル画像に変換し、１画像作成毎に、合成処理部１３
２０に画像を出力する。

【００８８】フレーム格納部１０６は、Ａ／Ｄ変換部１
３１４で変換された多階調のデジタル画像を１画像分だ
け格納する。

【００８９】フレーム格納以降の動作は第１の実施の形
態と同様であるが、フレーム格納部には１フレームのみ
を格納している。

【００９０】換言すれば、合成処理部１３２０は、ある
種のコンピュータであり、静止画像をフレーム画像とし
て、１画像分格納する手順と、格納されたフレーム画像
を入力し、文字、図形等が記載された領域を抽出する手
順と、抽出された各領域の特徴を抽出する手順と、この
特徴を格納する手順と、新たに抽出された特徴を現フレ
ームの特徴として入力し、格納されている特徴を前フレ
ームの特徴として入力して、双方の特徴を比較して重な
り領域を検出する手順と、検出された重なり領域のデー
タに基づき現フレームと前フレームを合成する手順とを
実行させるためのプログラムで動作する。このプログラ
ムを、「リアルタイム画像合成プログラム」と称するこ
ととする。

【００９１】（効果）第２の実施の形態の画像合成ユニ
ットシステムによれば、カメラ部１３１０は、デジタル
カメラ等を利用し、動画や連写等の機能を利用し、文
字、図形等を含む画像を、いわば、なぞるように簡単な
撮影を行い、合成処理部１３２０により、合成を行うこ
とによって、充分に判断できる文字サイズを確保しつ
つ、文書媒体の全体が見える１枚の合成画像を作成でき
る。

【００９２】動画または連写画像を撮影する過程におい
て、リアルタイムで画像の合成を行えるので、撮影から
１枚の静止画像が作成されるまでの処理時間を短縮でき
る。また、フレーム格納部１０６のメモリ容量を小さく
できる利点がある。

【００９３】［第３の実施の形態］図１４を参照して、
第３の実施の形態を説明する。

【００９４】（構成）図１４は、この実施の形態の画像
合成機能付きカメラ１４００の構成を示す図である。
尚、第１の実施の形態および第２の実施の形態で使用さ
れた構成要素には同じ番号が付されている。画像合成機
能付きカメラ１４００は、図１３に示される第２の実施
の形態の画像合成ユニットと比較すると、カメラ部と合
成処理部が一体化した構成となっており、また外部に出
力する代わりに、合成画像を格納する画像格納部１１８
を有している。

【００９５】画像合成機能付きカメラ１４００は、動画
撮影または連写された画像イメージをアナログ信号とし
て出力するセンサ１３１２と、センサから入力された信
号を多階調のデジタル画像に変換するＡ／Ｄ変換部１３
１４と、デジタル画像を１画像分だけ格納するフレーム
格納部１０６とを含む。

【００９６】更に、画像合成機能付きカメラ１４００
は、フレーム格納部１０６に格納されたフレーム画像を
入力し、文字、図形等が記載された領域を抽出する記載
領域抽出部１０８と、この特徴を抽出する特徴抽出部１
１０と、この特徴を格納する特徴情報格納部１１２とを
含む。更に、画像合成機能付きカメラ１４００は、重な
り領域検出部１１４を有する。重なり領域検出部１１４
は、特徴抽出部１１０で抽出された特徴を現フレームの
特徴として入力し、特徴情報格納部１１２に格納された
特徴を前フレームの特徴として入力し、双方の特徴を比
較して重なり領域を検出する。そして、画像合成機能付
きカメラ１４００は、重なり領域検出部１１４で検出し
たデータに基づき現フレームと前フレームを合成する画
像合成部１１６と合成画像を格納する画像格納部１１８
とを有している。

【００９７】（動作）第３の実施の形態の画像合成機能
付きカメラの動作を説明する。

【００９８】センサ１３１２は、文字、図形等が記載さ
れた画像を動画または連写によって連続的に画像イメー
ジをアナログ信号として取り込む。Ａ／Ｄ変換部１３１
４は、センサ１３１２から入力されたアナログ信号を多
階調のデジタル画像に変換する。

【００９９】フレーム格納部１０６は、Ａ／Ｄ変換部１
３１４で変換された多階調のデジタル画像を１画像分格
納する。フレーム格納以降の動作は第１の実施の形態と
同様であるが、合成画像は出力する代わりに画像格納部
１１８に格納される。

【０１００】（効果）第３の実施の形態の画像合成機能
付きカメラ１４００によれば、動画や連写等の機能を利
用し、文字、画像等を含む画像を、いわば、なぞるよう
に簡単な撮影を行い、かつ充分に判断できる文字サイズ
を確保しつつ、文書媒体の全体が見える１枚の静止画像
を作成できる。

【０１０１】更に、画像合成機能をカメラに内蔵するこ
とで、動画または連写画像を撮影する過程において、リ
アルタイムで画像の合成を行えるので、撮影から１枚の
合成画像が作成されるまでの処理時間を短縮できる。ま
た、フレーム格納部１０６と画像格納部１１８のメモリ
容量を小さくできる利点がある。

【０１０２】更に、合成部と一体型なのでカメラに液晶
モニタをつけることにより、合成画像を、その場で確認
できる。また携帯性に優れる。

【０１０３】以上説明した画像合成機能付きカメラの構
成を、通常のデジタルカメラに組み込むことも可能であ
る。切り換え機構（スイッチ等）により、ある時は画像
合成の機能を使用し、ある時は、通常の撮影を行うこと
ができる。

【０１０４】尚、以上説明したこれらの実施の形態で
は、説明しなかった各種の変形が可能である。以下これ
らを説明する。

【０１０５】これら実施の形態では、撮影された画像
に対する傾き、歪み、ぼけ（ぶれ）等の問題については
特に記載されていないが、文書を撮影した静止画像に特
化した各種補正方法は確立されており、これらの技術を
用いて画像補正する構成にしても良い。その場合、フレ
ーム格納部１０６または記載領域抽出部１０８、或いは
両者の中間に画像補正部を設けることで、より精度の高
い画像合成が可能である。

【０１０６】これら実施の形態では、特徴抽出部１１
０において、極大点と極小点を求め、重なり領域を一致
するように合わせて、特徴の一致確認を行っているが、
極小点または極大点のどちらか一方だけを用いても良く
簡略化が図れる。

【０１０７】これら実施の形態では、１回目の特徴の
一致が確認された後、さらに別の矩形領域を用いて特徴
の確認を行う例を説明したが、１回目だけの特徴の一致
確認で、特徴の一致確認を終了しても良い。また、より
多く、３回以上の特徴の一致確認を行っても良い。

【０１０８】これらの実施の形態では、画像を合成す
る際に、現フレームの画像を算出したずれ量だけずらし
て上書きする方式としている。この場合、前フレームと
の重なり領域は、現フレームの画像が合成画像として採
用されることを意味している。しかし、これに限らず重
なり領域は、前フレームの画像を合成画像として採用す
る方式としても良い。また、前フレームの画像の濃度と
現フレームの画像の濃度の平均値を算出し、重なり領域
とする方式としても良い。

【０１０９】これら実施の形態では、重なり領域検出
部１１４におけるヒストグラム情報の差分の求め方とし
て、算出領域Ｌ内の全ての座標から差分を求める方式を
説明したが、これに限らず、双方のヒストグラム情報の
一致度が判別できる方法であれば、その方法を使用する
ことは可能である。例えば（１）算出領域Ｌ内のＮドッ
トおきの座標（Ｎは予め実験により決定する。）から差
分を検出する方法。（２）算出領域Ｌ内において、前フ
レームにおける極大点および極小点座標のみの差分を検
出する方法。これら（１）、（２）の方法では算出領域
Ｌ内の全てから差分を求める場合と比較して、一致の正
確性が欠けるが処理量が少ない、すなわち高速な合成が
できる利点がある。

【０１１０】［第４の実施の形態］以上の実施の形態で
は、画像合成は画像合成装置やカメラと組み合わせた装
置で行っていたが、ネットワークを利用し、画像データ
をサービス会社に送り、サービス会社のコンピュータで
画像合成を行うこともできる。利用者は合成された画像
をネットワーク或いは公衆回線を利用し、ネットワーク
端末に合成された画像を表示させたり、ＦＡＸで受信す
ることもできる。

【０１１１】尚、電話、ＦＡＸなどで利用される公衆網
もネットワークに含まれるものとする。

【０１１２】（構成）図１５に、この実施の形態の画像
合成システムの構成を示す。

【０１１３】撮影機能（カメラ部１５１２）と、画像の
ネットワーク１５５０への通信機能（通信部１５１４）
を有するカメラシステム１５１０は、ネットワーク１５
５０を介して、サービス会社のコンピュータ・システム
１５００に接続されている。サービスの利用者の複数の
ネットワーク端末１５２０、また、サービス利用者の複
数のＦＡＸ１５３０もネットワーク１５５０を介して、
サービス会社のコンピュータ・システム１５００に接続
されている。

【０１１４】サービス会社のコンピュータ・システム１
５００は、動画データまたは時系列的に入力された静止
画像データを１枚の画像に合成する画像合成部１５０２
を含む。更に、ネットワーク１５５０へ画像を送り、ネ
ットワーク端末１５２０からのアクセスを受ける保管・
公開部１５０４を含み、Ｅ−ｍａｉｌやＦＡＸ１５３０
宛に、利用者への通知や画像を送る通知部１５０６を含
む。

【０１１５】画像合成部１５０２は、サーバ（コンピュ
ータ）で構成され、第１または第２の実施の形態で説明
したプログラム、すなわち「画像合成プログラム」また
は「リアルタイム画像合成プログラム」を実行する。保
管・公開部１５０４は通常ウェブサーバ等で構成され
る。通知部１５０６はメールサーバ等で構成されソフト
ウェアを使用して画像をＦＡＸ１５３０へ送信すること
もできる。これらの構成要素すなわち処理部は、機能上
の区別を示しハードウェア上の区分では無い。一台のサ
ーバによっても実現できる。また図示していないが、サ
ーバは、ハードディスクなどのメモリを内蔵している。

【０１１６】（構成の変形例１）尚、図１５に示される
画像合成システムをＩＤおよびパスワードを利用できる
システムとすることもできる。

【０１１７】例えば、カメラ部１５１２にカメラ固有の
ＩＤコードを格納するＩＤ記憶部を設定する。そして、
このＩＤコードを画像情報と共に送信し、サービス会社
のコンピュータシステム１５００に、合成された静止画
像とペアで記録させる。

【０１１８】このような構成とすることにより、カメラ
操作者は、予め、サービス会社と、ＩＤと画像の格納先
を確保する契約をしておき、送信毎に格納先を設定しな
いようにできる。また、画像を利用者（カメラ操作者本
人の場合も、サービス契約者の場合もある。）が、サー
ビス会社のコンピュータシステム１５００の画像にアク
セスする際、ＩＤおよびパスワードの入力・確認を行う
ことによって、特定画像を第三者が閲覧することを防
ぎ、セキュリティの高いシステムを構築できる。

【０１１９】（構成の変形例２）また、第３の実施の形
態で説明した画像合成機能付きカメラをカメラ操作者が
所有している場合は、サービス会社から画像合成以外の
サービスのみを受ける契約をすることも可能である。

【０１２０】以上のシステムによって様々なサービスが
提供できる。以下、場合分けをして詳細に説明する。

【０１２１】（実施例１）図１６を参照して、利用者が
カメラシステム１５１０とネットワーク端末１５２０お
よびネットワーク１５５０を利用し、サービス会社に画
像データの合成と保管を依頼する場合の例を説明する。

【０１２２】利用者は、カメラシステム１５１０によ
りドキュメントイメージデータを連写等で複数枚撮影
し、画像をネットワーク１５５０を介してサービス会社
のコンピュータシステム１５００に送る。保管・公開部
１５０４は、画像を順次受信し、画像合成部１５０２に
転送する。画像合成部１５０２は、１枚の画像に合成
し、合成画像を保管・公開部１５０４に返送する。保管
・公開部１５０４は、この画像を利用者専用のメモリ
（ページ）に保管する。

【０１２３】利用者は、ネットワーク端末１５２０よ
り、サービス会社のホームページにアクセスする。利用
者ＩＤ、パスワード等の通常の本人確認を行った後、利
用者専用のメモリ（ページ）にアクセスする。

【０１２４】利用者は、１枚の画像を閲覧でき、また
プリントアウトもできる。また個人のＦＡＸ番号を指定
し、合成画像の送付を依頼することもできる。またＥ−
ｍａｉｌに添付して送付を依頼することもできる。この
場合通知部１５０６は、依頼されたＦＡＸ番号、メール
アドレス宛に画像を送付する。

【０１２５】尚、上記において複数フレームから１枚
の画像を合成した後、複数フレームは除去可能である。
またにおいて画像合成を行ったが、複数フレームの形
式で保存しておき、利用者の閲覧・送付要求後画像合成
を行っても良い（この方式は、以下に説明する実施例３
乃至５でも適用できる。）。

【０１２６】この実施例１の画像合成サービスによれ
ば、利用者（自分）が取り込みたい情報を、カメラシス
テム１５１０により連写等で撮影し、ネットワーク１５
５０経由でサービス会社に送付し、サービス会社に合成
・保管を依頼できる。また何時でもサービス会社にアク
セスし、１枚の画像を読むこともプリントアウトするこ
ともできる。いわば、自分専用のファイルを外部に保有
することができる。

【０１２７】（実施例２）図１７を参照して、送信者が
カメラシステム１５１０とネットワーク１５５０を利用
し、サービス会社に画像データの合成と保管および購読
者（以下、利用者と呼ぶ）への配信を依頼する場合の例
を説明する。

【０１２８】送信者は、カメラシステム１５１０によ
りドキュメントイメージデータを連写等で複数枚撮影
し、画像をネットワーク１５５０を介してコンピュータ
システム１５００に送る。保管・公開部１５０４は、画
像を順次受信し、画像合成部１５０２に転送する。画像
合成部１５０２は、１枚の画像に合成し、合成画像を保
管・公開部１５０４に返送する。保管・公開部１５０４
は、この画像を送信者専用のメモリ（ページ）に保管す
る。

【０１２９】サービス会社のコンピュータシステム１
５００は、保管・公開部１５０４に合成画像が格納され
た情報を通知部１５０６に送り、次いで通知部１５０６
は、利用者もしくは送信者から知らされたＦＡＸ番号、
メールアドレス宛に画像を送信する。

【０１３０】尚、画像合成部１５０２により合成された
画像は、保管・公開部１５０４に一旦保管せず、直接通
知部１５０６から合成画像を送信しても良い。

【０１３１】この実施例２の画像合成サービスによれ
ば、利用者は、自動的に契約で決められた合成画像を受
け取れる。いわば、ドキュメント配信サービスを受けら
れる。

【０１３２】（実施例３）図１８を参照して、送信者が
カメラシステム１５１０とネットワーク１５５０を利用
し、サービス会社に画像データの合成と保管とページの
管理および利用者への通知を依頼する場合の例を説明す
る。

【０１３３】送信者は、カメラシステム１５１０によ
りドキュメントイメージデータを連写等で複数枚撮影
し、画像をネットワーク１５５０を介してコンピュータ
システム１５００に送る。保管・公開部１５０４は、画
像を順次受信し、画像合成部１５０２に転送する。画像
合成部１５０２は、１枚の画像に合成し、合成画像を保
管・公開部１５０４に返送する。保管・公開部１５０４
は、この画像を送信者専用のメモリ（ページ）に保管す
る。

【０１３４】サービス会社のコンピュータシステム１
５００は、保管・公開部１５０４に合成画像が格納され
た情報を通知部１５０６に送り、次いで通知部１５０６
は、利用者もしくは送信者から知らされたＦＡＸ番号、
メールアドレス宛に送信者のページに合成画像が保管さ
れていることを通知する。

【０１３５】通知を受けた利用者は、送信者のページ
にアクセスし、保管されている合成画像を取得したい場
合は、ネットワーク端末１５２０よりサービス会社のコ
ンピュータシステム１５００に取得希望の情報を送信を
する。ＦＡＸ１５３０で取得希望の情報を送信しても良
い。

【０１３６】サービス会社のコンピュータシステム１
５００は、取得希望の情報を受信し、次いで通知部１５
０６は、利用者もしくは送信者から知らされたＦＡＸ番
号、メールアドレス宛に画像を送信する。

【０１３７】この実施例３の画像合成サービスによれ
ば、利用者は、合成画像が、コンピュータシステム１５
００の保管・公開部１５０４の所定のページにあること
を通知により知ることができる。実施例２が、一方的に
合成画像そのものを送ってくるのに対して、画像の要・
不要は利用者が選択できる。このことによって、不要な
ＦＡＸやメールの受け取りを防ぐことができる。

【０１３８】（実施例４）図１９を参照して、送信者が
カメラシステム１５１０とネットワーク１５５０を利用
し、サービス会社に画像データの合成と保管およびペー
ジの管理を依頼する場合の例を説明する。

【０１３９】送信者は、カメラシステム１５１０によ
りドキュメントイメージデータを連写等で複数枚撮影
し、画像をネットワーク１５５０を介してコンピュータ
システム１５００に送る。保管・公開部１５０４は、画
像を順次受信し、画像合成部１５０２に転送する。画像
合成部１５０２は、１枚の画像に合成し、合成画像を保
管・公開部１５０４に返送する。保管・公開部１５０４
は、この画像を送信者専用のメモリ（ページ）に保管す
る。

【０１４０】カメラシステム１５１０は、保管・公開
部１５０４の合成画像が格納されているページの情報
を、送信者が自ら決めたグループのネットワーク端末１
５２０やＦＡＸ１５３０に通知する。この際、パスワー
ドや画像の内容のコメント、或いは画像の取得が有料か
無料か等のコメントを添付しても良い。

【０１４１】通知を受けた利用者は、送信者のページ
にアクセスし、保管されている合成画像を取得したい場
合は、ネットワーク端末１５２０よりサービス会社のコ
ンピュータシステム１５００に取得希望の情報を送信を
する。ＦＡＸ１５３０で取得希望の情報を送信しても良
い。

【０１４２】サービス会社のコンピュータシステム１
５００は、取得希望の情報を受信し、次いで通知部１５
０６は、利用者もしくは送信者から知らされたＦＡＸ番
号、メールアドレス宛に画像を送信する。

【０１４３】この実施例４の画像合成サービスによれ
ば、利用者は、合成画像が、コンピュータシステム１５
００の保管・公開部１５０４の所定のページにあること
を通知により知ることができる。一方、送信者により、
サービスを受けることができる利用者を制限できる。こ
のため、特定のグループへの情報受け渡し、機密性の高
い画像の配布または売買に適したサービスを提供でき
る。

【０１４４】（実施例５）図２０を参照して、送信者が
カメラシステム１５１０とネットワーク１５５０を利用
し、サービス会社に画像データの合成と保管およびペー
ジの特殊な管理を依頼する場合の例を説明する。

【０１４５】送信者は、カメラシステム１５１０によ
りドキュメントイメージデータを連写等で複数枚撮影
し、画像をネットワーク１５５０を介してコンピュータ
システム１５００に送る。

【０１４６】保管・公開部１５０４は、メモリの空い
ている領域を検出し、画像を順次受信し格納すると共
に、画像合成部１５０２に転送する。画像合成部１５０
２は、１枚の画像に合成し、合成画像を保管・公開部１
５０４に返送する。保管・公開部１５０４は、この画像
を先の空メモリに格納する。更に、合成画像の格納され
ているページに名前を付け、保管場所を送信者に通知す
る。カメラシステム１５１０は、ほとんどの場合表示機
能を有しているので、送信先はカメラシステム１５１０
とすると良い。

【０１４７】カメラシステム１５１０は、保管・公開
部１５０４に合成画像が格納されているページの情報
を、送信者が自ら決めたグループのネットワーク端末１
５２０やＦＡＸ１５３０に通知する。この際、パスワー
ドや画像の内容のコメント、或いは画像の取得が有料か
無料か等のコメントを添付しても良い。

【０１４８】通知を受けた利用者は、送信者のページ
にアクセスし、保管されている合成画像を取得したい場
合は、ネットワーク端末１５２０よりをサービス会社の
コンピュータシステム１５００に取得希望の情報を送信
をする。ＦＡＸ１５３０で取得希望の情報を送信しても
良い。

【０１４９】サービス会社のコンピュータシステム１
５００は、取得希望の情報を受信し、次いで通知部１５
０６は、利用者もしくは送信者から知らされたＦＡＸ番
号、メールアドレス宛に画像を送信する。

【０１５０】この実施例５の画像合成サービスによれ
ば、利用者は、合成画像が、コンピュータシステム１５
００の保管・公開部１５０４の所定のページにあること
を通知により知ることができる。一方、送信者により、
サービスを受けることができる利用者を制限できる。こ
のため、特定のグループへの情報受け渡し、機密性の高
い画像の配布または売買に適したサービスを提供でき
る。

【０１５１】また実施例３での、画像格納先のアドレス
は、通常、送信者のホームページのアドレス等が使われ
固定されている。一方、実施例５のアドレスは、毎回変
更することも可能である。固定されたアドレスのホーム
ページは、ハッカー或いは不法に合成画像にアクセスさ
れるおそれがある。実施例５は、更に機密の高いサービ
スを提供できる。

【０１５２】

【発明の効果】以上、詳細に説明したように、この発明
の画像合成装置によれば、画像、特にドキュメントイメ
ージデータを対象に、デジタルカメラの動画撮影または
連写撮影機能を使い、いわば、なぞるような簡単な撮影
を行い、分割撮影で得られた複数のドキュメントイメー
ジデータから１枚の判読可能な静止画像を合成できる。
また合成処理の重なり領域の検出においてヒストグラム
情報を利用することにより効率的な重なり領域の検出が
可能である。

【０１５３】また、この発明の画像合成ユニットシステ
ムによれば、カメラ部と合成処理部とを組み合わせ、
「リアルタイム画像合成プログラム」を実施することに
よりリアルタイムに画像合成を行うことができ、撮影か
ら１枚の静止画像が作成されるまでの処理時間を短縮で
きる。

【０１５４】また、画像合成機能付きカメラによれば、
一体型で携帯が可能な上、動画または連写画像を撮影す
る過程において、リアルタイムで画像の合成を行え、内
部またはメモリカード等に合成画像を格納でき、更に付
属のモニタ等により合成画像を見られる利点がある。ま
た、通常のデジタルカメラに機能を組み込み、通常の撮
影も可能とすることができる。

【０１５５】また、この発明の画像合成システムによれ
ば、個人が画像合成処理装置を持つ必要はなく、サービ
ス会社が、画像合成部を有し、ネットワークを介して、
カメラ部とネットワーク端末またはＦＡＸと接続した構
成とし、送信者が撮影した分割画像から、サービス会社
は１枚の画像を合成し、利用者は、様々な形態で合成画
像を利用できる。

【０１５６】尚、この発明の撮影対象は、ドキュメント
イメージデータであれば、紙媒体に限らず、例えば、駅
の時刻表、スクリーンに表示された文字画面等であって
も良い。これらの画像の撮影は、スキャナ等では、極め
て困難であり、これら画面の合成は、この発明によっ
て、初めて達成されたものである。

【図面の簡単な説明】

【図１】第１の実施の形態の画像合成装置の構成図であ
る。

【図２】第１の実施の形態の処理の流れを示す図であ
る。

【図３】フレーム画像例と記載領域抽出状態例を示す図
である。

【図４】記載領域抽出例（横書き）とヒストグラムを示
す図である。

【図５】記載領域抽出例（縦書き）とヒストグラムを示
す図である。

【図６】極小点を示す図である。

【図７】重なりの概念図である。

【図８】矩形領域の比較の順番の概略を説明する図であ
る。

【図９】特徴情報比較方法を説明する図である。

【図１０】注目点の対応表を示す図である。

【図１１】ずれ量を説明する図である。

【図１２】合成画像を説明する図である。

【図１３】第２の実施の形態の画像合成ユニットシステ
ムの構成図である

【図１４】第３の実施の形態の画像合成機能付きカメラ
の構成図である。

【図１５】第４の実施の形態の画像合成システムの構成
図である。

【図１６】実施例１の説明図である。

【図１７】実施例２の説明図である。

【図１８】実施例３の説明図である。

【図１９】実施例４の説明図である。

【図２０】実施例５の説明図である。

【符号の説明】

１００画像合成装置１０２画像記録媒体１０４フレーム抽出部１０６フレーム格納部１０８記載領域抽出部１１０特徴抽出部１１２特徴情報格納部１１４重なり領域検出部１１６画像合成部１１８画像格納部１３００画像合成ユニットシステム１３１０カメラ部１３１２センサ１３１４Ａ／Ｄ変換部１３２０合成処理部１４００画像合成機能付きカメラ１５００サービス会社コンピュータシステム１５０２画像合成部１５０４保管・公開部１５０６通知部１５１０カメラシステム１５１２カメラ部１５１４通信部１５２０ネットワーク端末１５３０ＦＡＸ１５５０ネットワーク

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/40 １００Ｇ０６Ｔ 7/40 １００Ａ 7/60 １８０ 7/60 １８０ＤＨ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｚ (72)発明者樋口浩一東京都港区虎ノ門１丁目７番12号沖電気工業株式会社内Ｆターム(参考） 5B057 AA20 CA01 CA06 CA08 CA12 CA16 CB01 CB06 CB08 CB12 CC02 CE08 CE16 CH01 CH11 DA08 DB02 DB08 DB09 DC23 DC25 DC32 5C022 AA13 AB68 AC69 CA07 5C076 AA12 AA40 BA06 CA10 5L096 AA02 AA06 AA07 BA20 CA02 DA04 FA14 FA15 FA37 FA42 FA44 GA08 GA51

Claims

【特許請求の範囲】

【請求項１】動画像データから、ある時点の１枚の静
止画像をフレーム画像として順次抽出して出力し、また
は時系列に配列された静止画像データをフレーム画像と
して順次出力するフレーム抽出部と、前記フレーム抽出部で出力されたフレーム画像を格納す
るフレーム格納部と、前記フレーム格納部に格納された前記フレーム画像を入
力し、文字または図形が記載された領域を抽出する記載
領域抽出部と、前記記載領域抽出部で抽出された各領域の特徴を抽出す
る特徴抽出部と、該特徴を格納する特徴情報格納部と、前記特徴抽出部で抽出された特徴を現フレームの特徴と
して入力し、及び前記特徴情報格納部に格納された特徴
を前フレームの特徴として入力し、双方の特徴を比較し
て重なり領域を検出する重なり領域検出部と、前記重なり領域検出部で検出した重なり領域のデータに
基づき現フレームと前フレームとを合成する画像合成部
とを具えることを特徴とする画像合成装置。
【請求項２】コンピュータに、動画像データを読み込
み、該動画像データからある時点の１枚の静止画像をフ
レーム画像として順次抽出して出力し、または時系列的
に配列された静止画像データをフレーム画像として順次
出力する手順と、出力されたフレーム画像を格納する手順と、格納された前記フレーム画像を入力し、文字または図形
が記載された領域を抽出する手順と、抽出された各領域の特徴を抽出する手順と、該特徴を格納する手順と、新たに抽出された特徴を現フレームの特徴として入力
し、格納されている特徴を前フレームの特徴として入力
して、双方の特徴を比較して重なり領域を検出する手順
と、検出された重なり領域のデータに基づき現フレームと前
フレームとを合成する手順とを実行させるためのプログ
ラム。
【請求項３】動画像データから、ある時点の１枚の静
止画像をフレーム画像として順次抽出して出力し、また
は時系列に配列された静止画像データをフレーム画像と
して順次出力するフレーム抽出部と、前記フレーム抽出部で出力されたフレーム画像を格納す
るフレーム格納部と、前記フレーム格納部に格納された前記フレーム画像を入
力し、文字または図形が記載された領域を各矩形領域と
して抽出する記載領域抽出部と、前記記載領域抽出部で抽出された各矩形領域の長辺方向
における短辺方向の画素情報のヒストグラム情報として
特徴を抽出する特徴抽出部と、該ヒストグラム情報を格納する特徴情報格納部と、前記特徴抽出部で抽出されたヒストグラム情報を現フレ
ームの特徴として入力し、及び前記特徴情報格納部に格
納されたヒストグラム情報を前フレームの特徴として入
力し、双方のヒストグラム情報を比較して重なり領域を
検出する重なり領域検出部と、前記重なり領域検出部で検出した重なり領域のデータに
基づき現フレームと前フレームとを合成する画像合成部
とを具えることを特徴とする画像合成装置。
【請求項４】請求項３記載の画像合成装置において、
前記重なり検出部は、前記現フレームと前記前フレーム
に関して、それぞれ抽出された各矩形領域のヒストグラ
ム情報から差分を算出し、該差分が、予め決められた閾
値以下の場合に両フレームの重なり領域を検出すること
を特徴とする画像合成装置。
【請求項５】請求項３記載の画像合成装置において、
ヒストグラム情報から得られた極大点または極小点の座
標の位置合わせを行うことを特徴とする画像合成装置。
【請求項６】請求項３記載の画像合成装置において、
ヒストグラム情報の差分が閾値以下となる矩形領域を複
数検出することを特徴とする画像合成装置。
【請求項７】コンピュータに、時系列的に入力された
静止画像データをフレーム画像として格納する手順と、格納された前記フレーム画像を入力し、文字または図形
が記載された領域を抽出する手順と、抽出された各領域の特徴を抽出する手順と、該特徴を格納する手順と、新たに抽出された特徴を現フレームの特徴として入力
し、格納されている特徴を前フレームの特徴として入力
して、双方の特徴を比較して重なり領域を検出する手順
と、検出された重なり領域のデータに基づき現フレームと前
フレームとを合成する手順とを実行させるためのプログ
ラム。
【請求項８】文書を含む画像を動画または連写で撮影
するカメラ部と、前記カメラ部から入力されたデータを基に請求項７記載
のプログラムを実行することにより画像を合成する前記
合成処理部とを有することを特徴とする画像合成ユニッ
トシステム。
【請求項９】文書を含む画像を動画または連写で撮影
し、かつ請求項７記載のプログラムを実行することによ
り画像を合成することを特徴とする画像合成機能付きカ
メラ。
【請求項１０】請求項３記載の画像合成装置におい
て、ヒストグラム情報は、前記フレーム画像の階調に応
じて、２値画像の場合は、文字、図形、を構成する画素の個数
とし、濃淡画像の場合は、各画素の濃度の累計とし、或いは、カラー画像の場合は、Ｒ、Ｇ、Ｂの色素成分毎
の各濃度の累計することを特徴とする画像合成装置。
【請求項１１】文書を含む画像を動画または連写で撮
影するカメラ部と、ネットワークへ接続を行う通信部からなるカメラシステ
ムと、複数のネットワーク端末または複数のＦＡＸとに、ネッ
トワークを介して接続された画像合成システムであっ
て、画像の保管と公開を行う保管・公開部と、前記カメラシステムからの送信された画像データから１
枚の合成画像を作成する画像合成部と、該合成画像をシステム利用者の前記ネットワーク端末ま
たは前記ＦＡＸに配信する通知部を具えることを特徴と
する画像合成システム。
【請求項１２】請求項１１記載の画像合成システムで
あって、前記画像合成部は、請求項７記載のプログラムを実行す
ることによって、画像を作成することを特徴とする画像
合成システム。
【請求項１３】請求項１１記載の画像合成システムで
あって、前記画像合成部は、請求項２記載のプログラムを実行す
ることによって、画像を作成することを特徴とする画像
合成システム。
【請求項１４】請求項１１記載の画像合成システムを
使用し、送信者がカメラシステムにより撮影画像を送り、該撮影画像をサービス会社が受信し、画像を合成し、利用者が、該画像を表示または書面で受信することを特
徴とする画像合成サービス方法。