JP2005157972A - 電子絵本表示装置、及び電子絵本表示方法 - Google Patents

Abstract

【課題】 カメラで撮像された撮像画像から抽出された部分画像を、効果的に絵本情報の一部として表示させることを目的とする。
【解決手段】 コンテンツファイルとこれを表示制御させる定義ファイルとが記録された記録部１と、記録部１から読み出された前記定義ファイルを解析して前記コンテンツファイルを読み出すコンテンツ制御部２と、カメラ部３と、カメラ部３の撮像画像から所定の部分画像を抽出する画像抽出部４と、前記読み出されたコンテンツファイルと画像抽出部４で抽出された部分画像とが画像合成される画像合成部５と、前記画像合成された画像を表示する画像表示部６と、利用者からの指示情報を入力する入力部とを備えた。
【選択図】 図１

Description

本発明は、記録部に記録された画像や文章等の絵本情報を読み出して表示する電子絵本表示装置に関し、特に利用者（読者）の顔画像等をカメラで撮像して絵本情報の一部として扱うことのできる電子絵本表示装置に関する。

従来の絵本は紙に書かれたものが一般的であった。このため、絵を動かし、音を出し、又は文章を変更することは不可能であった。しかし近年では、コンピュータ技術を利用することによってディスプレイ装置上に動きのある絵、若しくは文章を表示させ、又はスピーカ等で音を発生させる等、絵本の内容を効果的に読者に提供する電子絵本が知られている。例えば、特許文献１（特開平５−１２０４００号公報）には、記憶媒体から読み出された画像、音声、文章等のデジタルデータについて、画像及び文章については合成し、又音声についてはタイミングをはかって両方を出力する電子絵本表示装置について記載されている。
特開平５−１２０４００号公報

前述したような従来の電子絵本は、物語の内容によって絵に動きを与えることができるため、従来の紙の絵本では実現し得ない表現上の効果を得ることができた。
しかし、予め用意された絵、文章に係る情報を決められた順序で閲覧する絵本であることは従来の紙の絵本と変わりがなく、物語の真意や主人公の感情を汲み取る作業は読者に任せられている。このような課題は従来の紙の絵本と電子絵本とに共通した課題であり、例えば、読者が幼年者や読解力が不足している者であった場合、このような読者の努力だけでは情報の理解が困難なこともあった。このような場合、読者に対する保護者等の助けが必要となることが多いのが実状である。

そこで、本発明は以上のような課題を解決するためになされたものであり、予め用意された絵や文章の情報だけでなく、例えば読者の顔画像情報を絵本に登場させることによって、読者が絵本の主人公であるような感情移入の効果を高め、物語における主人公の状況、気持ち、物語の内容の理解を助けるツールとしての電子絵本表示装置及びその表示方法を提供することを目的とする。

本発明は、上述した課題を解決するために以下の（１）乃至（４）の手段より構成したものである。
（１）記録部に記録された絵本情報に係るコンテンツファイルを読み出す一方、静止画又は動画を撮像するカメラ部で撮像された画像から部分画像を抽出し、この部分画像と前記コンテンツファイルデータとを合成して表示させる電子絵本表示装置であって、前記コンテンツファイルは、少なくとも画像ファイルと文章ファイルとの両方又は一方のみで構成されたものであり、前記コンテンツファイルと、このファイルデータを表示制御させる制御データを含む定義ファイルとが、少なくともそれぞれ１つ以上記録された記録部と、この記録部から供給された前記定義ファイルに含まれる前記制御データを解析し、この解析結果に基づいて前記コンテンツファイルを読み出すコンテンツ制御部と、前記カメラ部の撮像画像から部分画像を抽出する画像抽出部と、前記読み出されたコンテンツファイルと、前記抽出された部分画像と、前記制御データに含まれた部分画像を合成させるための位置情報とがそれぞれ供給されて、前記位置情報に基づいて前記コンテンツファイルデータと前記部分画像とが画像合成される画像合成部と、前記画像合成された画像を表示する画像表示部とから構成されたことを特徴とする電子絵本表示装置。

（２）前記定義ファイルの制御データは、前記部分画像が前記画像合成部で合成される際の前記部分画像の大きさを指定する情報を含み、前記画像合成部は、前記画像抽出部から供給された前記部分画像について、前記大きさを指定する情報に基づいて縮小又は拡大させて合成させる手段を更に具備したことを特徴とする請求項１に記載の電子絵本表示装置。

（３）前記定義ファイルの制御データは、前記画像抽出部で抽出された部分画像の位置情報を前記画像合成部に供給させるようコンテンツ制御部を制御する指示情報と、前記部分画像と所定の位置関係で常に画像合成させるコンテンツファイルを指定するキャラクタ制御情報とを含み、前記画像合成部は、前記画像抽出部から供給された前記部分画像と、前記キャラクタ制御情報に基づいて前記記録部から前記コンテンツ制御部に読み出されて供給されたコンテンツファイルとを前記コンテンツ制御部から供給された前記部分画像の位置情報に基づいて合成させることを特徴とする請求項１に記載の電子絵本表示装置。

（４）記録部に記録された絵本情報に係るコンテンツファイルを読み出す一方、カメラ部で撮像された画像から部分画像を抽出し、この部分画像と前記読み出されたコンテンツファイルデータとを合成して表示させる電子絵本表示方法において、前記記録部から定義ファイルを読み出すステップと、前記読み出された定義ファイルの制御データを１行単位で解析するステップと、前記解析された１行に指定されたコンテンツファイル名に基づいて前記記録部から該コンテンツファイルを読み出すステップと、カメラ部の撮像画像が画像抽出部に供給されて所定の部分画像が抽出され、前記記録部から読み出されたコンテンツファイル及び前記抽出された部分画像、並びに前記制御データの一部分が画像合成部に供給されるステップと、前記供給されたコンテンツファイルと前記部分画像とが前記制御データの一部分に基づいて画像合成されるステップと、前記画像合成された画像データが画像表示部に表示されるステップとを有する電子絵本表示方法。

以上説明したように、請求項１又は４記載の発明によれば、記録部に予め記録された絵情報と文章情報とからなる絵本情報を画像表示部に表示させながら、カメラ部で撮像された画像、例えば読者の顔画像を所定の表示位置に表示させる効果を得ることができ、これにより、読者自身が絵本に参加しているような感覚で読書を楽しむことができる。

また、特に請求項２記載の発明によれば、記録部に予め記録されている絵情報と文章情報とからなる絵本情報を画像表示部に表示させながら、カメラ部で撮像された画像、例えば読者の顔画像を所定の位置に表示させる場合に、前記顔画像を所定の大きさに変更して表示させる効果を得ることができ、絵本の登場人物の顔を読者の顔に置き換えて見ることができる等、従来の電子絵本にない格別な画像効果を得ることができる。

また、特に請求項３記載の発明によれば、記録部に予め記録されている絵情報と文章情報とからなる絵本情報を画像表示部に表示させながら、カメラ部で撮像された画像、例えば読者の顔画像を所定の倍率で同時に表示させて、それを読者の動きに応じて表示位置を変える効果を得ることができる。さらに、予め読者の顔画像に連動して動かすコンテンツを決めておけば、読者の動きに応じて読者の顔と前記コンテンツとを一体として表示位置を変えることができる。これにより、絵本の登場人物の顔を読者の顔に置き換え、さらに読者の動きに合わせて画像を動かす等、従来の電子絵本と比較して極めて顕著な効果を得ることができる。

以下、本発明を実施するための最良の形態につき、各実施例について説明する。

図１は、本発明の実施例１に係る電子絵本表示装置の全体構成を示した図である。図１において、１は絵本情報すなわち絵情報と文章情報の両方あるいは一方の情報、及びこの絵本情報を表示制御する制御情報を記録した記録媒体を具備し、この記録媒体から前記各情報を読み出す機能を具備した記録部、２は記録部１から読み出された前記制御情報に基づき、前記絵本情報を読み出して後述する画像合成部５に供給し、又後述する画像抽出部４を制御するコンテンツ制御部、３は本電子絵本表示装置の利用者（読者）又は他のものを撮像してその撮像画像を出力するカメラ部、４はカメラ部３から供給された前記撮像画像について、コンテンツ制御部２の制御に基づき所定の部分画像を抽出する画像抽出部、５はコンテンツ制御部２から供給された前記絵本情報と、画像抽出部４から供給された前記部分画像とを合成して合成画像を出力する画像合成部、６は画像合成部５から供給された前記合成画像を表示する画像表示部、７は前記利用者（読者）が指示等を入力するための入力部である。

以上の構成において、記録部１に具備される前記記録媒体は、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク、メモリカード、フロッピー（登録商標）ディスク等のデジタルデータを読み出しできる媒体である。また、コンテンツ制御部２は、図示しないＣＰＵを具備し、記録部１から供給された前記絵本情報及び制御情報を制御するものである。また、画像表示部６は、ＶＧＡモニタ等パーソナルコンピュータ（以下、ＰＣ）の情報を表示させるのに適した方式のモニタであってよいし、又ＮＴＳＣ／ＰＡＬ方式等のテレビモニタであってもよく、表示させる前記合成画像は画像合成部５の出力段にて適切な表示形式に変換され供給される。さらに、入力部７は前記利用者（読者）からの指示をコンテンツ制御部２に供給できるものであればよく、例えば操作ボタンを具備した専用の操作卓、又はキーボード、マウス、タブレット等の汎用の入力装置であってよい。

以上により、本電子絵本表示装置は、前記記録媒体の読み出し制御ができてカメラ部３からの前記撮像画像を取り込むための画像入力部を備えたＰＣ、及びこのＰＣに接続可能な入力部７と画像表示部６、並びにカメラ部３からなるシステムでハードウェアを構成し、画像抽出部４及び画像合成部５を前記ＰＣ上で動作するソフトウェアで構成してもよく、又は各構成要素を専用ハードウェアとソフトウェアで構成してもよい。

次に、記録部１に記録された各種情報について説明する。記録部１には前記絵本情報として前記絵情報と文章情報の両方あるいは一方、及び前記制御情報が格納されている。これにおいて、前記絵情報は、例えばＪＰＥＧデータ、ＧＩＦデータ、ＰＮＧデータ、ビットマップデータ等の画像フォーマットによるピクセルデータであってよく、又はベクタデータであってもよい。また、前記文章情報は、例えばＡＳＣＩＩコードによるテキストデータであってよいし、又はＨＴＭＬデータであってもよい。

また、前記制御情報は、絵本のストーリ展開に対応して前記絵本情報を再生表示させるために、前記絵本情報のファイル名と、再生する順番と、その再生時間等とに係るデータを有するものであり、前記文章情報と同様にテキストデータやＨＴＭＬデータ等のフォーマットによるものである。

以上により、ファイル化された前記絵情報が画像ファイル１ａ、前記文章情報が文章ファイル１ｂ、前記制御情報が定義ファイル１ｃとして図１に図示されている。
なお、これらのファイルは、それぞれ１つに限らず複数が記録部１に記録されていてもよいものであり、１つの絵本について１つの定義ファイル１ｃが対応し、各定義ファイル１ｃには１つ以上の画像ファイル１ａと文章ファイル１ｂとの両方又は一方が関連づけられる。

次に、本実施例１に係る電子絵本表示装置の動作と定義ファイル１ｃの具体的な内容について図を用いて説明する。記録部１には予め、少なくとも１つ以上の画像ファイル１ａ、文章ファイル１ｂ、及び定義ファイル１ｃが記録されているものとする。まず、本電子絵本表示装置が起動された後、読者等操作者は所望の絵本に対応した１つの定義ファイル１ｃを入力部７から指定し、それによりコンテンツ制御部２は記録部１から定義ファイル１ｃを読み込む。そしてコンテンツ制御部２は、この読み込まれた定義ファイル１ｃについて記述内容を解析してその内容を処理する。

ここで、コンテンツ制御部２の処理の流れを図２のフローチャートと共に説明する。図２によれば、まず、コンテンツ制御部２は、記録部１から定義ファイル１ｃを読み込む（ステップＳ２１）。次に、この読み込まれた定義ファイル１ｃのデータの中から１行を抽出し、その行が解析できる有効行であるか否かを調べる（ステップＳ２２）。前記行が有効行であると判断された場合は（ステップＳ２２のＹｅｓ）、前記有効行の記述内容を解析する（ステップＳ２３）。次に、この解析された内容に基づき所定の処理を実行する（ステップＳ２４）。次に、解析すべき行の対象を次の行に進め（ステップＳ２５）、ステップＳ２２の処理に戻る。ステップＳ２２乃至ステップＳ２５の処理は、処理すべき行がなくなるまで繰り返し実行される。そして、前記処理すべき行がなくなったときに（ステップＳ２２のＮｏ）処理は終了する。なお、上記説明において、ステップＳ２４に示した所定の処理の内容については、その詳細を後述する。

次に、上記の手順で処理される定義ファイル１ｃの内容について図３を用いて説明する。図３は、本実施例１における定義ファイル１ｃの内容を例示したものである。図３に示したように、定義ファイル１ｃは少なくとも、ＩＤ３１、ファイル名３２、開始タイミング３３、継続時間３４、コンテンツ位置３５、及び部分画像位置３６の６つの項目によるデータで構成されている。

これにおいて、ＩＤ３１は各行毎に付与された識別子であり、それぞれの識別子は数字、文字、記号又はそれらの組み合わせから構成され、1つの定義ファイル１ｃにおいては、それぞれの識別子が重複しないよう付与される必要がある。このＩＤ３１は、コンテンツ制御部２が各行を解析して実行する際に参照されるキー情報となる。なお、本実施例１では、ＩＤ３１は数字０から始まる連番で付与されるものとする。

ファイル名３２は、ＩＤ３１に関連づけられた画像ファイル１ａ又は文章ファイル１ｂ（以下、コンテンツファイル）のファイル名であり、コンテンツ制御部２がこのファイル名を参照して記録部１から該当する前記コンテンツファイルを読み出すためのデータである。

開始タイミング３３は、記録部１から前記読み出されたコンテンツファイルを画像表示部６に表示開始させるタイミングを示すデータであり、例えば０又は１を定義し、０は直ちに前記コンテンツファイルの表示を開始させ、１は１つ前の有効行までの処理が完了するまで表示を停止させるという処理を関連付けるものである。

継続時間３４は、前記コンテンツファイルを画像表示部６に表示させる表示時間を秒数で示したものである。但し、例えば０が指定された場合は、読者の指示があるまで表示し続けるという処理を関連付けるものである。

コンテンツ位置３５は、前記コンテンツファイルが画像合成部５で合成される際の座標値を示したものであり、例えば画面水平方向をＸ軸、垂直方向をＹ軸とし、画面左上端を基準点（Ｘ，Ｙ）＝（０，０）として前記座標値を設定するものである。
部分画像位置３６は、後述する画像抽出部４が画像合成部５に供給した前記部分画像が合成される際の部分画像座標値を示したものである。この座標の絶対基準値は上記コンテンツ位置３５の定義に従ってよい。なお、前記部分画像座標値は、前記部分画像の中心座標を指定してもよいし、前記部分画像の左上座標を指定する等してもよい。本例では、中心座標を指定するものとして以下説明する。

また、図３に示した定義ファイル１ｃおいて、先頭行の最初のカラムに＃が付けられているが、これはこの行全てがいわゆるコメント行であることを示している。行の途中に＃がある場合は、この行に限り＃以降がコメントであることを示している。つまり、予め＃を特別な識別子として定義し、行の先頭又は途中に＃を付加することで、コンテンツ制御部２は行を解析する最初のステップで行中の＃を検索し、＃を発見した場合はこの＃以降の記述を無視するよう制御する。本実施例１では、前記特別な識別子を＃に定義して用いたが、これに限定される必要はなく、数字、文字、記号又はそれらの組み合わせを定義してもよい。必要なのは、他のデータと重複しないような特別な識別子を定義付けることである。

以下、上記の内容で定義された図３の定義ファイル１ｃを用い、電子絵本表示装置の処理動作を説明する。まず、コンテンツ制御部２は第１行目のデータ解析を行う。この第１行目の先頭カラムには上記説明した識別子＃が付加されているため、コンテンツ制御部２は第１行目全てがコメント行であると判断してこの行の解析処理を止め、次の行に処理を移行させる。

次に、コンテンツ制御部２は第２行目のデータ解析を行う。コンテンツ制御部２は、第２行目がコメント行でないことを確認した後、本行のＩＤ３１以外の各データをＩＤ３１に関連付けるよう記憶する。次に、コンテンツ制御部２は開始タイミング３３を参照してファイル名３２に指定されたコンテンツファイル名の読み出しタイミングを制御する。つまり、開始タイミング３３に基づいて前記コンテンツファイルを記憶部１から読み出し、コンテンツ位置３５に示された座標値と共に画像合成部５に出力する。また、継続時間３４に基づき時間の制御を開始する。部分画像位置３６には何の記述もないので処理はされない。

以上によれば、第２行目のデータはＩＤ３１が０、ファイル名３２がＷａｋｕ１．ｊｐｇ、開始タイミング３３が０、継続時間３４が０、コンテンツ位置３５が（１００，２０）、部分画像位置３６が指定なしであるので、コンテンツ制御部２は、「Ｗａｋｕ１．ｊｐｇを直ぐに読み出して座標（１００，２０）に表示させて読者の入力指示を待つ。」という処理を実行することになる。

次に、コンテンツ制御部２は第３行目のデータ解析を行う。この行には部分画像位置３６が設定されている。コンテンツ制御部２は部分画像位置３６に示された部分画像座標値を画像合成部５及び画像抽出部４に出力する。以上によれば、第３行目のデータはＩＤ３１が１、ファイル名３２がＴｅｘｔ１．ｔｘｔ、開始タイミング３３が０、継続時間３４が０、コンテンツ位置３５が（２０，４００）、部分画像位置３６が（１５０，８０）であるので、コンテンツ制御部２は、「Ｔｅｘｔ１．ｔｘｔを直ぐに読み出して座標（２０，４００）に表示させて読者の入力指示を待つと共に、座標（１５０，８０）に後述する部分画像の中心位置を合わせて表示させる。」という処理を実行することになる。
次に、コンテンツ制御部２は第４行目のデータ解析を行う。これによると、第４行目のデータはＩＤ３１が２、ファイル名３２がＴｅｘｔ２．ｔｘｔ、開始タイミング３３が１、継続時間３４が１０、コンテンツ位置３５が（０，４００）、部分画像位置３６が指定なしであるので、コンテンツ制御部２は、「ＩＤ３１＝０及びＩＤ３１＝１の処理が完了した後、Ｔｅｘｔ２．ｔｘｔを読み出して座標（０，４００）に１０秒間表示させる。」という処理を実行することになる。

以上のようにして定義ファイル１ｃはコンテンツ制御部２によって解析され、その解析結果に基づいて記録部１に記録されている画像ファイル１ａと文章ファイル１ｂとが画像合成部５に供給される。

次に、カメラ部３で撮像された画像の処理について以下説明する。本電子絵本表示装置が起動された後、自動的に又は読者等操作者の操作によってカメラ部３は撮像を開始する。ここに、撮像される被写体は、読者が絵本に登場させたいと所望する人の顔であることが望ましい。本実施例１では、カメラ部３は読者の顔を撮像するものとする。
まず、カメラ部３は被写体である読者の顔を撮像してその画像データを画像抽出部４に供給する。画像抽出部４は、前記供給された画像データについて人間の顔の特徴を捉えて顔画像を含む四角形領域を決定し、この四角形領域の顔画像データを部分画像として図示しない記憶部に記憶させる。これにおいて、前記部分画像は前記記憶部にリングバッファのように記憶され続ける。そして、コンテンツ制御部２から部分画像位置３６が供給されたときに前記記憶部に記憶されている部分画像を画像合成部５に出力する。

これにおいて、画像抽出部４において実行される前記人間の顔の特徴を捉えて顔画像を抽出する技術は、周知の画像認識技術を用いることで実現することができる。特に、本例の場合は、顔画像の特徴を捉えるためのアルゴリズムを利用した前記画像認識技術を用いる。

以上により、画像合成部５は、コンテンツ制御部２から供給された前記コンテンツファイルと画像抽出部４から供給された前記部分画像とを、コンテンツ制御部２から供給されたコンテンツ配置３５と部分画像位置３６との座標値に基づき、図示しない画像メモリ上に合成させる。
このようにして、画像合成部５で合成された画像データは画像表示部６に出力されて映像として表示される。図４に、本実施例１における図３の定義ファイルに基づき表示された電子絵本の表示例を示す。

以上から、本実施例１に示した電子絵本表示装置を用いることにより、記録部１に予め記録された絵情報と文章情報とからなる絵本情報を画像表示部６に表示させながら、カメラ部３で撮像された画像、例えば読者の顔画像を所定の表示位置に表示させることができ、これにより、読者自身が絵本の場面に参加しているような感覚で読書を楽しむことができる。

本実施例２は、画像抽出部４から画像合成部５に供給された部分画像を定義ファイル１ｃで指定された所定の４角形領域に拡大又は縮小させて合成させるという点において、前述の実施例１とは内容を異なるものとさせている。

本実施例２の定義ファイル１ｃを図５に例示する。図５において、ＩＤ３１、ファイル名３２、開始タイミング３３、継続時間３４、及びコンテンツ位置３５は前述した実施例１における定義ファイル１ｃの構成と同一であるため、これらについては同一の番号を用いる。本例においては部分画像領域５６が定義される。この部分画像領域５６は２つの座標値から構成され、これらは画像合成部５の画像メモリ上における対角２点の座標値を示したものである。これにより、前記対角２点を含んだ４角形領域を指定することができる。

また、画像合成部５は、画像抽出部４から供給された前記部分画像について、部分画像領域５６の前記４角形領域にマッピングするために拡大又は縮小処理を行うよう構成されて処理する。これにおける前記部分画像についての拡大又は縮小処理技術は、周知の画像処理技術によって実現されるものである。

次に、上記の内容で定義された図５の定義ファイル１ｃを用いて電子絵本表示装置の処理動作を説明する。実施例１と同様に、コンテンツ制御部２は第１行目からデータ解析を行う。実施例１において説明したように、コンテンツ制御部２は第１行目がコメント行であることを判断して処理を第２行目に移行する。次に、コンテンツ制御部２は第２行目がコメント行でないことを確認した後、本行のＩＤ３１、ファイル名３２、開始タイミング３３、継続時間３４、コンテンツ位置３５の解析を行う。そして、部分画像領域５６に示された２つの座標値を画像合成部５及び画像抽出部４に出力する。

以上によれば、第２行目のデータはＩＤ３１が０、ファイル名３２がＳｈｏｕｊｏ１．ｊｐｇ、開始タイミング３３が０、継続時間３４が０、コンテンツ位置３５が（０，０）、部分画像領域５６が（（１００，１０），（１２９，３９））であるので、コンテンツ制御部２は、「Ｓｈｏｕｊｏ１．ｊｐｇを直ぐに読み出して座標（０，０）に表示させて読者の入力指示を待つと共に、座標（１００，１０）と（１２９，３９）とで示される４角形領域に部分画像を表示させる。」という処理を実行することになる。

次に、コンテンツ制御部２は第３行目のデータ解析を行うが、これは実施例１にて説明した内容で十分理解できる。よって、第３行目のデータはＩＤ３１が１、ファイル名３２がＴｅｘｔ３．ｔｘｔ、開始タイミング３３が０、継続時間３４が０、コンテンツ位置３５が（２０，４００）、部分画像領域５６が指定なしであるので、コンテンツ制御部２は、「Ｔｅｘｔ３．ｔｘｔを直ぐに読み出して座標（２０，４００）に表示させて読者の入力指示を待つ。」という処理を実行することになる。

このようにして、画像合成部５で合成された画像データは画像表示部６に出力されて映像として表示される。本実施例２における図５の定義ファイル１ｃに基づき表示された電子絵本の表示を図６に例示する。

以上から、本実施例２に示した電子絵本表示装置を用いることにより、記録部１に予め記録されている絵情報と文章情報とからなる絵本情報を画像表示部６に表示させながら、カメラ部３で撮像された画像、例えば読者の顔画像を所定の位置に表示させる場合に、前記顔画像を所定の大きさに変更して表示させることができるため、絵本の登場人物の顔を読者の顔に置き換えて見ることができる等、従来の電子絵本にない格別な画像効果を得ることができる。

本実施例３は、カメラ部３で撮像された被写体の動きに応じて、画像抽出部４から画像合成部５に供給される部分画像を画像合成部５が具備する画像メモリ上でその合成位置を変化させ、かつ前記部分画像に関連付けられたコンテンツファイルのデータを前記部分画像と一体の位置関係で合成させるという点において、前述の実施例１及び２とは内容を異なるものとさせている。

本実施例３の定義ファイル１ｃを図７に例示する。図７において、部分画像処理方法７６とキャラクタＩＤ７７とが新たに定義される。この内、部分画像処理方法７６は、（（モード０，モード１），（Ｘ倍率，Ｙ倍率））というデータで構成される。これにおいて、この（モード０，モード１）は、画像抽出部４で抽出された前記部分画像の画像抽出部４が有する記憶部における絶対位置を制御するための指示情報である。つまり、例えば（モード０，モード１）＝（−１，−１）と指定された場合、コンテンツ制御部２は画像抽出部４に対して前記抽出された部分画像を含む四角形領域の前記記憶部上の座標値を取得するよう指示するものである。また、前記（Ｘ倍率，Ｙ倍率）は、画像合成部５に対して前記部分画像を画像メモリにマッピングさせる際の縦方向及び横方向の倍率を指定するものである。例えば、横方向をＸ方向とすれば横方向の倍率が前記Ｘ倍率となり、縦方向をＹ方向とすれば縦方向の倍率が前記Ｙ倍率となる。これにより、カメラ３で撮像された被写体の動きに応じて画像抽出部４で抽出された前記部分画像は、その前記絶対位置と共に画像合成部５に供給されることとなるため、前記被写体の動きを画像合成部５において再現することが可能となる。

一方、キャラクタＩＤ７７は、前記部分画像と一緒に画面上を移動させるためのコンテンツを指定するためのＩＤである。このキャラクタＩＤ７７に指定されたＩＤは前記コンテンツについて指定する行のＩＤ３１が指定される。そして、この関連付けられたＩＤ３１にはファイル名３２、部分画像処理方法７６が指定される。このファイル名３２には前記コンテンツのファイル名が記述される。又部分画像処理方法７６に指定されるデータは前記部分画像位置からの相対位置を表し、その内訳は（（Ｘ座標基準値，Ｙ座標基準値），（Ｘ座標オフセット，Ｙ座標オフセット））である。例えば、前記Ｘ座標基準値をＬ，Ｃ，又はＲ、前記Ｙ座標基準値をＴ，Ｃ，又はＢと指定し、それぞれをＬ＝部分画像の左側、Ｃ＝部分画像の中央、Ｒ＝部分画像の右側、Ｔ＝部分画像の上側、Ｂ＝部分画像の下側と定義する。前記Ｘ座標オフセットとＹ座標オフセットは、前記Ｘ座標基準値とＹ座標基準値からのそれぞれのオフセット値を示す。

次に、上記の内容で定義された図７の定義ファイル１ｃを用いて電子絵本表示装置の処理動作を説明する。実施例１と同様に、コンテンツ制御部２は第１行目からデータ解析を行う。実施例１において説明したように、コンテンツ制御部２は第１行目がコメント行であることを判断して処理を第２行目に移行する。次に、コンテンツ制御部２は第２行目がコメント行でないことを確認した後、本行のＩＤ３１、ファイル名３２、開始タイミング３３、継続時間３４、コンテンツ位置３５の解析を行う。そして、コンテンツ制御部２は部分画像処理方法７６の前記（モード０，モード１）を解析し、画像抽出部４に対して前記抽出された四角形領域の記憶部上の座標値を取得するよう制御する。次に、コンテンツ制御部２は部分画像処理方法７６の前記（Ｘ倍率，Ｙ倍率）を解析しする。以上により、画像抽出部４は前記部分画像と共に前記記憶部上の座標値を画像合成部５に出力し、一方、コンテンツ制御部２は、画像合成部５に前記（Ｘ倍率，Ｙ倍率）を供給する。さらに、コンテンツ制御部２はキャラクタＩＤ７７を取得しそのＩＤを記憶する。

以上によれば、第２行目のデータはＩＤ３１が０、ファイル名３２がＨａｉｋｅｉ１．ｊｐｇ、開始タイミング３３が０、継続時間３４が０、コンテンツ位置３５が（０，０）、部分画像処理方法７６が（（−１，−１），（０．６，０．６））、及びキャラクタＩＤ７７が２であるので、コンテンツ制御部２は、「Ｈａｉｋｅｉ１．ｊｐｇを直ぐに読み出して座標（０，０）に表示させて読者の入力指示を待つと共に、画像抽出部４において指定された位置に部分画像を（０．６，０．６）の倍率で表示させる。」という処理を実行することになる。

次に、コンテンツ制御部２は第３行目のデータ解析を行うが、これは実施例１にて説明した内容で十分理解できる。よって、第３行目のデータはＩＤ３１が１、ファイル名３２がＴｅｘｔ４．ｔｘｔ、開始タイミング３３が０、継続時間３４が０、コンテンツ位置３５が（１０，４００）、部分画像処理方法７６が指定なし、及びキャラクタＩＤ７７が指定なしであるので、コンテンツ制御部２は、「Ｔｅｘｔ４．ｔｘｔを直ぐに読み出して座標（１０，４００）に表示させて読者の入力指示を待つ。」という処理を実行することになる。

次に、コンテンツ制御部２は第４行目のデータ解析を行う。ここでのＩＤ３１は前記第２行目の解析においてコンテンツ制御部２が記憶したＩＤ７７の値と一致するため、コンテンツ制御部２は、本行が前記部分画像に関連付けられたコンテンツについての記述であると判断する。次に、コンテンツ制御部２は本行のファイル名３２に示されたコンテンツファイルを記憶部１から読み出し、そしてコンテンツ位置３５を解析して前記（（Ｘ座標基準値，Ｙ座標基準値），（Ｘ座標オフセット，Ｙ座標オフセット））から得られる座標情報を前記コンテンツファイルのデータと共に画像合成部５に供給する。

以上によれば、第４行目のデータはＩＤ３１が２、ファイル名３２がＢｏｄｙ１．ｐｎｇ、開始タイミング３３が記載なし、継続時間３４が記載なし、コンテンツ位置３５が記載なし、部分画像処理方法７６が（Ｃ，Ｂ，０，０）、及びキャラクタＩＤが記載なしであるので、コンテンツ制御部２は、「Ｂｏｄｙ１．ｐｎｇを読み出して部分画像の中央真下の座標に表示させる。」という処理を実行することになる。

このようにして、画像合成部５で合成された画像データは画像表示部６に出力されて映像として表示される。本実施例３における図７の定義ファイルに基づいて表示された電子絵本の表示例を図８に示す。

以上から、本実施例３に示した電子絵本表示装置を用いることにより、記録部１に予め記録されている絵情報と文章情報とからなる絵本情報を画像表示部６に表示させながら、カメラ部３で撮像された画像、例えば読者の顔画像を所定の倍率で同時に表示させて、それを読者の動きに応じて表示位置を変えることができる。また、予め前記読者の顔画像に連動して動かすコンテンツを決めておけば、読者の動きに応じて読者の顔と前記コンテンツとが一体となって表示位置を変えることができる。これにより、絵本の登場人物の顔を読者の顔に置き換え、さらに読者の動きに合わせて画像を動かす等、従来の電子絵本と比較して極めて顕著な画像効果を得ることができる。

本発明は、電子絵本表示装置の他、プレゼンテーションツールとしての利用可能性がある。つまり、テキスト、図形、写真等のプレゼンテーション資料を予め記録部１に記録しておき、プレゼンテーターの顔や姿全体をカメラ部３で撮像して前記プレゼンテーション資料と同時に、しかも関連付けをもって表示することができるので、従来にないリアル感のある効果的なプレゼンテーションを行うことが可能である。

本発明に係る電子絵本表示装置の全体ブロック図である。 コンテンツ制御部２の処理の流れを示したフローチャート図である。 本発明の実施例１における定義ファイル１ｃの一つの例である。 本発明の実施例１におけるコンテンツの例と画像表示部６の表示例を示した図である。 本発明の実施例２における定義ファイル１ｃの一つの例である。 本発明の実施例２におけるコンテンツの例と画像表示部６の表示例を示した図である。 本発明の実施例３における定義ファイル１ｃの一つの例である。 本発明の実施例３におけるコンテンツの例と画像表示部６の表示例を示した図である。

符号の説明

１ 記憶部
１ａ 画像ファイル
１ｂ 文章ファイル
１ｃ 定義ファイル
２ コンテンツ制御部
３ カメラ部
４ 画像抽出部
５ 画像合成部
６ 画像表示部

Claims (4)

1. 記録部に記録された絵本情報に係るコンテンツファイルを読み出す一方、静止画又は動画を撮像するカメラ部で撮像された画像から部分画像を抽出し、この部分画像と前記コンテンツファイルデータとを合成して表示させる電子絵本表示装置であって、
   前記コンテンツファイルは、少なくとも画像ファイルと文章ファイルとの両方又は一方のみで構成されたものであり、
   前記コンテンツファイルと、このファイルデータを表示制御させる制御データを含む定義ファイルとが、少なくともそれぞれ１つ以上記録された記録部と、
   この記録部から供給された前記定義ファイルに含まれる前記制御データを解析し、この解析結果に基づいて前記コンテンツファイルを読み出すコンテンツ制御部と、
   前記カメラ部の撮像画像から部分画像を抽出する画像抽出部と、
   前記読み出されたコンテンツファイルと、前記抽出された部分画像と、前記制御データに含まれた部分画像を合成させるための位置情報とがそれぞれ供給されて、前記位置情報に基づいて前記コンテンツファイルデータと前記部分画像とが画像合成される画像合成部と、
   前記画像合成された画像を表示する画像表示部と、
   から構成されたことを特徴とする電子絵本表示装置。
2. 前記定義ファイルの制御データは、前記部分画像が前記画像合成部で合成される際の前記部分画像の大きさを指定する情報を含み、
   前記画像合成部は、前記画像抽出部から供給された前記部分画像について、前記大きさを指定する情報に基づいて縮小又は拡大させて合成させる手段を、
   更に具備したことを特徴とする請求項１に記載の電子絵本表示装置。
3. 前記定義ファイルの制御データは、前記画像抽出部で抽出された部分画像の位置情報を前記画像合成部に供給させるようコンテンツ制御部を制御する指示情報と、前記部分画像と所定の位置関係で常に画像合成させるコンテンツファイルを指定するキャラクタ制御情報とを含み、
   前記画像合成部は、前記画像抽出部から供給された前記部分画像と、前記キャラクタ制御情報に基づいて前記記録部から前記コンテンツ制御部に読み出されて供給されたコンテンツファイルとを、前記コンテンツ制御部から供給された前記部分画像の位置情報に基づいて合成させる
   ことを特徴とする請求項１に記載の電子絵本表示装置。
4. 記録部に記録された絵本情報に係るコンテンツファイルを読み出す一方、カメラ部で撮像された画像から部分画像を抽出し、この部分画像と前記読み出されたコンテンツファイルデータとを合成して表示させる電子絵本表示方法において、
   前記記録部から定義ファイルを読み出すステップと、
   前記読み出された定義ファイルの制御データを１行単位で解析するステップと、
   前記解析された１行に指定されたコンテンツファイル名に基づいて前記記録部から該コンテンツファイルを読み出すステップと、
   カメラ部の撮像画像が画像抽出部に供給されて所定の部分画像が抽出され、前記記録部から読み出されたコンテンツファイル及び前記抽出された部分画像、並びに前記制御データの一部分が画像合成部に供給されるステップと、
   前記供給されたコンテンツファイルと前記部分画像とが前記制御データの一部分に基づいて画像合成されるステップと、
   前記画像合成された画像データが画像表示部に表示されるステップと、
   を有する電子絵本表示方法。
   
   

Images