JP3564076B2

JP3564076B2 - Image communication apparatus, image communication method, and program recording medium

Info

Publication number: JP3564076B2
Application number: JP2001059549A
Authority: JP
Inventors: 広市吉田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-03-05
Filing date: 2001-03-05
Publication date: 2004-09-08
Anticipated expiration: 2021-03-05
Also published as: JP2002261995A

Description

【０００１】
【発明の属する技術分野】
本発明は、静止画像や動画像に関する各種画像データを送受信する画像通信装置、画像通信方法及び画像通信プログラム記録媒体に関する。
【０００２】
【従来の技術】
従来の画像通信装置には、たとえば、特開平８−１１５３１２号公報「マルチメディア文書再生装置、マルチメディア文書編集装置およびマルチメディア文書編集再生装置」にて開示されているように、複数のシーンにまたがる動画像データを記録している画像データ１本をすべてダウンロードする前に、順次ダウンロードしながら再生を行なうことを可能とするマルチメディア文書再生装置、マルチメディア文書編集装置およびマルチメディア文書編集再生装置を提供しているものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の技術においては、すべてをダウンロードする前に、順次再生する技術として、１種類の画像データのみに関するものであり、複数種類からなる複数本の画像データについて、切り替えながら、ダウンロードを継続させるようには、考慮されていない。また、ダウンロードを行なう際に、端末側の通信速度や表示速度を自動的に検出して、送信すべき画像データを適宜切り替えてダウンロードさせるがごとき技術も実現できていない。
従って、端末側の通信速度が遅い場合であっても、選択した１種類のみからなる１本の画像データしかダウンロードができないため、画像データの転送が、画像の再生表示速度に追い付くことができず、画像表示をスムーズに行なうことができなくなる場合が発生するという欠点があった。
【０００４】
本発明は、かかる問題を解決するためになされたものであり、端末側の通信速度に応じて、選択されている画像データのデータ種別（たとえば、静止画像データと動画像データ）を、適宜自動的に切り替えて、画像の再生表示速度に間に合うようにダウンロードさせることにより、ダウンロード要求元である受信者側にとって、ストレスを生じさせることなく、画像表示がなされることを可能にせんとするものである。
【０００６】
【課題を解決するための手段】
第１の技術手段は、複数の画像データからなる一連の画像データ群を送信するためのデータ送信手段と、前記一連の画像データ群を送信する送信先となる相手端末毎の通信速度を求めるための端末速度検出手段と、前記画像データ毎の送信に要する前記相手端末毎の送信時間を求める送信時間予測手段と、前記画像データ毎に前記画像データの再生表示に要する表示時間を求める表示時間算出手段とを有し、更に、前記送信時間予測手段に基づいて、先に送信した画像データが送信先の前記相手端末において受信が完了されたと判断される時点から、次に送信すべき次画像データの送信を開始する次データ送信手段と、該次画像データが送信先の前記相手端末において受信が完了されたと判断される時点で、先に送信して再生表示中の状態にある前記画像データの前記表示時間が、まだ、経過していない場合、前記表示時間が経過するまでの空き時間を利用して、後に送信すべき画像データのうち単位時間当たりまたは単にデータ容量が大きい画像データを先取りして送信させる先行データ送信手段とを有する画像通信装置において、前記次データ送信手段が、先に送信して再生表示中の状態にある前記画像データの前記表示時間が、まだ、経過する前に、前記次画像データの送信が完了しているように、次に送信すべき前記次画像データの対象となる画像データ種別を自動的に選択することができる次データ選択手段を有している画像通信装置とすることを特徴とするものである。
【０００７】
第２の技術手段は、前記第１の技術手段に記載の画像通信装置において、前記次データ選択手段が、選択対象とする前記画像データ種別として、動画像データか、あるいは、静止画像データかのいずれかを選択するものである画像通信装置とすることを特徴とするものである。
【００１１】
第３の技術手段は、複数の画像データからなる一連の画像データ群を送信する相手端末毎の通信速度に基づいて、前記画像データ毎に送信に要する前記相手端末毎の送信時間を求め、前記画像データが送信先の前記相手端末において受信が完了されたと判断される時点から、次に送信すべき次画像データの送信を開始し、更に、先に受信が完了されたと判断される前記画像データの再生表示に要する表示時間を求めることにより、前記次画像データが送信先の前記相手端末において受信が完了されたと判断される時点で、先に送信して再生表示中の状態にある前記画像データの前記表示時間が、まだ、経過していない場合、前記表示時間が経過するまでの空き時間を利用して、後に送信すべき画像データのうち単位時間当たりまたは単にデータ容量が大きい画像データを先取りして送信させる画像通信方法において、先に送信して再生表示中の状態にある前記画像データの前記表示時間が、まだ、経過する前に、前記次画像データの送信が完了しているように、次に送信すべき前記次画像データの対象となる画像データ種別を自動的に選択して送信する画像通信方法とすることを特徴とするものである。
【００１５】
【発明の実施の形態】
本発明に係る画像通信装置について、本発明に係る画像通信方法と共に、図面を用いて、以下に説明する。
図１は、画像ファイルなどを保存するサーバの構成を示す回路ブロック図であり、図２は、サーバ側と通信を行なう端末側の構成を示す回路ブロック図である。
【００１６】
図１において、サーバ１００は、サーバ内の各回路ブロック全体を制御するＣＰＵ１０１，サーバ管理者が各種のデータの管理を指示するために用いるキーボードなどからなる入力装置１０２，サーバの処理結果や状態など各種の情報をサーバ管理者に表示するために用いるＣＲＴなどの表示装置１０３，プログラムやアニメーションデータなどの各種の画像データを格納するために用いるハードディスク装置（ＨＤＤ）などからなる記憶装置１０４，ネットワークを介して、端末側と通信を行なう通信装置１０５，本発明を実現するためのサーバ側のプログラムを格納するプログラム記録媒体１０６などを有している。
【００１７】
記憶装置１０４には、プログラム記録媒体１０６から読み出されたプログラムが格納されていて、ＣＰＵ１０１の制御に基づいて、図１に示す以下のごとき各種の処理が実行される。
データ送信部１０４ａは、端末側からの要求に応じて、画像データ領域１０４ｇに格納されている画像データの中から要求された一連の画像データ群を取り出して、要求元の端末側に送信させる動作を行なうものである。
【００１８】
次データ送信部１０４ｂは、要求元の端末において、先に送信した画像データの受信が完了されたと判断される時点から、一連の画像データ群のうち次に送信すべき次画像データの送信を開始せんとする動作をするものであり、先に送信した画像データが要求元の前記端末側で再生表示されている間に、前記次画像データを、画像データ領域１０４ｇから取り出して送信させる動作を行なうものである。
なお、次データ選択手段１０４ｂ_１は、先に送信した画像データの表示時間が経過する前に、前記次画像データの送信が完了しているように、次に送信すべき前記次画像データの対象となる画像データ種別を選択するものであり、たとえば、動画像データか、あるいは、静止画像データかのいずれかを選択するものである。
【００１９】
先行データ送信部１０４ｃは、次データ送信部１０４ｂが前記次画像データの送信動作を完了し、端末側で前記次画像データの受信が完了されたと判断される時点において、先に送信して再生表示中の状態にある画像データの表示時間（再生時間）が経過していない場合、前記表示時間が経過するまでの空き時間を利用して、後に送信すべき画像データのうち、単位時間当たりまたは単にデータ容量が大きい画像データ（即ち、送信に時間を要する画像データ）を、画像データ領域１０４ｇから先取りして分割して送信させる動作を行なうものである。
【００２０】
端末速度検出部１０４ｄは、要求元の端末側から通信可能速度情報を受信して、該端末の通信速度を検出するものである。
表示時間算出部１０４ｅは、画像データ毎に、該画像データが画面表示される再生表示時間を求めるものであり、画像データの種別や、画像データが静止画像である場合、該画像データに含まれている文字数及び／又は画像の複雑度に応じて、自動的に算出するものである。なお、文字数・複雑度算出部１０４ｅ_１は、画像データが静止画像である場合、該画像データに含まれている文字列の分散個所毎の文字数を計数したり、あるいは、画像の色情報やデータ容量（サイズ）から、画像の複雑度を求めたりするものである。
【００２１】
送信時間予測部１０４ｆは、画像データ毎に送信に要する端末毎の送信時間を求めるものであり、端末速度検出部１０４ｄにより検出された要求元の前記端末側の通信速度と、送信する画像データのデータ容量（データサイズ）に基づいて、送信した画像データが、該端末において、受信完了になるまでの時間を予測するものである。
【００２２】
また、図２に示す端末２００側も、図１に示すサーバ１００とほぼ同様の構成からなっており、端末内の各回路ブロック全体を制御するＣＰＵ２０１，ユーザが鑑賞せんとするアニメーションを選択指定するために用いるキーボードなどからなる入力装置２０２，アニメーションを表示したり、端末内の処理結果や状態などを表示したりするために用いるＣＲＴなどの表示装置２０３，アニメーションデータや各種のデータを一時的に蓄積するために用いるＲＡＭや、プログラムやデータを保存するために用いるハードディスク装置（ＨＤＤ）などからなる記憶装置２０４，ネットワークを介して、サーバ１００側と通信を行なう通信装置２０５，本発明を実現するための端末２００側のプログラムを格納するプログラム記録媒体２０６などを有している。
【００２３】
また、記憶装置２０４には、現在再生している画像データを蓄積している現データ蓄積領域２０４ａ_１，次に再生すべき画像データを蓄積している次データ蓄積領域２０４ｂ_１，動画像データなど単位時間当たりまたは単にデータ容量が大きい画像データを先受けして蓄積している先受データ蓄積領域２０４ｃ_１も含まれている。
即ち、現データ蓄積領域２０４ａ_１，次データ蓄積領域２０４ｂ_１，先受データ蓄積領域２０４ｃ_１の三つの画像データ蓄積領域を有することにより、静止画像データと動画像データとを混在させてサーバ上に保持させることも可能となっている。たとえば、ユーザが所望する一連の画像データ群（即ち、たとえば、一連の静止画像データからなるアニメーション）に関連して、ユーザが興味を有すると思われるアニメーション部分については、動画像データもサーバ上に保存しておき、ユーザが、再生表示しているアニメーションに関連する動画を見たい場合には、端末２００の通信速度に応じて再生可能であると判定された場合、自動的に該動画像に切り替えてダウンロードさせて、（あるいは、簡単な操作で、該動画像に切り替えることにより、）該動画像を表示させ、該動画像が終了すると、次の静止画像のアニメーションに移行して、表示させていくことが可能となる。
【００２４】
即ち、本発明にかかる画像通信装置においては、先に転送されてきて、現データ蓄積領域２０４ａ_１に蓄積保存されている、たとえば、静止画像データの再生表示中に、次に表示すべき、たとえば、静止画像について、次データ蓄積領域２０４ｂ_１に蓄積保存させる一方、一般的に、大量のデータ容量（データサイズ）に及ぶ動画像データについては、静止画像データの再生表示中の時間帯において、通信時間に余裕がある際に、事前に、動画像データの一部ずつを先取りする形で先行転送させて、先受データ蓄積領域２０４ｃ_１に蓄積保存させていくことが可能になっている。
【００２５】
なお、現データ蓄積領域２０４ａ_１，次データ蓄積領域２０４ｂ_１，先受データ蓄積領域２０４ｃ_１の三つの画像データ蓄積領域のうち、再生表示に用いられる画像データ蓄積領域は、現データ蓄積領域２０４ａ_１であり、一旦、次データ蓄積領域２０４ｂ_１に蓄積保存されている次画像データは、現画像データの再生表示時間が経過した時点で、現データ蓄積領域２０４ａ_１に移動させて、再生表示させることになる。また、先受データ蓄積領域２０４ｃ_１に先受けされていた画像データも、同様に、再生表示される際には、現データ蓄積領域２０４ａ_１に移動させて、再生表示させる。
【００２６】
また、記憶装置２０４には、プログラム記録媒体２０６から読み出されたプログラムが格納されていて、ＣＰＵ２０１の制御に基づいて、図１に示す以下のごとき各種の処理が実行される。
現データ蓄積部２０４ａは、当該端末２００に再生表示すべき画像データが存在していない状態にある場合、サーバ１００側から転送されてきた画像データを現データ蓄積領域２０４ａ_１に蓄積させるものである。
次データ蓄積部２０４ｂは、現データ蓄積領域２０４ａ_１に蓄積されている前記画像データを再生表示させている表示時間中に、次に表示すべき次画像データを転送させて次データ蓄積領域２０４ｂ_１に蓄積させるものである。
【００２７】
先受データ蓄積部２０４ｃは、次に表示すべき前記次画像データの転送が終了した時点で、まだ、現データ蓄積領域２０４ａ_１に蓄積されている前記画像データを再生表示させている前記表示時間が経過していない場合、該表示時間が完了するまでの空き時間を利用して、後に表示する画像データのうち単位時間当たりまたは単にデータ容量が大きい画像データを（たとえば、動画像データ）先取りして転送させて先受データ蓄積領域２０４ｃ_１に蓄積させるものである。
【００２８】
データ転送部２０４ｄは、当該端末２００のユーザの要求に応じて、サーバ１００側に、所望の一連の画像データ群の転送を要求して、該一連の画像データ群をダウンロードさせるものである。
表示時間算出部２０４ｅは、サーバ１００側の表示時間算出部１０４ｅと全く同様の機能を有するもので、現データ蓄積領域２０４ａ_１に蓄積されている画像データの再生表示に要する表示時間を求めるものであり、画像データの種別や、画像データが静止画像である場合、該画像データに含まれている文字数及び／又は画像の複雑度に応じて、自動的に算出するものである。なお、文字数・複雑度算出部２０４ｅ_１は、画像データが静止画像である場合、該画像データに含まれている文字列の分散個所毎の文字数を計数したり、あるいは、画像の色情報やデータ容量（サイズ）から、画像の複雑度を求めたりするものである。
表示部２０４ｆは、現データ蓄積領域２０４ａ_１に蓄積されている画像データを再生して、表示装置２０３に画面表示させるものである。
【００２９】
次に、サーバ１００側及び端末２００側の動作について、フローチャートを用いて説明する。
まず、図３は、サーバ１００側の動作の流れを示すフローチャートである。
端末２００側からの接続依頼（即ち、画像データ転送）の要求を受信すると（ステップＳ１０１）、端末速度検出部１０４ｄは、端末２００側から、該端末の通信可能速度情報を取得し、該端末２００の通信速度を検出する（ステップＳ１０２）。
次に、接続依頼した端末２００から送信されてくるユーザ情報に基づいて、サーバ１００のサービスを受ける資格を有するユーザかチェックし（ステップＳ１０３）、サービスを受ける資格を有するユーザでない場合（ステップＳ１０３のＮＧ）、直ちに通信を終了させる。
【００３０】
一方、サービスを受ける資格を有するユーザであると判定された場合（ステップＳ１０３のＯＫ）、サーバ１００が提供可能とするサービス内容一覧を、画像データ領域１０４ｇから取り出して、端末２００側に送付する（ステップＳ１０４）。端末２００側から、サービス内容一覧の中から選択された選択番号を受信すると（ステップＳ１０５）、選択された該選択番号に該当する一連の画像データ群を、画像データ領域１０４ｇを検索して取得し、データ送信部１０４ａにより、前記一連の画像データ群の中、最初の画像データが、画像データ領域１０４ｇから取り出されて、端末２００側に送信される（ステップＳ１０６）。
【００３１】
送信時間予測部１０４ｆにより、端末２００側において、送信した画像データの受信が完了されたと判断される時点になり、かつ、次に送信すべき画像データが、まだ存在している場合（ステップＳ１０７のＹＥＳ）、まず、表示時間算出部１０４ｅは、先に送信した画像データの種別や文字数及び／又は画像の複雑度に基づいて、該画像データの再生表示に要する表示時間を算出する（ステップＳ１０８）。なお、画像データが静止画像である場合、文字数・複雑度算出部１０４ｅ_１を起動して、該画像データに含まれている文字列の分散個所毎の文字数、及び／又は、画像の複雑度を算出する。
【００３２】
次いで、前記表示時間とステップＳ１０２で検出した端末２００側の通信速度とに基づいて、次に送信すべき次画像データが、途切れることなく、該端末２００において再生表示可能な画像データとなるように、次データ選択手段１０４ｂ_１により、画像データ種別（たとえば、静止画像データ、動画像データのいずれかの画像データ種別）が選択される（ステップＳ１０９）。即ち、該端末２００において先に送信した画像データが表示されている表示時間が終了する前に、次に表示すべき画像データが該端末２００に転送完了の状態とすることができるかを、送信時間予測部１０４ｆにより、算出し、適合する画像データの種別が選択される。
【００３３】
次データ送信部１０４ｂにより、次に送信すべき画像データとして、選択された画像データ種別の画像データが、画像データ領域１０４ｇから取り出されて、次画像データの送信である旨の表示が付されて、端末２００側に送信される（ステップＳ１１０）。
更に、先行データ送信が可能か否かチェックされる（ステップＳ１１１）。即ち、前記次画像データが送信先の前記端末２００において受信が完了されたと、送信時間予測部１０４ｆにより、判断された時点で、まだ、先に送信して再生表示中の状態にある前記画像データの表示時間が経過していないかチェックされる。前記表示時間がまだ経過していない場合（ステップＳ１１１のＹＥＳ）、前記表示時間が経過するまでの空き時間が存在している場合であり、後に送信すべき一連の画像データ群のうち、該空き時間を利用して、先取りして送信させるべき単位時間当たりまたは単にデータ容量が大きい画像データがあるかチェックされる（ステップＳ１１２）。
【００３４】
先取りして送信させるべき画像データがある場合（ステップＳ１１２のＹＥＳ）、先行データ送信部１０４ｃにより、画像データ領域１０４ｇの中から、先取りして送信させるべき画像データが取り出されて、前記空き時間の間だけ、先取りした画像データの一部が、先行送信である旨の表示が付されて、端末２００側に先行して送信される（ステップＳ１１３）。その後、ステップＳ１０７に戻って、次に送信すべき画像データがまだ存在しているかチェックされる。
最後に、次に送信すべき画像データが存在していない場合（ステップＳ１０７のＮＯ）、送信した画像データに対応する料金を、送信先のユーザに課金する（ステップＳ１１４）。
【００３５】
次に、図４に示す端末２００側の動作の流れを示すフローチャートに従って、端末２００側の動作について説明する。
まず、データ転送部２０１により、サーバ１００に対して、接続依頼（即ち、画像データの転送依頼）の要求が送出される（ステップＳ２０１）。サーバ１００側との接続がなされた後、当該端末２００の通信可能速度（即ち、該端末における通信速度）を送信すると共に（ステップＳ２０２）、当該端末２００のユーザ情報を送信する（ステップＳ２０３）。
サーバ１００側において、画像データの転送サービスを受ける資格を有するユーザであることが識別されている場合は、前記サービス内容一覧が送付されてくるので、該一覧の中から、所望する一連の画像データ群を選択する選択番号を送信する（ステップＳ２０４）。
【００３６】
送信した選択番号に該当する一連の画像データ群のうち最初の画像データが、サーバ１００側から、送信されてくるので、現データ蓄積部２０４ａにより該画像データが取得され、現データ蓄積領域２０４ａ_１に蓄積されて（ステップＳ２０５）、表示部２０４ｆが起動されて、再生表示される（ステップＳ２０６）。次に、続いて送信されてくる画像データを取得し（ステップＳ２０７）、次に再生表示すべき画像データであることを示す次画像データであるか、あるいは、後で再生することを示す先受画像データ（即ち、先取りされて先行送信されてきた画像データ）であるかがチェックされる（ステップＳ２０８）。
【００３７】
次に再生表示すべき次画像データである場合（ステップＳ２０８のＹＥＳ）、次データ蓄積部２０４ｂにより、次に再生表示すべき画像データを蓄積する次データ蓄積領域２０４ｂ_１に一旦蓄積保存し（ステップＳ２０９）、後で再生する先受画像データである場合（ステップＳ２０８のＮＯ）、単位時間当たりまたは単にデータ容量（データサイズ）が大きい、たとえば、動画像データの一部が先行されて送信されてきているので、先受データ蓄積部２０４ｃにより、該先受画像データを先受けして蓄積する先受データ蓄積領域２０４ｃ_１に一旦蓄積保存する（ステップＳ２１０）。
【００３８】
次いで、現在再生中の画像データの再生が終了したかチェックし（ステップＳ２１１）、まだ、終了していない場合（ステップＳ２１１のＮＯ）、ステップＳ２０７に戻り、サーバ１００側からの画像データの取得動作を繰り返す。
一方、再生が終了している場合（ステップＳ２１１のＹＥＳ）、現在再生している画像データを蓄積している現データ蓄積領域２０４ａ_１を、空きの状態にし（ステップＳ２１２）、次データ蓄積領域２０４ｂ_１に蓄積保存されている次に再生すべき次画像データを、現データ蓄積領域２０４ａ_１に移して、再生表示を行なう準備を行なう（ステップＳ２１３）。
【００３９】
更に、先受データ蓄積領域２０４ｃ_１に保存されている先受画像データが、次に再生すべき画像データであるかをチェックする（ステップＳ２１４）。先受画像データが次に再生すべき次画像データに該当する場合（ステップＳ２１４のＹＥＳ）、先受データ蓄積領域２０４ｃ_１に蓄積保存されている先受画像データを、次に再生すべき画像データを蓄積する次データ蓄積領域２０４ｂ_１に移して、次画像データとし（ステップＳ２１５）、一方、先受画像データが次に再生すべき次画像データに該当しない場合（ステップＳ２１４のＮＯ）、次データ蓄積領域２０４ｂ_１を空きの状態に設定して、次に再生すべきデータが蓄積されていない旨を表示する（ステップＳ２１６）。
【００４０】
最後に、送信されてきたすべての画像データについて再生が終了しているかチェックし（ステップＳ２１７）、再生が終了していれば（ステップＳ２１７のＹＥＳ）、全ての処理を終了し、まだ、再生すべき画像データが残っている場合（ステップＳ２１７のＮＯ）、ステップＳ２０６に戻って、画像データの再生を繰り返す。
【００４１】
次に、端末２００の表示装置２０３に画面表示している画像の表示の流れについて、図５，図８を用いて説明する。
ここに、図５は、画面表示の時間的な推移の一例を示す画面図であり、図８は、サーバ側から端末側へ転送されてくる画像データパターン（即ち、一連の画像データ群）の流れの一例を示す図である。
また、図８においては、図８（Ａ）から図８（Ｄ）に向かって、順次、静止画像データに占める動画像データの再生表示時間の割合が多くなっている例を示しており、端末２００からの選択番号で指定された場合に、表示が可能な限り、動画像の再生表示時間が長い一連の画像データパターンを、ユーザの指定に応じて、あるいは、自動的に選択して、転送させることが可能である。即ち、図８（Ｄ）から図８（Ａ）に向かって、順次、端末２００の通信速度に基づいて、表示可能性をチェックしていくことが可能である。
【００４２】
図８に示す画像データパターンにおいては、「画面Ｎｏ．」欄に示す番号が、図５に示す画面の順番に対応しており、「内容」欄にある「静止画／動画」が、画像データの種別の一例を示している。即ち、図８（Ａ）乃至図８（Ｄ）に示す如く、図８の「画面Ｎｏ．」欄の「２」及び「４」においては、静止画像データと動画像データ（一般的には、データ容量が大きくなる画像データ）との双方の画像種別の画像データがサーバ１００上には保存されていて、端末２００の通信速度に応じて、静止画像データあるいは動画像データのいずれかを自動的に選択して転送させることができる。
【００４３】
図５においては、画像種別を示す一例として、「顔」＋「吹き出し」マークが静止画を示し、「顔」＋「胴」マークが動画を示している。
即ち、図５の「低速」側の端末に表示している画面表示は、図８（Ｂ）の場合に対応しており、２番目の動画は表示することができないため、４番目以外はすべて静止画であり、４番目のみが動画となっている。
一方、図５の「高速」側の端末に表示している画面表示は、図８（Ｄ）の場合に対応しており、２，４番目の双方とも動画が表示され、その他は静止画が表示されている。
【００４４】
また、図８の「再生時間」欄の「再生」欄には、各画像データの再生表示時間が示されている。
また、端末２００側の通信速度が低速である場合と、高速である場合（図８に示す例においては、低速時の２倍の通信速度である場合を示している）とにおけるサーバ１００から端末２００への各画像データの転送時間が、それぞれ「低速」欄の「転送」欄と、「高速」欄の「転送」欄とに示されている。なお、図８に示す「転送」欄は、「転送画面」欄にて示されているように、先に転送されてきた画像データの再生表示中の期間に、転送されてくる次に表示すべき次画像データの転送時間が示されている。
更に、「低速」欄，「高速」欄及び「再生時間」欄には、それぞれ「累計」欄が設けられていて、各画像データに関する所要転送時間及び所要再生時間を累積した時間も表示されている。
【００４５】
ここで、図８（Ｃ）及び図８（Ｄ）の場合においては、通信速度が低速の場合、「画面Ｎｏ．」が「１」の画像データの再生が終了した時点で、まだ、次に表示すべき「２」の画像データの転送が終了しておらず、再生時間よりも画像データの転送時間を多く要することとなり、スムーズな画面表示ができなくなることを示している。（図８の「低速」欄に、「×」印で表示している。）
一方、図８（Ａ）及び図８（Ｂ）の場合においては、通信速度が低速の場合であっても、再生時間よりもデータの転送時間が短くなっているので、スムーズな画面表示が可能であることを示している。（図８の「低速」欄に、「○」印で表示している。）
【００４６】
また、端末の通信速度が高速の場合は、図８（Ａ）乃至（Ｄ）のいずれの場合であっても、すべて、再生時間よりもデータの転送時間が短くなっているので、スムーズな画面表示が可能であることを示している。（図８の「高速」欄に、「○」印で表示している。）
【００４７】
即ち、サーバ１００側では、端末２００側の通信速度をチェックして、図８のごときテーブルに基づいて、該端末２００に対して、どこまで動画像を送信できるかを判断している。
図８に示すように、該端末２００の通信速度が低速である場合は、第２番目の画面として静止画像と動画像とが保存されていて、該第２番目の画像として動画像を送信させんとしても、該動画像の表示開始時間までには該動画像のデータ転送を終了させることができない。一方、第４番目の画面の場合、動画像を送信したとしても、表示開始時間までに該動画像の送信を完了させることが可能であり、途切れることなく、画面表示することができる。
また、該端末２００の通信速度が高速である場合には、第２番目と第４番目の両方の画面を動画像としても、途切れることなく、画面表示させることができるので、転送されてくる画像を順番にスムーズに再生させることができる。
【００４８】
また、画像データの表示時間の算出については、動画像の場合は、再生時間が決まっているので、その再生時間が表示時間となる。
一方、静止画像として、文字データと画像データとで作成されている場合、使用されている文字列の文字数から、その静止画の表示時間を自動的に決定することが可能である。即ち、人間が、１秒間に読むことができる文字数と、文字列が画面上に分散されて配置されている場合の分散個所数とを考慮することにより、たとえば、
｛（文字数）／１０｝＋｛（文字の分散個所数）＊０．２｝
の関係が成立する時間を、自動的に表示時間として算出することとすれば、各静止画像データについて、人手により表示時間を設定するような作業が不要となる。
【００４９】
なお、文字を読む速度は、人によって個人差があるので、最初の接続時において、「速い」、「通常」、「遅い」等の設定情報を端末２００側から入力させて、表示時間と送られてくる画像データの内容とを変更させるようにすることも可能である。
【００５０】
また、画像の複雑度に応じて、表示時間を自動的に設定することも可能である。たとえば、ＧＩＦ（ＧｒａｐｈｉｃｓＩｎｔｅｒｃｈａｎｇｅＦｏｒｍａｔ）形式の画像であれば、画面に使用されている色の数が、画像データの先頭に入っている色情報により、簡単に求めることができる。
而して、色数が多い画像の表示時間は長くして、色数が少ない画像の表示時間は短くするなどの制御を行なうことができる。
【００５１】
また、モノクロの画像の場合、ＦＡＸで使用されているＭＨ（ＭｏｄｉｆｉｅｄＨｕｆｆｍａｎ）符号化方式やＭＲ（ＭｏｄｉｆｉｅｄＲＥＡＤ）符号化方式によって、画像データを圧縮した際に、圧縮データ容量が少ないものは、簡単な画像であり、圧縮データ容量が多いものは、複雑な画像と考えられるので、圧縮データ容量が少ない画像データは、表示時間を短くし、圧縮データ容量が多い画像データは、表示時間を長くするなどの制御を行なうことができる。
【００５２】
図６は、画像データの表示時間表の一例を示すものであり、図８（Ａ）乃至（Ｄ）に示す「再生時間」欄のデータに対応するものであり、「画像ＮＯ．」の「２」と「４」には、静止画像データと動画像データとの両方が用意されていることを示している。
また、図６は、各データの表示時間を、「０．１秒」の単位で示しており、たとえば、図６の「画面Ｎｏ．」欄に示す第１番目の画像データ「画面１」は、静止画のみが用意されており、２．２秒間表示されることを意味している。第２番目の画像データ「画面２」は、静止画と動画とが用意されており、静止画の場合は、２．６秒、動画の場合は、２．２秒間表示されることを意味している。以下のデータも同様の意味を有する。
【００５３】
図７は、画像データのデータ容量と、サーバから端末への送信時間の一例を示すものであり、図８（Ａ）乃至（Ｄ）に示す「転送」欄のデータに対応するものである。各データのデータ容量は「Ｋバイト」の単位で示しており、送信時間は「０．１秒」の単位で示している。たとえば、図７の「画面Ｎｏ．」欄に示す第１番目の画像データ「画面１」は、静止画であり、該画像データのデータ容量は１８Ｋバイトであり、低速の通信速度の場合は、送信時間が１．８秒間要し、高速の通信速度の場合には、送信時間が０．９秒で済むことを意味している。第２番目の画像データ「画面２」は、データ容量が、２０Ｋバイトの静止画と３４Ｋバイトの動画とがあり、それぞれ、静止画の場合の送信時間は、低速の通信速度で２．０秒、高速の通信速度で１．０秒かかり、動画の場合の送信時間は、低速の通信速度で３．４秒、高速の通信速度で１．７秒かかることを意味している。以下のデータも同様の意味を有している。
【００５４】
次に、図８（Ｂ）に示す画像データの場合を例にとって、端末２００側におけるデータの流れについて、図９，図１０を用いて説明する。
ここに、図９は、各画像データを、記憶装置２０４内にある現データ蓄積領域２０４ａ_１，次データ蓄積領域２０４ｂ_１，先受データ蓄積領域２０４ｃ_１に順次格納する流れを示す図である。
また、図１０は、各画像データの転送推移を、時間軸上で示した図である。
【００５５】
まず、図１０（Ａ）の「転送」行の「通常」行に示すように、図８（Ｂ）の「画面Ｎｏ．」欄の「１」で示す最初の静止画像１が送信されてくると、端末２００は、図９（Ａ）に示す現データ蓄積領域２０４ａ_１に蓄積していき、データ受信が終了すると、端末２００は、再生動作に移行して、図１０（Ａ）の「再生」行に示すように、該静止画像１を指定されている時間（即ち、「０」から「２２」までの時間）、再生して表示する。
【００５６】
一方、その間に、次に送られてきた静止画像２（図８（Ｂ）の「画面Ｎｏ．」欄の「２」）は、図９（Ａ）に示すように、次データ蓄積領域２０４ｂ_１に蓄積される。該静止画像２のデータ受信が終了した時、図１０（Ａ）の「転送」行の「通常」行と「再生」行とに示すように、静止画像１の再生時間が終了する前に、該静止画像２の転送は終了している（即ち、図１０（Ａ）に示す時間「２０」の時点で終了している）。
従って、サーバ１００は、次画像データである静止画像２の送信が終了した時、静止画像１の再生時間が終了するまでの間の空き時間（即ち、時間「２０」から「２２」に至るまでの時間）を利用して、先受データである動画像４（図８（Ｂ）の「画面Ｎｏ．」欄の「４」）の画像データを先取りして、図１０（Ａ）の「転送」行の「先行」行に示すように、送信を開始する。端末２００側では、受信されてくる画像データが、次の画像データか、先の画像データかをチェックして、先の画像データであれば、図９（Ａ）に示すように、先受データ蓄積領域２０４ｃ_１に蓄積していく。
【００５７】
現データ蓄積領域２０４ａ_１に蓄積されていた静止画像１の再生時間が終了すると、図９（Ｂ）に示すように、次データ蓄積領域２０４ｂ_１に蓄積されていた静止画像２の画像データが、現データ蓄積領域２０４ａ_１に移されて、該静止画像２の画像データの再生が開始される（即ち、図１０（Ａ）に示す時間「２２」の時点から再生が開始される）。
一方、図１０（Ａ）の「転送」行の「先行」行に示すように、静止画像１の再生時間が終了すると、先取りして送信されていた動画像４の送信が中断されて、図１０（Ａ）の「転送」行の「通常」行に示すように、次の画像データである静止画像３（図８（Ｂ）の「画面Ｎｏ．」欄の「３」）の画像データの送信が開始される。
【００５８】
端末２００側では、静止画像２の再生が開始されているが、その間に、次に送られてきた静止画像３（図８（Ｂ）の「画面Ｎｏ．」欄の「３」）は、図９（Ｂ）に示すように、次データ蓄積領域２０４ｂ_１に蓄積されていく。該静止画像３のデータ受信が終了した時、図１０（Ａ）の「転送」行の「通常」行と「再生」行とに示すように、静止画像２の再生時間が終了する前に、該静止画像３の転送は終了している（即ち、図１０（Ａ）に示す時間「４４」の時点で終了している）。
【００５９】
従って、サーバ１００は、次データである静止画像３の送信が終了した時、静止画像２の再生時間が終了するまでの間の空き時間（即ち、図１０（Ａ）に示す時間「４４」から「４８」に至るまでの時間）を利用して、先に中断していた先受データである動画像４（図８（Ｂ）の「画面Ｎｏ．」欄の「４」）の画像データの送信を再開させて、先取りしていた動画像４の中断位置から、図１０（Ａ）の「転送」行の「先行」行に示すように、送信を開始する。端末２００側では、受信されてくる画像データが、次の画像データか、先の画像データかをチェックして、先の画像データであれば、図９（Ｂ）に示すように、先に蓄積していた先受データに継続させて、先受データ蓄積領域２０４ｃ_１に蓄積していく。
【００６０】
現データ蓄積領域２０４ａ_１に蓄積されていた静止画像２の再生時間が終了すると、図９（Ｃ）に示すように、次データ蓄積領域２０４ｂ_１に蓄積されていた静止画像３の画像データが、現データ蓄積領域２０４ａ_１に移されて、該静止画像３の画像データの再生が開始される（即ち、図１０（Ａ）に示す時間「４８」の時点から再生が開始される）。
一方、図１０（Ａ）の「転送」行の「先行」行に示すように、静止画像２の再生時間が終了すると、先取りして送信されていた動画像４の送信が中止されて、図１０（Ａ）の「転送」行の「通常」行に示すように、次の画像データとして動画像４の画像データの続きが送信されることになる。
【００６１】
端末２００側では、静止画像３の再生が開始されているが、その間に、図９（Ｃ）に示すように、先受データ蓄積領域２０４ｃ_１に蓄積されている動画像４が次に再生すべき画像データであることが識別されて、先受データ蓄積領域２０４ｃ_１から次データ蓄積領域２０４ｂ_１に転送されると共に、次に送られてきた動画像４の続き部分が、次データ蓄積領域２０４ｂ_１の引き続く領域に順次蓄積されていく。該動画像４のデータ受信が終了した時、該動画像の一部が先取りされて、「先行」転送されていたので、図１０（Ａ）の「転送」行の「通常」行と「再生」行とに示すように、静止画像３の再生時間が終了する前に、該動画像４の転送は終了している（即ち、図１０（Ａ）に示す時間「６４」の時点で終了している）。
【００６２】
しかしながら、サーバ１００には、次データである動画像４の送信が終了した時、静止画像３の再生時間が終了するまでの間の空き時間を利用して、先取りして、送信すべき画像データは存在していないので、図１０（Ａ）の「転送」行に示すように、転送動作を中止して、静止画像３の再生が終了するまで待ち合わせる。
【００６３】
現データ蓄積領域２０４ａ_１に蓄積されていた静止画像３の再生時間が終了すると、図９（Ｄ）に示すように、次データ蓄積領域２０４ｂ_１に蓄積されていた動画像４の画像データが、現データ蓄積領域２０４ａ_１に移されて、該動画像４の画像データの再生が開始される（即ち、図１０（Ａ）に示す時間「６６」の時点から再生が開始される）。
一方、図１０（Ａ）の「転送」行の「通常」行に示すように、静止画像３の再生時間が終了すると、次の画像データとして静止画像５（図８（Ｂ）の「画面Ｎｏ．」欄の「５」）の画像データが送信されることになる。
【００６４】
端末２００側では、動画像４の再生が開始されているが、その間に、次に送られてきた静止画像５（図８（Ｂ）の「画面Ｎｏ．」欄の「５」）は、図９（Ｄ）に示すように、次データ蓄積領域２０４ｂ_１に蓄積されていく。該静止画像５のデータ受信が終了した時、図１０（Ａ）の「転送」行の「通常」行と「再生」行とに示すように、動画像４の再生時間が終了する前に、該静止画像５の転送は終了している（即ち、図１０（Ａ）に示す時間「７６」の時点で終了している）。
【００６５】
しかし、サーバ１００側で送信すべき画像データはすべて送信済みになっているので、図１０（Ａ）の「転送」行の「通常」行に示すように、転送動作は終了する。
【００６６】
一方、端末２００側では、現データ蓄積領域２０４ａ_１に蓄積されていた動画像４の再生時間が終了すると、図９（Ｅ）に示すように、次データ蓄積領域２０４ｂ_１に蓄積されていた静止画像５の画像データが、現データ蓄積領域２０４ａ_１に移されて、該静止画像５の画像データの再生が開始される。
【００６７】
かくのごとく、端末２００の記憶装置２０４の記憶容量が少ない場合であっても、各々小さい容量の画面データ用格納領域を３つ（現データ蓄積領域２０４ａ_１，次データ蓄積領域２０４ｂ_１，先受データ蓄積領域２０４ｃ_１）用意することにより、途切れなくスムーズに動画を混在させて、配信させ・再生させることが可能になる。
【００６８】
なお、図１０（Ｂ）に示す実施例は、次の画像データの再生が始まる直前までに、該当する画像データを転送するように制御されている例を示すものであり、そのデータ転送の開始までに空き時間が生じている場合には、先の画像データとしての動画像データを先取りして、先受データ蓄積領域２０４ｃ_１に向けて転送するものである。
【００６９】
また、無線通信回線を利用して、画像データを転送する場合、エラーの発生に対応して、再転送（リトライ）する必要があり、通信速度に関する理論値を求めることができない。従って、最初に実測値をチェックして、その通信速度に合わせたデータ転送制御にしたり、あるいは、リアルタイムで実測値を測定しながら、ダイナミックに途中で送信内容を変更することとする方法を採用する必要がある。
【００７０】
【発明の効果】
以上に説明したごとく、本発明に係る画像通信装置，画像通信方法、あるいは、かかる画像通信方法を実行できるプログラム記録媒体を用いることにすれば、端末の通信速度に応じて、自動的に転送すべき静止画と動画との割り振りを行なうことができ、通信速度が遅い端末の場合は、静止画を、通信速度が速い端末の場合は、動画を、より多く転送することが自動的に可能となり、鑑賞する際に、ストレスを感じることがなく、漫画やアニメーション等を端末でより多く楽しめる効果が期待できる。
【図面の簡単な説明】
【図１】画像ファイルなどを保存するサーバの構成を示す回路ブロック図である。
【図２】サーバ側と通信を行なう端末側の構成を示す回路ブロック図である。
【図３】サーバ側の動作の流れを示すフローチャートである。
【図４】端末側の動作の流れを示すフローチャートである。
【図５】画面表示の時間的な推移の一例を示す画面図である。
【図６】画像データの表示時間表の一例を示すものである。
【図７】画像データのデータ容量と、サーバから端末への送信時間の一例を示すものである。
【図８】サーバ側から端末側へ転送されてくる画像データパターンの流れの一例を示す図である。
【図９】各画像データを、現データ蓄積領域，次データ蓄積領域，先受データ蓄積領域に順次格納する流れを示す図である。
【図１０】各画像データの転送推移を、時間軸上で示した図である。
【符号の説明】
１００…サーバ、１０１…ＣＰＵ、１０２…入力装置、１０３…表示装置、１０４…記憶装置、１０４ａ…データ送信部、１０４ｂ…次データ送信部、１０４ｂ_１…次データ選択部、１０４ｃ…先行データ送信部、１０４ｄ…端末速度検出部、１０４ｅ…表示時間算出部、１０４ｅ_１…文字数・複雑度算出部、１０４ｆ…送信時間予測部、１０４ｇ…画像データ領域、１０５…通信装置、１０６…プログラム記録媒体、２００…端末、２０１…ＣＰＵ、２０２…入力装置、２０３…表示装置、２０４…記憶装置、２０４ａ…現データ蓄積部、２０４ａ_１…現データ蓄積領域、２０４ｂ…次データ蓄積部、２０４ｂ_１…次データ蓄積領域、２０４ｃ…先受データ蓄積部、２０４ｃ_１…先受データ蓄積領域、２０４ｄ…データ転送部、２０４ｅ…表示時間算出部、２０４ｅ_１…文字数・複雑度算出部、２０４ｆ…表示部、２０５…通信装置、２０６…プログラム記録媒体。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image communication device for transmitting and receiving various image data relating to a still image and a moving image, an image communication method, and an image communication program recording medium.
[0002]
[Prior art]
A conventional image communication apparatus includes a plurality of scenes as disclosed in, for example, Japanese Patent Application Laid-Open No. 8-15312, "Multimedia Document Playback Apparatus, Multimedia Document Editing Apparatus and Multimedia Document Editing and Playback Apparatus". A multimedia document reproducing apparatus, a multimedia document editing apparatus, and a multimedia document editing / reproducing apparatus capable of performing reproduction while sequentially downloading before downloading all image data recording moving image data. There is something that offers.
[0003]
[Problems to be solved by the invention]
However, in the related art, as a technique of sequentially reproducing before downloading all, only one type of image data is concerned, and downloading is continued while switching a plurality of types of image data. As such, has not been considered. Also, when downloading, the communication speed of the terminal side And display speed Is automatically detected and the image data to be transmitted is appropriately switched and downloaded. But Technology like that has not been realized.
Therefore, even when the communication speed on the terminal side is low, only one selected image data can be downloaded. Therefore, the transfer of the image data cannot keep up with the reproduction and display speed of the image. , Smooth image display Z However, there is a drawback that the operation cannot be performed in some cases.
[0004]
The present invention has been made in order to solve such a problem, and the data type (for example, still image data and moving image data) of the selected image data is automatically automatically set according to the communication speed of the terminal. By switching between the two, the download can be performed in time for the playback and display speed of the image, so that the recipient, which is the download request source, can display the image without causing stress. is there.
[0006]
[Means for Solving the Problems]
A first technical means is a data transmitting means for transmitting a series of image data groups composed of a plurality of image data, and a communication speed for each destination terminal to which the series of image data groups are transmitted. Terminal speed detecting means, transmission time estimating means for calculating the transmission time for each partner terminal required for transmission of the image data, and display time calculation for calculating display time required for reproduction display of the image data for each image data Means for transmitting the next image data to be transmitted next from the time when it is determined that the previously transmitted image data has been completely received at the destination terminal based on the transmission time prediction means. Data transmission means for starting transmission of data At the time when it is determined that the reception of the next image data has been completed at the destination terminal of the transmission destination, the display time of the image data that has been transmitted and is being reproduced and displayed is still elapsed. If not, the preceding data transmitting means for preemptively transmitting the image data per unit time or simply having a large data capacity among the image data to be transmitted later by using the idle time until the display time elapses In the image communication apparatus having the following, the display time of the image data in the state where the next data transmission means is previously transmitted and is in the state of being reproduced and displayed is still not transmitted before the next image data is transmitted. An image communication device having next data selection means capable of automatically selecting an image data type to be transmitted next as the target of the next image data to be transmitted as completed. Is what you do.
[0007]
No. 2 The technical means of the 1 In the image communication apparatus according to the above technical means, the next data selecting means selects either moving image data or still image data as the image data type to be selected. It is characterized in that it is a device.
[0011]
The third technical means determines a transmission time for each of the partner terminals required for transmission for each of the image data, based on a communication speed of each of the partner terminals for transmitting a series of image data groups including a plurality of image data, The transmission of the next image data to be transmitted next is started from a point in time when it is determined that the reception of the image data has been completed at the destination terminal of the transmission destination, and further, the image data that is determined to have been previously received is completed. By calculating the display time required for playback display of At the time when it is determined that the reception of the next image data has been completed at the destination terminal of the transmission destination, the display time of the image data that has been transmitted and is being reproduced and displayed has not yet elapsed. In the case, using the idle time until the display time elapses, in the image communication method of preemptively transmitting image data per unit time or simply large data capacity among image data to be transmitted later, The display time of the image data in the state of being transmitted and being reproduced and displayed earlier is not yet passed, so that the transmission of the next image data is completed before the next image data is transmitted. The image communication method is characterized in that an image data type to be data is automatically selected and transmitted.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
An image communication apparatus according to the present invention will be described below with reference to the drawings together with an image communication method according to the present invention.
FIG. 1 is a circuit block diagram illustrating a configuration of a server that stores image files and the like, and FIG. 2 is a circuit block diagram illustrating a configuration of a terminal that communicates with the server.
[0016]
In FIG. 1, a server 100 includes a CPU 101 that controls the entire circuit blocks in the server, an input device 102 such as a keyboard used by a server administrator to instruct various types of data management, processing results and states of the server, and the like. A display device 103 such as a CRT used to display various information to a server administrator, a storage device 104 such as a hard disk device (HDD) used to store various image data such as programs and animation data, and a network. It has a communication device 105 for communicating with the terminal via the terminal, a program recording medium 106 for storing a server-side program for realizing the present invention, and the like.
[0017]
The storage device 104 stores a program read from the program recording medium 106, and executes various processes as shown in FIG. 1 under the control of the CPU 101.
In response to a request from the terminal, the data transmitting unit 104a extracts a series of requested image data from the image data stored in the image data area 104g and transmits the group to the requesting terminal. Is performed.
[0018]
The next data transmission unit 104b starts transmission of the next image data to be transmitted next in a series of image data groups from the point in time at which the requesting terminal determines that the reception of the previously transmitted image data has been completed. While the previously transmitted image data is being reproduced and displayed on the requesting terminal side, the next image data is taken out from the image data area 104g and transmitted. Things.
Note that the next data selection means 104b ₁ Selects the target image data type of the next image data to be transmitted next so that the transmission of the next image data is completed before the display time of the previously transmitted image data elapses For example, one of moving image data and still image data is selected.
[0019]
The preceding data transmission unit 104c transmits and reproduces and displays the first image data at the time when the next data transmission unit 104b completes the transmission operation of the next image data and the terminal determines that the reception of the next image data is completed. If the display time (reproduction time) of the image data in the medium state has not elapsed, the idle time until the display time elapses to use the image data to be transmitted later per unit time or simply An operation is performed in which image data having a large data capacity (that is, image data requiring a long time for transmission) is pre-fetched from the image data area 104g and divided and transmitted.
[0020]
The terminal speed detection unit 104d receives the communicable speed information from the requesting terminal side and detects the communication speed of the terminal.
The display time calculation unit 104e obtains, for each image data, a reproduction display time during which the image data is displayed on a screen. If the image data is a still image, the display time is included in the image data. It is automatically calculated according to the number of characters and / or the complexity of the image. The number of characters / complexity calculation unit 104e ₁ When the image data is a still image, the number of characters in each of the dispersed portions of the character string included in the image data is counted, or the image complexity is calculated based on the color information of the image and the data capacity (size). Or asking for something.
[0021]
The transmission time prediction unit 104f calculates the transmission time for each terminal required for transmission for each image data. The transmission time prediction unit 104f calculates the transmission speed of the terminal on the request side detected by the terminal speed detection unit 104d and the transmission speed of the image data to be transmitted. Based on the data capacity (data size), the terminal predicts the time until the transmitted image data is completely received at the terminal.
[0022]
The terminal 200 shown in FIG. 2 has substantially the same configuration as the server 100 shown in FIG. 1, and controls the entire circuit block in the terminal. The CPU 201 selects and specifies an animation to be viewed by the user. Input device 202 such as a keyboard used for display, a display device 203 such as a CRT used to display an animation or a processing result or state in the terminal, and temporarily store animation data and various data. A storage device 204 such as a RAM used for storage, a hard disk device (HDD) used for storing programs and data, a communication device 205 for communicating with the server 100 via a network, and the present invention are realized. Recording medium 206 for storing a terminal 200 side program for It has.
[0023]
In the storage device 204, a current data storage area 204a storing the currently reproduced image data is stored. ₁ , The next data storage area 204b storing the image data to be reproduced next ₁ , A received data storage area 204c in which image data per unit time such as moving image data or simply having a large data capacity is received and stored. ₁ Is also included.
That is, the current data storage area 204a ₁ , Next data storage area 204b ₁ , Pre-received data storage area 204c ₁ By having the three image data storage areas, it is possible to mix still image data and moving image data and store them on the server. For example, in relation to a series of image data desired by the user (ie, for example, an animation composed of a series of still image data), for an animation part that the user may be interested in, the moving image data is also stored on the server. If the user wants to view a moving image related to the animation being reproduced and displayed, and if it is determined that the moving image can be reproduced according to the communication speed of the terminal 200, the moving image is automatically stored in the moving image. Switch to download and display the moving image (or by switching to the moving image by a simple operation), and when the moving image ends, move to the animation of the next still image and display it. It becomes possible to go.
[0024]
That is, in the image communication apparatus according to the present invention, the data is transferred first, and the current data storage area 204a ₁ For example, during reproduction and display of still image data, for example, a still image to be displayed next is stored in the next data storage area 204b. ₁ On the other hand, in general, for moving image data that covers a large amount of data (data size), when there is enough communication time in the time period during which the still image data is being reproduced and displayed, By pre-transferring a part of the moving image data in advance, the pre-received data storage area 204c ₁ It is possible to accumulate and save them.
[0025]
The current data storage area 204a ₁ , Next data storage area 204b ₁ , Pre-received data storage area 204c ₁ Of the three image data storage areas, the image data storage area used for reproduction display is the current data storage area 204a. ₁ And once the next data storage area 204b ₁ The next image data stored and stored in the current data storage area 204a when the reproduction display time of the current image data has elapsed. ₁ To be played back and displayed. In addition, the pre-received data storage area 204c ₁ Similarly, when the image data received earlier is reproduced and displayed, the current data storage area 204a ₁ To play back.
[0026]
Further, the storage device 204 stores a program read from the program recording medium 206, and executes various processes as shown in FIG.
If there is no image data to be reproduced and displayed on the terminal 200, the current data storage unit 204a stores the image data transferred from the server 100 side in the current data storage area 204a. ₁ Is to be accumulated.
The next data storage unit 204b includes a current data storage area 204a. ₁ The next image data to be displayed next is transferred during the display time when the image data stored in ₁ Is to be accumulated.
[0027]
When the transfer of the next image data to be displayed next is completed, the pre-received data storage unit 204c still has the current data storage area 204a. ₁ If the display time for reproducing and displaying the image data stored in the storage unit has not elapsed, the idle time until the display time is completed is utilized, and the image data to be displayed later per unit time or Simply, image data having a large data capacity (for example, moving image data) is prefetched and transferred, and the pre-received data storage area 204c ₁ Is to be accumulated.
[0028]
The data transfer unit 204d requests the server 100 to transfer a desired series of image data groups and downloads the series of image data groups in response to a request of the user of the terminal 200.
The display time calculation unit 204e has exactly the same function as the display time calculation unit 104e on the server 100 side. ₁ The display time required to reproduce and display the image data stored in the image data is calculated. If the image data is a still image, the number of characters included in the image data and / or the complexity of the image is determined. It is automatically calculated according to the degree. The number of characters / complexity calculation unit 204e ₁ When the image data is a still image, the number of characters at each scattered portion of the character string included in the image data is counted, or the image complexity is calculated based on the color information of the image and the data capacity (size). Or asking for something.
The display unit 204f displays the current data storage area 204a. ₁ Is reproduced and displayed on the display device 203 on the screen.
[0029]
Next, operations of the server 100 and the terminal 200 will be described with reference to flowcharts.
First, FIG. 3 is a flowchart showing the flow of the operation on the server 100 side.
Upon receiving a connection request (i.e., image data transfer) request from the terminal 200 (step S101), the terminal speed detection unit 104d obtains communicable speed information of the terminal from the terminal 200, and Is detected (step S102).
Next, based on the user information transmitted from the terminal 200 requesting the connection, it is checked whether the user is qualified to receive the service of the server 100 (step S103). If the user is not qualified to receive the service (step S103). NG), immediately terminate the communication.
[0030]
On the other hand, if it is determined that the user is qualified to receive the service (OK in step S103), a service content list that can be provided by the server 100 is extracted from the image data area 104g and sent to the terminal 200 side ( Step S104). When a selection number selected from the service content list is received from the terminal 200 side (step S105), a series of image data groups corresponding to the selected selection number is obtained by searching the image data area 104g. The first image data in the series of image data groups is extracted from the image data area 104g and transmitted to the terminal 200 by the data transmission unit 104a (step S106).
[0031]
When the transmission time estimating unit 104f determines that the reception of the transmitted image data has been completed on the terminal 200 side, and there is still image data to be transmitted next (step S107). YES), first, the display time calculation unit 104e calculates the display time required for the reproduction display of the image data based on the type and the number of characters of the image data transmitted earlier and / or the complexity of the image (step S108). . If the image data is a still image, the number of characters / complexity calculation unit 104e ₁ Is activated to calculate the number of characters in each of the scattered locations of the character string included in the image data and / or the complexity of the image.
[0032]
Next, based on the display time and the communication speed of the terminal 200 side detected in step S102, the next image data to be transmitted next becomes image data that can be reproduced and displayed on the terminal 200 without interruption. , Next data selection means 104b ₁ Thereby, the image data type (for example, any one of the still image data and the moving image data) is selected (step S109). That is, before the display time during which the previously transmitted image data is displayed on the terminal 200 ends, it is determined whether the next image data to be displayed can be transferred to the terminal 200. The time prediction unit 104f selects the type of image data that is calculated and suitable.
[0033]
The next data transmission unit 104b takes out the image data of the selected image data type from the image data area 104g as the image data to be transmitted next, and adds a display indicating that the next image data is to be transmitted. Is transmitted to the terminal 200 side (step S110).
Further, it is checked whether or not the preceding data transmission is possible (step S111). That is, when the next image data has been received by the transmission destination terminal 200, the transmission time estimating unit 104f determines that the image data that has been transmitted earlier and is being reproduced and displayed at the time point determined by the transmission time prediction unit 104f. It is checked whether the display time of has elapsed. If the display time has not yet elapsed (YES in step S111), it means that there is an idle time until the display time has elapsed. Using the time, it is checked whether there is image data having a large data capacity per unit time or simply having to be transmitted in advance (step S112).
[0034]
If there is image data to be transmitted in advance (YES in step S112), the image data to be transmitted in advance is extracted from the image data area 104g by the preceding data transmission unit 104c, and For a while, a part of the prefetched image data is displayed prior to the terminal 200 and transmitted to the terminal 200 side (step S113). Thereafter, the process returns to step S107 to check whether image data to be transmitted next still exists.
Finally, if there is no image data to be transmitted next (NO in step S107), a fee corresponding to the transmitted image data is charged to the transmission destination user (step S114).
[0035]
Next, the operation of the terminal 200 will be described according to a flowchart showing the flow of the operation of the terminal 200 shown in FIG.
First, the data transfer unit 201 sends a request for a connection request (that is, a request for transfer of image data) to the server 100 (step S201). After the connection with the server 100 is made, the communication speed of the terminal 200 (that is, the communication speed of the terminal) is transmitted (step S202), and the user information of the terminal 200 is transmitted (step S203).
If the server 100 identifies that the user is qualified to receive the image data transfer service, the service content list is sent. A selection number for selecting a group is transmitted (step S204).
[0036]
Since the first image data in the series of image data groups corresponding to the transmitted selection number is transmitted from the server 100 side, the current data storage unit 204a acquires the image data, and the current data storage area 204a ₁ (Step S205), the display unit 204f is activated, and is reproduced and displayed (step S206). Next, the subsequently transmitted image data is acquired (step S207), and is the next image data indicating that the image data is to be reproduced and displayed next, or the first reception indicating that the image data is to be reproduced later. It is checked whether the data is image data (that is, image data that has been prefetched and transmitted in advance) (step S208).
[0037]
If it is the next image data to be reproduced and displayed next (YES in step S208), the next data storage unit 204b stores the next data storage area 204b for storing the image data to be reproduced and displayed next. ₁ Is temporarily stored (step S209), and if the received image data is to be reproduced later (NO in step S208), the data capacity (data size) per unit time or simply is large, for example, a part of the moving image data. Has been transmitted in advance, the pre-received data storage unit 204c stores the pre-received image data in the pre-received data storage area 204c ₁ (Step S210).
[0038]
Next, it is checked whether the reproduction of the currently reproduced image data has been completed (step S211). If the reproduction has not been completed yet (NO in step S211), the process returns to step S207, and the operation of acquiring the image data from the server 100 side. repeat.
On the other hand, if the reproduction has been completed (YES in step S211), the current data storage area 204a storing the image data currently being reproduced is stored. ₁ In the next data storage area 204b (step S212). ₁ The next image data to be reproduced next stored and stored in the current data storage area 204a ₁ Then, preparations are made for reproduction display (step S213).
[0039]
Further, the pre-received data storage area 204c ₁ It is checked whether the previously received image data stored in is stored next is image data to be reproduced next (step S214). If the previously received image data corresponds to the next image data to be reproduced next (YES in step S214), the previously received data storage area 204c ₁ The next data storage area 204b for storing the previously received image data stored and stored in the ₁ To the next image data (step S215). On the other hand, if the previously received image data does not correspond to the next image data to be reproduced next (NO in step S214), the next data storage area 204b ₁ Is set to an empty state, and it is displayed that the data to be reproduced next is not stored (step S216).
[0040]
Finally, it is checked whether or not the reproduction of all the transmitted image data has been completed (step S217). If the reproduction has been completed (YES in step S217), all the processing is completed and the reproduction is still performed. If image data to be left remains (NO in step S217), the process returns to step S206, and the reproduction of the image data is repeated.
[0041]
Next, the flow of displaying an image displayed on the screen of the display device 203 of the terminal 200 will be described with reference to FIGS.
Here, FIG. 5 is a screen diagram showing an example of a temporal transition of the screen display, and FIG. 8 is a diagram showing an image data pattern (that is, a series of image data groups) transferred from the server side to the terminal side. It is a figure showing an example of a flow.
FIG. 8 shows an example in which the ratio of the reproduction and display time of the moving image data to the still image data increases in order from FIG. 8A to FIG. 8D. When specified by the selection number from 200, a series of image data patterns having a long playback and display time of the moving image as long as possible are selected and transferred according to the user's specification or automatically. It is possible to do. That is, 8 Figure from (D) 8 It is possible to sequentially check the display possibility based on the communication speed of the terminal 200 toward (A).
[0042]
In the image data pattern shown in FIG. 8, the numbers in the “screen No.” column correspond to the order of the screens shown in FIG. 5, and “still image / moving image” in the “content” column is the image data. An example is shown. That is, as shown in FIGS. 8A to 8D, in “2” and “4” in the “screen No.” column in FIG. 8, still image data and moving image data (generally, The image data of both image types is stored in the server 100, and either the still image data or the moving image data is automatically converted according to the communication speed of the terminal 200. Can be selected and transferred.
[0043]
In FIG. 5, as an example showing the image type, a “face” + “balloon” mark indicates a still image, and a “face” + “body” mark indicates a moving image. To Is shown.
That is, the screen display displayed on the terminal on the “low speed” side in FIG. 5 corresponds to the case of FIG. 8B, and the second moving image cannot be displayed. It is a still image, and only the fourth is a moving image.
On the other hand, the screen display displayed on the “high-speed” terminal in FIG. 5 corresponds to the case of FIG. 8D, in which both the second and fourth moving images are displayed, and the other images are still images. Is displayed.
[0044]
Further, the “reproduction” column of the “reproduction time” column of FIG. 8 shows the reproduction display time of each image data.
In addition, when the communication speed of the terminal 200 is low and when the communication speed is high (in the example shown in FIG. 8, the communication speed is twice as high as that of the low speed), The transfer time of each image data to 200 is shown in the “transfer” column of the “low speed” column and the “transfer” column of the “high speed” column. The “transfer” column shown in FIG. 8 is, as shown in the “transfer screen” column, the next display to be transferred next during the period during which the previously transferred image data is being reproduced and displayed. The transfer time of the next image data to be expended is shown.
Further, the "low speed" column, the "high speed" column and the "reproduction time" column each have an "accumulated" column, and the required transfer time and the required reproduction time for each image data are also displayed. I have.
[0045]
Here, in the cases of FIGS. 8C and 8D, when the communication speed is low, when the reproduction of the image data whose “screen No.” is “1” ends, The transfer of the image data of "2" to be displayed has not been completed, and the transfer time of the image data is longer than the reproduction time. Z This indicates that a special screen display cannot be performed. (In the “low speed” column of FIG. 8, the symbol is indicated by “x”.)
On the other hand, in the case of FIGS. 8A and 8B, even if the communication speed is low, the data transfer time is shorter than the reproduction time, so Z This indicates that a simple screen display is possible. (In the "low speed" column of FIG. 8, "o" is displayed.)
[0046]
In addition, when the communication speed of the terminal is high, the data transfer time is shorter than the reproduction time in any case of FIGS. Z This indicates that a simple screen display is possible. (In the “high-speed” column of FIG. 8, it is indicated by a “O” mark.)
[0047]
That is, the server 100 checks the communication speed of the terminal 200 and determines how far a moving image can be transmitted to the terminal 200 based on the table shown in FIG.
As shown in FIG. 8, when the communication speed of the terminal 200 is low, a still image and a moving image are stored as the second screen, and the moving image is transmitted as the second image. However, the data transfer of the moving image cannot be completed by the display start time of the moving image. On the other hand, in the case of the fourth screen, even if a moving image is transmitted, the transmission of the moving image can be completed by the display start time, and the screen can be displayed without interruption.
Also, when the communication speed of the terminal 200 is high, even if both the second and fourth screens are used as moving images, they can be displayed on the screen without interruption, so that the transferred image can be displayed. In order Z Can be played back.
[0048]
Regarding the calculation of the display time of the image data, in the case of a moving image, the playback time is determined because the playback time is determined.
On the other hand, when a still image is created by character data and image data, the display time of the still image can be automatically determined from the number of characters of the character string used. That is, by taking into account the number of characters that a human can read in one second and the number of scattered locations when the character strings are scattered and arranged on the screen, for example,
{(Number of characters) / 10} + {(number of scattered characters) * 0.2}
Is automatically calculated as the display time, there is no need to manually set the display time for each still image data.
[0049]
In addition, since the reading speed of characters varies from person to person, at the time of the first connection, setting information such as “fast”, “normal”, and “slow” is input from the terminal 200, and the display time and transmission time are transmitted. It is also possible to change the content of the received image data.
[0050]
Further, the display time can be automatically set according to the complexity of the image. For example, in the case of a GIF (Graphics Interchange Format) image, the number of colors used on the screen can be easily obtained from the color information at the top of the image data.
Thus, control can be performed such that the display time of an image with a large number of colors is lengthened and the display time of an image with a small number of colors is shortened.
[0051]
Further, in the case of a monochrome image, when the image data is compressed by the MH (Modified Huffman) coding method or the MR (Modified READ) coding method used in the facsimile, if the compressed data capacity is small, the image is compressed. Image data with a large amount of compressed data is considered to be a complicated image. Therefore, image data with a small compressed data volume has a short display time, and image data with a large compressed data volume has a long display time. And the like.
[0052]
FIG. 6 shows an example of a display time table of the image data, which corresponds to the data in the “reproduction time” column shown in FIGS. 8A to 8D, and “Image NO.” "2" and "4" indicate that both still image data and moving image data are prepared.
FIG. 6 shows the display time of each data in units of “0.1 second”. For example, the first image data “screen 1” shown in the “screen No.” column of FIG. , Which means that only a still image is prepared and displayed for 2.2 seconds. The second image data “screen 2” includes a still image and a moving image, which means that a still image is displayed for 2.6 seconds and a moving image is displayed for 2.2 seconds. ing. The following data has the same meaning.
[0053]
FIG. 7 shows an example of the data capacity of image data and the transmission time from the server to the terminal, and corresponds to the data in the “transfer” column shown in FIGS. 8A to 8D. The data capacity of each data is indicated in units of “K bytes”, and the transmission time is indicated in units of “0.1 seconds”. For example, the first image data “screen 1” shown in the “screen No.” column of FIG. 7 is a still image, the data capacity of the image data is 18 Kbytes, and in the case of a low communication speed, The transmission time is 1.8 seconds, and in the case of a high communication speed, it means that the transmission time is only 0.9 seconds. The second image data "screen 2" has a data capacity of a still image of 20 Kbytes and a moving image of 34 Kbytes, and the transmission time for each of the still images is 2.0 seconds at a low communication speed. This means that it takes 1.0 second at a high communication speed, and the transmission time for a moving image is 3.4 seconds at a low communication speed and 1.7 seconds at a high communication speed. The following data has the same meaning.
[0054]
Next, the flow of data on the terminal 200 side will be described with reference to FIGS. 9 and 10, taking the case of the image data shown in FIG. 8B as an example.
Here, FIG. 9 shows that each image data is stored in the current data storage area 204 a in the storage device 204. ₁ , Next data storage area 204b ₁ , Pre-received data storage area 204c ₁ FIG. 5 is a diagram showing a flow of sequentially storing data in a.
FIG. 10 is a diagram showing a transfer transition of each image data on a time axis.
[0055]
First, as shown in the “normal” row of the “transfer” row in FIG. 10A, the first still image 1 indicated by “1” in the “screen No.” column in FIG. 8B is transmitted. The terminal 200 transmits the current data storage area 204a shown in FIG. ₁ When the data reception is completed, the terminal 200 shifts to the reproducing operation, and as shown in the “reproducing” line of FIG. , “Time” from “0” to “22”), and reproduce and display.
[0056]
On the other hand, during that time, the next still image 2 (“2” in the “screen No.” column in FIG. 8B) is stored in the next data storage area 204b as shown in FIG. 9A. ₁ Is accumulated in When the data reception of the still image 2 is completed, as shown in the “normal” line and the “reproduction” line of the “transfer” line in FIG. The transfer of the still image 2 has been completed (that is, completed at time "20" shown in FIG. 10A).
Therefore, when the transmission of the still image 2 which is the next image data is completed, the server 100 waits until the reproduction time of the still image 1 ends (that is, from the time “20” to the time “22”). ), The image data of the moving image 4 (“4” in the “screen No.” column of FIG. 8B), which is the pre-received data, is prefetched, and the “transfer” of FIG. As shown in the "preceding" line of the "" line, transmission begins. The terminal 200 checks whether the received image data is the next image data or the previous image data. If the received image data is the previous image data, as shown in FIG. Storage area 204c ₁ To accumulate.
[0057]
Current data storage area 204a ₁ When the reproduction time of the still image 1 stored in the next data storage area 204b ends, as shown in FIG. ₁ Is stored in the current data storage area 204a. ₁ Then, the reproduction of the image data of the still image 2 is started (that is, the reproduction is started at the time “22” shown in FIG. 10A).
On the other hand, as shown in the “preceding” line of the “transfer” line in FIG. 10A, when the reproduction time of the still image 1 ends, the transmission of the moving image 4 transmitted in advance is interrupted. As shown in the “normal” row of the “transfer” row of FIG. 10A, the image data of the still image 3 (“3” in the “screen No.” column in FIG. Transmission starts.
[0058]
On the terminal 200 side, the reproduction of the still image 2 is started. During that time, the still image 3 (“3” in the “screen No.” column of FIG. 8B) transmitted next is shown in FIG. As shown in FIG. 9B, the next data storage area 204b ₁ Will be accumulated. When the data reception of the still image 3 is completed, before the reproduction time of the still image 2 ends, as shown in the “normal” line and the “reproduction” line of the “transfer” line in FIG. The transfer of the still image 3 has been completed (that is, completed at time "44" shown in FIG. 10A).
[0059]
Therefore, when the transmission of the still image 3 as the next data is completed, the server 100 starts the idle time (ie, from the time “44” shown in FIG. 10A) until the reproduction time of the still image 2 ends. Utilizing the time until “48”), the image data of the moving image 4 (“4” in the “screen No.” column in FIG. 8B), which is the previously received data, has been interrupted earlier. The transmission is resumed, and the transmission is started from the interrupted position of the moving image 4 that has been prefetched, as shown in the “preceding” line of the “transfer” line in FIG. The terminal 200 checks whether the received image data is the next image data or the previous image data. If the received image data is the previous image data, the terminal 200 stores the image data first as shown in FIG. 9B. The received data that has been received is continued, and the received data storage area 204c ₁ To accumulate.
[0060]
Current data storage area 204a ₁ When the reproduction time of the still image 2 stored in the next data storage area 204b ends, as shown in FIG. ₁ Is stored in the current data storage area 204a. ₁ Then, the reproduction of the image data of the still image 3 is started (that is, the reproduction is started at the time “48” shown in FIG. 10A).
On the other hand, as shown in the “preceding” line of the “transfer” line in FIG. 10A, when the reproduction time of the still image 2 ends, the transmission of the moving image 4 that has been transmitted in advance is stopped. As shown in the “normal” row of the “transfer” row in FIG. 10A, the continuation of the image data of the moving image 4 is transmitted as the next image data.
[0061]
On the terminal 200 side, the reproduction of the still image 3 is started, and during that time, as shown in FIG. ₁ Is identified as the image data to be reproduced next, and the pre-received data storage area 204c ₁ To next data storage area 204b ₁ Is transferred to the next data storage area 204b. ₁ Are successively accumulated in the area following. When the data of the moving image 4 has been received, a part of the moving image has been prefetched and has been transferred "preceding", so that the "normal" line and the "playback" line of the "transfer" line in FIG. The transfer of the moving image 4 is completed before the reproduction time of the still image 3 ends (that is, the transfer ends at the time “64” shown in FIG. 10A). ing).
[0062]
However, when the transmission of the moving image 4 as the next data is completed, the server 100 uses the idle time until the reproduction time of the still image 3 ends, and prefetches the image data to be transmitted. Does not exist, the transfer operation is stopped, and the process waits until the reproduction of the still image 3 ends, as shown in the “transfer” line of FIG.
[0063]
Current data storage area 204a ₁ When the reproduction time of the still image 3 stored in the next data storage area 204b ends, as shown in FIG. ₁ Is stored in the current data storage area 204a. ₁ Then, the reproduction of the image data of the moving image 4 is started (that is, the reproduction is started at the time “66” shown in FIG. 10A).
On the other hand, as shown in the “normal” row of the “transfer” row in FIG. 10A, when the reproduction time of the still image 3 ends, the still image 5 (“screen No. in FIG. . "Column, the image data of" 5 ") is transmitted.
[0064]
On the terminal 200 side, the reproduction of the moving image 4 is started, and during that time, the still image 5 (“5” in the “screen No.” column in FIG. 8B) transmitted next is shown in FIG. 9 (D), the next data storage area 204b ₁ Will be accumulated. When the data reception of the still image 5 is completed, as shown in the “normal” line and the “reproduction” line of the “transfer” line in FIG. The transfer of the still image 5 has been completed (that is, completed at the time “76” shown in FIG. 10A).
[0065]
However, since all the image data to be transmitted on the server 100 side has already been transmitted, the transfer operation ends as shown in the “normal” row of the “transfer” row in FIG.
[0066]
On the other hand, on the terminal 200 side, the current data storage area 204a ₁ When the reproduction time of the moving image 4 stored in the next data storage area ends, as shown in FIG. ₁ Is stored in the current data storage area 204a. ₁ The reproduction of the image data of the still image 5 is started.
[0067]
As described above, even when the storage capacity of the storage device 204 of the terminal 200 is small, three screen data storage areas each having a small capacity (the current data storage area 204a). ₁ , Next data storage area 204b ₁ , Pre-received data storage area 204c ₁ ) By preparing, smooth without interruption Z It is possible to mix and distribute moving images and reproduce them.
[0068]
Note that the embodiment shown in FIG. 10B shows an example in which control is performed so that the corresponding image data is transferred immediately before the reproduction of the next image data starts. If there is a vacant time before, the moving image data as the previous image data is prefetched and the pre-received data storage area 204c ₁ To be forwarded to.
[0069]
Further, when transferring image data using a wireless communication line, it is necessary to retransmit (retry) in response to the occurrence of an error, and it is not possible to obtain a theoretical value regarding the communication speed. Therefore, a method is adopted in which the actual measured value is checked first, and data transmission control is performed in accordance with the communication speed, or the transmission content is dynamically changed halfway while measuring the actual measured value in real time. There is a need.
[0070]
【The invention's effect】
As described above, if the image communication apparatus, the image communication method, or the program recording medium capable of executing the image communication method according to the present invention is used, the image data is automatically transferred according to the communication speed of the terminal. It is possible to allocate still images and videos that should be transmitted, and it is possible to automatically transfer still images for terminals with low communication speed and more videos for terminals with high communication speed. In addition, it is possible to expect an effect that the user can enjoy more cartoons, animations, and the like on the terminal without feeling stress when watching.
[Brief description of the drawings]
FIG. 1 is a circuit block diagram illustrating a configuration of a server that stores an image file and the like.
FIG. 2 is a circuit block diagram illustrating a configuration of a terminal that communicates with a server.
FIG. 3 is a flowchart illustrating a flow of an operation on a server side.
FIG. 4 is a flowchart showing a flow of an operation on the terminal side.
FIG. 5 is a screen diagram showing an example of a temporal transition of a screen display.
FIG. 6 shows an example of a display time table of image data.
FIG. 7 illustrates an example of a data capacity of image data and a transmission time from a server to a terminal.
FIG. 8 is a diagram showing an example of a flow of an image data pattern transferred from a server to a terminal.
FIG. 9 is a diagram showing a flow of sequentially storing each image data in a current data storage area, a next data storage area, and a previously received data storage area.
FIG. 10 is a diagram showing a transfer transition of each image data on a time axis.
[Explanation of symbols]
100 server, 101 CPU, 102 input device, 103 display device, 104 storage device, 104a data transmission unit, 104b next data transmission unit, 104b ₁ ... Next data selection unit, 104c preceding data transmission unit, 104d terminal speed detection unit, 104e display time calculation unit, 104e ₁ ... Number of characters / complexity calculator 104f Transmission time predictor 104g Image data area 105 Communication device 106 Program recording medium 200 Terminal 201 CPU 202 Input device 203 Display device 204: storage device, 204a: current data storage unit, 204a ₁ ... current data storage area, 204b ... next data storage section, 204b ₁ ... next data storage area, 204c ... precedent data storage unit, 204c ₁ ... Pre-received data storage area, 204d... Data transfer unit, 204e... Display time calculation unit, 204e ₁ ... Character number / complexity calculation unit, 204f ... Display unit, 205 ... Communication device, 206 ... Program recording medium.

Claims

Data transmission means for transmitting a series of image data groups consisting of a plurality of image data, and terminal speed detection means for determining the communication speed of each partner terminal that is a transmission destination for transmitting the series of image data groups, Transmission time prediction means for calculating the transmission time for each partner terminal required for transmission of the image data, and display time calculation means for calculating the display time required for reproduction display of the image data for each image data, The next data which starts transmission of the next image data to be transmitted next from the time when it is determined that the previously transmitted image data has been received by the destination terminal of the transmission destination based on the transmission time prediction means. and transmission means, when said next image data is determined to receive has been completed in the counterpart terminal of the transmission destination, the image data in the state of playing display previously transmitted If the display time has not yet elapsed, using the idle time until the display time has elapsed, the image data to be transmitted later is prefetched for image data per unit time or simply having a large data capacity. The next data transmitting means transmits the next image before the display time of the image data in the state of being transmitted and reproduced and displayed is elapsed. It is characterized by having next data selecting means capable of automatically selecting the type of image data to be transmitted next, which is the target of the next image data to be transmitted so that the data transmission is completed. Image communication device.

2. The image communication device according to claim 1, wherein the next data selecting means selects either moving image data or still image data as the image data type to be selected. Characteristic image communication device.

Based on the communication speed of each partner terminal transmitting a series of image data groups composed of a plurality of image data, the transmission time of each partner terminal required for transmission for each image data is determined, and the image data is the destination of the transmission. The display time required to start the transmission of the next image data to be transmitted next from the time when it is determined that the reception has been completed in the partner terminal, and to further display and display the image data which has been determined to have been previously received. At the time when it is determined that the reception of the next image data has been completed at the destination terminal of the transmission destination, the display time of the image data that has been previously transmitted and is being reproduced and displayed is still If the elapsed time has not elapsed, the image data to be transmitted later is used for the image data per unit time or simply having a large data capacity using the idle time until the display time elapses. An image communication method for transmitting by anticipating over data, before the display time of the image data in the state of playing display previously transmitted elapses, so that the transmission of the next image data is completed An image communication method for automatically selecting and transmitting an image data type to be transmitted next, which is a target of the next image data.