JP2002051312A - 情報処理装置、情報処理方法およびその方法をコンピュータに実行可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 送受信される画像データの内容を早急に理解
して、円滑な会話をおこなうことを課題とする。 【解決手段】 リアルタイム性が要求されない第２の情
報のデータ量が所定の値より小さいか否かを判定し、所
定の値よりも小さいと判定された場合に、前記第２の情
報を送信し、所定の値以上であると判定された場合に、
リアルタイム性が要求される第１の情報と前記第２の情
報とを多重化した情報を送信するよう制御する制御部７
を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、単一の伝送路を
用いて、リアルタイム性が要求される第１の情報とリア
ルタイム性が要求されない第２の情報とを同時送信する
情報処理技術に関し、特に、送受信される画像データの
内容を早急に理解して、円滑な会話をおこなうことがで
きる情報処理装置、情報処理方法およびその方法をコン
ピュータに実行可能な記録媒体に関する。

【０００２】

【従来の技術】従来、携帯電話やＰＨＳ（Personal Ha
ndyphone System）などの移動体情報処理サービスを利
用して、音声データの送受信だけではなく、文章や画像
などの非音声データも送受信できる情報処理端末が登場
し、さらに、ＣＣＤ（ChargeCoupled Device）などの
撮影部を備えた情報処理端末も普及してきている。

【０００３】このようなモバイル端末においては、単一
の伝送路を共有して音声データと画像データとを送信す
るが、会話（音声データの送受信）によるコミュニケー
ションを遮断しないように、音声データと画像データと
を多重化して送信することが一般的におこなわれてい
る。また、音声データに比較して大きなデータ量を有す
る画像データを効率良く送信するために、種々の送信技
術（たとえば、特開平８−２７９８３５号公報、特開平
９−２６１１９７号公報、特開平１０−２２９３７５号
公報などに開示された送信技術）が提案されている。以
下、これらの従来技術について簡単に説明する。

【０００４】まず最初に、特開平８−２７９８３５号公
報には、音声データの有無、すなわち無音期間を検出す
る送信技術が開示されている。すなわち、この従来技術
においては、音声の無音期間を検出し、無音期間中は、
音声データの送信（音声データと画像データの多重化送
信）を中断して、画像データのみを送信することによっ
て、画像データを効率良く送信している。

【０００５】また、特開平９−２６１１９７号公報に
は、音声データを圧縮する送信技術が開示されている。
すなわち、この従来技術においては、送信する画像デー
タが大きい場合に、音声データを圧縮して音声データの
伝送帯域幅を小さくすること（画像データの伝送帯域幅
を大きくすること）によって、画像データを効率良く送
信している。

【０００６】また、特開平１０−２２９３７５号公報に
は、画像データを優先的に送信するか否かを選択させる
送信技術が開示されている。すなわち、この従来技術に
おいては、送信する画像データのデータ量が大量に蓄積
されている場合に、画像データの優先的送信を選択さ
せ、この選択がなされると、音声データの送信を中断し
て、画像データのみを送信することによって、画像デー
タを効率良く送信している。

【０００７】

【発明が解消しようとする課題】しかしながら、上記の
従来技術は、送信する画像データのデータ量が大きい場
合に、通信相手が画像データの内容を理解して円滑に会
話できるようになるまでに長時間を要するという問題点
があった。

【０００８】すなわち、特開平８−２７９８３５号公報
に開示された従来技術は、無音期間中に、画像データの
みを送信している。しかし、話者の周囲が騒々しい環境
であって、会話はしていないが有音期間として検出され
る場合には、画像データを音声データと多重化して送信
せざるを得ない。このため、画像データのデータ量が大
きい場合には、通信相手に画像データが送信されるまで
の時間が長くなってしまう。したがって、通信相手が画
像データの内容を理解して円滑に会話できるようになる
までに長時間を要していた。また、この結果として、通
信時間が長くなり通信費用も高くなっていた。

【０００９】また、特開平９−２６１１９７号公報に開
示された従来技術は、送信する画像データが大きい場合
に、音声データを圧縮して画像データの伝送帯域幅を大
きくしている。しかし、デジタル携帯電話サービスのＰ
ＤＣ(Personal Digital Cellular)などのように伝送
路の帯域幅が小さい場合には、音声信号の圧縮による画
像データ伝送帯域幅の拡大にも限界がある。このため、
画像データのデータ量が大きい場合には、通信相手に画
像データが送信されるまでの時間が長くなってしまう。
したがって、上記の従来技術（特開平８−２７９８３５
号公報に開示された従来技術）と同様に、通信相手が画
像データの内容を理解して円滑に会話できるようになる
までに長時間を要し、結果として、通信時間が長くなり
通信費用も高くなっていた。

【００１０】また、特開平１０−２２９３７５号公報に
開示された従来技術は、画像データのデータ量が大きい
場合に、画像データの優先的送信を選択させて、画像デ
ータのみを送信している。しかし、画像データのデータ
量が大きい場合に画像データのみを優先的に送信するも
のであるため、会話によるコミュニケーションが長時間
にわたって遮断されてしまうこととなる。また、画像デ
ータのデータ量が大きいと、通信相手に画像データが送
信されるまでの時間が長くなってしまうため、上記の従
来技術（特開平８−２７９８３５号公報に開示された従
来技術）と同様に、通信相手が画像データの内容を理解
して円滑に会話できるようになるまでに長時間を要し、
結果として、通信時間が長くなり通信費用も高くなって
いた。

【００１１】ところで、近年、ＣＣＤなどの撮像素子の
高画素化にともなって、画像データのデータ量も大きく
なってきており、上述した従来技術の問題点は、一層顕
著である。特に、撮影部を備える情報処理端末において
は、通話中に撮影した画像データを通信相手に送信し、
早急に画像データの内容を理解して円滑に会話できるこ
とが要望されている。しかし、上述したように、上記の
従来技術では、通信相手が画像データの内容を理解して
円滑に会話できるようになるまでに長時間を要するた
め、このような要望に応えることが困難であった。

【００１２】そこで、この発明は、上述した従来技術に
よる問題点を解決するため、送受信される画像データの
内容を早急に理解して、円滑な会話をおこなうことがで
きる情報処理装置、情報処理方法およびその方法をコン
ピュータに実行可能な記録媒体を提供することを目的と
する。

【００１３】

【課題を解決するための手段】上述した課題を解決し、
目的を達成するため、請求項１の発明に係る情報処理装
置は、単一の伝送路を用いて、リアルタイム性が要求さ
れる第１の情報とリアルタイム性が要求されない第２の
情報とを同時送信する情報処理装置において、前記第２
の情報のデータ量が所定の値より小さいか否かを判定す
る判定手段と、前記判定手段によって所定の値よりも小
さいと判定された場合に、前記第２の情報を送信する第
１の送信制御手段と、前記判定手段によって所定の値以
上であると判定された場合に、前記第１の情報と前記第
２の情報とを多重化した情報を送信する第２の送信制御
手段と、を備えたことを特徴とする。

【００１４】また、請求項２の発明に係る情報処理装置
は、単一の伝送路を用いて、リアルタイム性が要求され
る第１の情報とリアルタイム性が要求されない第２の情
報とを同時送信する情報処理装置において、前記第２の
情報に関する一部の情報を送信する第１の送信制御手段
と、前記第１の送信制御手段による情報の送信後に、前
記第１の情報と前記第２の情報とを多重化した情報を送
信する第２の送信制御手段と、を備えたことを特徴とす
る。

【００１５】また、請求項３の発明に係る情報処理装置
は、請求項２に記載の発明において、前記第２の情報
は、複数の階層により形成され、前記第１の送信制御手
段は、前記第２の情報における所定の階層までの情報を
送信し、前記第２の送信制御手段は、前記第１の送信制
御手段による情報の送信後に、前記第１の情報と前記第
２の情報における前記所定の階層以降の情報とを多重化
した情報を送信することを特徴とする。

【００１６】また、請求項４の発明に係る情報処理装置
は、請求項２に記載の発明において、前記第２の情報
は、データ量が異なる複数のファイルにより形成され、
前記第１の送信制御手段は、前記第２の情報における最
小データ量のファイルに含まれる情報を送信し、前記第
２の送信制御手段は、前記第１の送信制御手段による情
報の送信後に、前記第１の情報と前記第２の情報におけ
る最大データ量のファイルに含まれる情報とを多重化し
た情報を送信することを特徴とする。

【００１７】また、請求項５の発明に係る情報処理装置
は、請求項２に記載の発明において、前記第２の情報を
表示する表示手段と、前記表示手段に表示された前記第
２の情報から、該第２の情報に関する一部の情報を指定
する指定手段と、をさらに備え、前記第１の送信制御手
段は、前記指定手段によって指定された一部の情報を送
信することを特徴とする。

【００１８】また、請求項６の発明に係る情報処理装置
は、請求項５に記載の発明において、前記第２の情報
は、画像情報からなり、前記指定手段は、前記表示手段
に表示された前記画像情報から、画像の一部を指定する
ことを特徴とする。

【００１９】また、請求項７の発明に係る情報処理装置
は、請求項５に記載の発明において、前記第２の情報
は、画像情報からなり、前記指定手段は、前記表示手段
に表示された前記画像情報から、画像の一部を形成する
オブジェクトを指定することを特徴とする。

【００２０】また、請求項８の発明に係る情報処理装置
は、請求項２に記載の発明において、前記第２の情報に
関する一部の情報を指定しつつ該第２の情報を入力する
入力手段をさらに備え、前記第１の送信制御手段は、前
記入力手段によって指定入力された一部の情報を送信す
ることを特徴とする。

【００２１】また、請求項９の発明に係る情報処理装置
は、請求項８に記載の発明において、前記第２の情報
は、画像情報からなり、前記入力手段は、画像の一部を
指定することを特徴とする。

【００２２】また、請求項１０の発明に係る情報処理装
置は、請求項８に記載の発明において、前記第２の情報
は、画像情報からなり、前記入力手段は、画像の一部を
形成するオブジェクトを指定することを特徴とする。

【００２３】また、請求項１１の発明に係る情報処理方
法は、単一の伝送路を用いて、リアルタイム性が要求さ
れる第１の情報とリアルタイム性が要求されない第２の
情報とを同時送信する情報処理方法において、前記第２
の情報のデータ量が所定の値より小さいか否かを判定す
る判定工程と、前記判定工程によって所定の値よりも小
さいと判定された場合に、前記第２の情報を送信する第
１の送信制御工程と、前記判定工程によって所定の値以
上であると判定された場合に、前記第１の情報と前記第
２の情報とを多重化した情報を送信する第２の送信制御
工程と、を含んだことを特徴とする。

【００２４】また、請求項１２の発明に係る情報処理方
法は、単一の伝送路を用いて、リアルタイム性が要求さ
れる第１の情報とリアルタイム性が要求されない第２の
情報とを同時送信する情報処理方法において、前記第２
の情報に関する一部の情報を送信する第１の送信制御工
程と、前記第１の送信制御工程による情報の送信後に、
前記第１の情報と前記第２の情報とを多重化した情報を
送信する第２の送信制御工程と、を含んだことを特徴と
する。

【００２５】また、請求項１３の発明に係る情報処理方
法は、請求項１２に記載の発明において、前記第２の情
報は、複数の階層により形成され、前記第１の送信制御
工程は、前記第２の情報における所定の階層までの情報
を送信し、前記第２の送信制御工程は、前記第１の送信
制御工程による情報の送信後に、前記第１の情報と前記
第２の情報における前記所定の階層以降の情報とを多重
化した情報を送信することを特徴とする。

【００２６】また、請求項１４の発明に係る情報処理方
法は、請求項１２に記載の発明において、前記第２の情
報は、データ量が異なる複数のファイルにより形成さ
れ、前記第１の送信制御工程は、前記第２の情報におけ
る最小データ量のファイルに含まれる情報を送信し、前
記第２の送信制御工程は、前記第１の送信制御工程によ
る情報の送信後に、前記第１の情報と前記第２の情報に
おける最大データ量のファイルに含まれる情報とを多重
化した情報を送信することを特徴とする。

【００２７】また、請求項１５の発明に係る情報処理方
法は、請求項１２に記載の発明において、前記第２の情
報を表示する表示工程と、前記表示工程に表示された前
記第２の情報から、該第２の情報に関する一部の情報を
指定する指定工程と、をさらに含み、前記第１の送信制
御工程は、前記指定工程によって指定された一部の情報
を送信することを特徴とする。

【００２８】また、請求項１６の発明に係る情報処理方
法は、請求項１５に記載の発明において、前記第２の情
報は、画像情報からなり、前記指定工程は、前記表示工
程に表示された前記画像情報から、画像の一部を指定す
ることを特徴とする。

【００２９】また、請求項１７の発明に係る情報処理方
法は、請求項１５に記載の発明において、前記第２の情
報は、画像情報からなり、前記指定工程は、前記表示工
程に表示された前記画像情報から、画像の一部を形成す
るオブジェクトを指定することを特徴とする。

【００３０】また、請求項１８の発明に係る情報処理方
法は、請求項１２に記載の発明において、前記第２の情
報に関する一部の情報を指定しつつ該第２の情報を入力
する入力工程をさらに含み、前記第１の送信制御工程
は、前記入力工程によって指定入力された一部の情報を
送信することを特徴とする。

【００３１】また、請求項１９の発明に係る情報処理方
法は、請求項１８に記載の発明において、前記第２の情
報は、画像情報からなり、前記入力工程は、画像の一部
を指定することを特徴とする。

【００３２】また、請求項２０の発明に係る情報処理方
法は、請求項１８に記載の発明において、前記第２の情
報は、画像情報からなり、前記入力工程は、画像の一部
を形成するオブジェクトを指定することを特徴とする。

【００３３】また、請求項２１の発明に係る記録媒体
は、請求項１１〜２０のいずれか一つに記載された方法
をコンピュータに実行させるプログラムを記録したこと
で、そのプログラムをコンピュータ読み取り可能とな
り、これによって、請求項１１〜２０のいずれか一つの
動作をコンピュータによって実行することができる。

【００３４】

【発明の実施の形態】以下に添付図面を参照して、この
発明に係る情報処理装置、情報処理方法、およびその方
法をコンピュータに実行させるプログラムを記録したコ
ンピュータ読み取り可能な記録媒体の好適な実施の形態
を詳細に説明する。

【００３５】なお、本実施の形態では、本発明を、ＰＳ
ＴＮや携帯電話サービスのＰＤＣ(Personal Digital
Cellular)などの比較的低いビットレート回線に接続し
て、音声データ（リアルタイム性が要求される情報）と
画像データ（リアルタイム性が要求されない情報）とを
同時に送受信するモバイル端末に適用した場合を示すこ
ととする。

【００３６】ただし、本実施の形態によって本発明が限
定されるものではなく、たとえば、ＰＤＡ（Personal
Digital Assistants）、ＴＶ電話、ＴＶ会議システム
など、リアルタイム性が要求される情報（たとえば、音
声情報など）とリアルタイム性が要求されない情報（た
とえば、画像情報、文章情報、音楽情報など）とを同時
に送受信する、あらゆる情報処理に適用することができ
る。

【００３７】以下、本発明の実施の形態について、［モ
バイル端末の構成例］と、［データ通信プロトコルの構
成例］と、［データ通信プロトコルを用いた通信例］
と、［モバイル端末の動作例（動作例１〜動作例８）］
とを順に説明する。

【００３８】［モバイル端末の構成例］まず最初に、図
１および図２を参照して、本実施の形態に用いられるモ
バイル端末の概略的な構成および処理の内容を説明す
る。図１は、本実施の形態に用いられるモバイル端末の
構成を示すブロック図である。また、図２は、本実施の
形態に用いられるモバイル端末の外観を示す図であり、
詳細には、図２（ａ）は、モバイル端末の正面図であ
り、図２（ｂ）は、モバイル端末の背面図である。な
お、図２においては、便宜上、各種の操作ボタンなどの
図示を省略している。

【００３９】本実施の形態に用いられるモバイル端末１
は、図１に示すように、画像入力部２と、画像処理部３
と、表示部４と、画像メモリ２５と、音声入力部３８
と、音声処理部３０と、音声出力部３９と、操作部５
と、通信部６と、制御部７とを、バス３６を介して、デ
ータ授受可能に接続して構成される。

【００４０】そして、概略的には、本実施の形態に用い
られるモバイル端末１は、音声入力部３８によって入力
した音声データや画像入力部２などによって入力した画
像データなどを、通信部６によって伝送路に送り出すと
ともに、通信部６を介して伝送路から送られてくる音声
データや画像データを、音声出力部３９や表示部４によ
って出力する。

【００４１】ここで、本実施の形態に用いられるモバイ
ル端末１は、制御部７における送信制御処理に特徴があ
り、具体的には、音声データと画像データとの多重化送
信に先立って、音声データの送信を停止し、画像データ
に関する要約や画像データの主要部分などを、送信相手
に早急に送信するよう構成している。

【００４２】次に、図１を参照して、本実施の形態に用
いられるモバイル端末１における各部の具体的な構成お
よび処理の内容を順に説明する。画像入力部２は、図１
に示すように、レンズ１１と、メカ機構１２と、ＣＣＤ
（Charge Coupled Device）１３と、ＣＤＳ回路（Cor
related Double Sampling：相関二重サンプリング回
路）１４と、Ａ／Ｄ変換器１５と、モータドライバ１６
と、制御信号生成部１７とを備えて構成される。

【００４３】この画像入力部２において、レンズ１１
は、被写体像をＣＣＤ１３上に結像するためのレンズで
ある。また、メカ機構１２は、メカニカルシャッター、
オートフォーカス機構、絞り機構、およびフィルターを
含む機構である。また、ＣＣＤ１３は、レンズ１１とメ
カ機構１２を介して入力された映像（被写体像）を電気
信号（アナログ画像信号）に変換する回路である。

【００４４】また、画像入力部２において、ＣＤＳ回路
１４は、ＣＣＤ型撮像素子に対する低雑音化をおこなう
回路である。また、Ａ／Ｄ変換器１５は、ＣＤＳ回路１
４を介して入力されたＣＣＤ１３からのアナログ画像信
号をデジタル画像データに変換する回路である。なお、
このＡ／Ｄ変換器１５によって変換された画像データ
は、画像処理部３に送られて、各種の画像処理がおこな
われる。

【００４５】また、画像入力部２において、モータドラ
イバ１６は、レンズ１１を移動させてズームやフォーカ
スなどをおこなう駆動部である。また、制御信号生成部
１７は、ＣＣＤ１３、ＣＤＳ回路１４、およびＡ／Ｄ変
換器１５の動作タイミングを制御する信号を生成する処
理部である。

【００４６】画像処理部３は、図１に示すように、デジ
タル信号処理部１８と、画像圧縮伸長処理部１９とを備
えて構成される。この画像処理部３において、デジタル
信号処理部１８は、Ａ／Ｄ変換器１５から入力したデジ
タル画像データについて、色差（Ｃｂ，Ｃｒ）と輝度
（Ｙ）に分けて各種処理、補正および画像圧縮／伸長の
ためのデータ処理をおこなう処理部である。

【００４７】また、画像処理部３において、画像圧縮伸
長処理部１９は、デジタル信号処理部１８から送られて
くる画像データや、通信部６を介して外部のモバイル端
末１などから送られてくる画像データに対し、ＪＰＥＧ
準拠の符号化や復号化をおこなう処理部である。なお、
ＪＰＥＧの符号化モードとしては、ＤＣＴ利用型シーケ
ンシャルモードと階層型モード（ハイアラーキカルモー
ド）との両方を実行できる。

【００４８】画像メモリ２５は、画像入力部２から入力
した画像データが画像処理部３によって画像処理された
画像データや、通信部６から入力した画像データなどを
記憶するフラッシュメモリである。この画像メモリ２５
に記憶する画像フォーマットとしては、ＪＰＥＧの階層
型モードやFlashPixなどを適用できる。なお、本実施の
形態では、画像データのみを記憶する場合を示したが、
音声データや文章データを記憶することも可能である。

【００４９】音声入力部３８は、通話音声を入力するも
のであり、音声出力部３９は、通信部６を介して受信し
た通話相手の音声（相手端末から受信した音声データ）
を出力するものであり、本実施の形態では、図２に示す
ように、イヤホンマイクとして構成される。

【００５０】音声処理部３０は、音声入力部３８（イヤ
ホンマイク）から入力される音声信号をＡ／Ｄ（Analog
／Digital）変換し、このデジタル音声データをITU-T勧
告G.723.1に従って符号化をおこなうとともに、相手端
末から受信される符号化された音声データをITU-T勧告
G.723.1に従って復号化し、この復号化された音声デー
タをＤ／Ａ（Digital／Analog）変換する処理部であ
る。

【００５１】表示部４は、図１に示すように、ファイン
ダ表示制御部２６と、電子ビューファインダ３１と、Ｌ
ＣＤ表示制御部２７と、ＬＣＤ３２とを備えて構成され
る。この表示部４において、ファインダ表示制御部２６
は、デジタル信号処理部１８から入力された被写体画像
データとその中の任意の領域を指示するための矩形（グ
ラフィック）データとを合成して電子ビューファインダ
３１に表示するための制御をおこなう処理部である。ま
た、ＬＣＤ表示制御部２７は、画像メモリ２５に記憶さ
れた画像データや操作メニューなどをＬＣＤ３２に表示
するための制御をおこなう処理部である。

【００５２】操作部５は、図１に示すように、操作指示
部２９と、タッチパネル３３と、タッチパネル制御部２
８とを備えて構成される。この操作部５において、タッ
チパネル制御部２８は、タッチパネル３３上で電子ペン
のペン先や指など（図示を省略）が接触した部分を検出
し、その位置情報を取り込むものであり、タッチパネル
３３はＬＣＤ３２と重ね合わせて密着されている。ま
た、操作指示部２９は、機能選択や撮影指示などの操作
や、電子ビューファインダ３１に表示される矩形領域を
指定するための操作などを、指示するための各種操作ス
イッチを備えるユーザーインタフェースである。

【００５３】通信部６は、図１に示すように、カードイ
ンタフェース２０と、カード用アダプタ２１と、ＰＣカ
ード３７とを備えて構成される。この通信部６におい
て、カードインタフェース２０は、ＰＣＭＣＩＡ（Pers
onal Computer Memory CardInternational Associa
tion）規格に準拠したＰＣカードとのインタフェース動
作を実行する処理部である。

【００５４】また、通信部６において、ＰＣカード３７
は、デジタル携帯電話サービスのＰＤＣやＰＨＳなどを
利用して無線データ通信を行うためのアンテナ内蔵型の
データ通信カードや、ＰＳＴＮに接続してデータ通信を
行うためのモデムカードや、画像データを記憶するメモ
リカードなどである。このＰＣカード３７は、ＰＣＭＣ
ＩＡ規格に準拠しており、カード用アダプタ２１に接続
される。

【００５５】制御部７は、図１に示すように、ＣＰＵ２
２と、メインメモリ２３と、ＲＯＭ２４とを備えて構成
され、モバイル端末１の各部の動作を制御するものであ
る。この制御部７において、メインメモリ２３は、ＤＲ
ＡＭ（Dynamic Random Access Memory）により構成
され、ＣＰＵ２２のワークエリアとして使用される。ま
た、ＲＯＭ２４には、モバイル端末１を制御するための
各種プログラムがあらかじめ書き込まれている。

【００５６】なお、図１に示したバッテリ３５は、たと
えば、ニッケル水素電池、リチウム電池などであり、Ｄ
Ｃ−ＤＣコンバータ３４を介して、電流をモバイル端末
１の内部に供給する。

【００５７】［データ通信プロトコルの構成例］次に、
図３を参照して、本実施の形態に用いられるモバイル端
末１におけるデータ通信プロトコルの構成を説明する。
なお、本実施の形態では、ITU-T勧告G.723.1に従って符
号化された音声データとＪＰＥＧファイルなどのデータ
とを多重化して送信する場合におけるデータ通信プロト
コルの構成について説明する。また、移動通信回線を使
用して音声データとファイルなどのデータとを多重化し
て送信する場合、ＰＤＣのデータ通信サービスやＰＨＳ
のＰＩＡＦＳ（PHS Internet Access Forum Standa
rd）などの、移動通信事業者の提供するデータ通信サー
ビスを利用することになるが、本実施の形態では、ＰＤ
Ｃのデータ通信サービスを利用する場合におけるデータ
通信プロトコルの構成について説明する。

【００５８】図３は、データ通信プロトコルの構成を示
すブロック図であり、詳細には、ＰＤＣのデータ通信サ
ービスを利用して、ITU-T勧告G.723.1に従って符号化さ
れた音声データとＪＰＥＧファイルなどのデータとを多
重化して送信する場合におけるデータ通信プロトコルの
構成を示すブロック図である。

【００５９】図３に示すように、データ通信プロトコル
は、通信制御をおこなうブロック４０と、バイナリデー
タの転送をおこなうブロック４１と、ITU-T勧告G.723.1
の音声符号化および復号化をおこなうブロック４２と、
H.223実行部５１と、V.42実行部５２と、物理レイヤ５
３とから構成される。以下、各部の具体的な構成と処理
の内容を順に説明する。

【００６０】図３に示すデータ通信プロトコルにおい
て、ブロック４０は、通信制御アプリケーション４３
と、H.245実行部４４と、CCSRL（Control Channel Se
gmentation and Reassembly Layer）４５と、LAPM実
行部４６とから構成され、データ通信コネクションの確
立や解放などの通信制御を実行する。

【００６１】具体的には、通信制御アプリケーション４
３は、データ通信コネクションの確立や解放などの通信
制御を実行する。また、H.245実行部４４は、ITU-T勧告
H.245に準拠した動作を実行する。また、CCSRL４５は、
H.245実行部４４から受け取ったＳＤＵ（Service Data
Unit）を１つまたは複数のＰＤＵ（Protocol Data
Unit）に分割するとともに、LAPM実行部４６から受け取
った１つまたは複数のＰＤＵから１つのＳＤＵを生成す
る。また、LAPM実行部４６は、ITU-T勧告V.42の中で規
定された誤り訂正手順であるLAPM（Link Access Proc
edures forModems）を実行する。

【００６２】また、図３に示すデータ通信プロトコルに
おいて、ブロック４１は、バイナリデータ転送アプリケ
ーション４７と、X.225実行部４８とから構成され、静
止画像ファイルなどのバイナリデータの転送を実行す
る。具体的には、バイナリデータ転送アプリケーション
４７は、バイナリファイル転送フォーマットとしてITU-
T勧告T.434を使用して、静止画像ファイルなどのバイナ
リデータの転送を実行する。また、X.225実行部４８
は、ITU-T勧告X.225に準拠したセッションレイヤの動作
を実行する。

【００６３】また、図３に示すデータ通信プロトコルに
おいて、ブロック４２は、オーディオI/O４９と、G.72
3.1実行部５０とから構成され、ITU-T勧告G.723.1の音
声符号化および復号化を実行する。具体的には、オーデ
ィオI/O４９は、イヤホンマイクに該当し、G.723.1実行
部５０は、音声処理部３０に該当する。なお、ITU-T勧
告G.723.1では、音声データを5.3Kbit/sまたは6.3Kbit/
sで符号化する。

【００６４】また、図３に示すデータ通信プロトコルに
おいて、H.223実行部５１は、アダプテーションレイヤ
と多重化レイヤとから構成され、ITU-T勧告H.223に準拠
した動作を実行する。なお、ITU-T勧告H.223は、モバイ
ル通信用に３つのレベルのプロトコルを規定しており、
レベル１が最も誤り耐性が弱く、レベル３が最も誤り耐
性が強い。

【００６５】具体的には、H.223実行部５１におけるH.2
23レベル３のアダプテーションレイヤは、LAPM実行部４
６から受け取った通信制御データとX.225実行部４８か
ら受け取ったバイナリデータとについて、誤り検出、順
方向誤り訂正（ＦＥＣ：Forward Error Correction）
および再送（ＡＲＱ：Automatic ReQuest for recep
tion）を実行する。また、H.223実行部５１におけるH.2
23多重化レイヤは、H.223アダプテーションレイヤから
受け取った通信制御データ、バイナリデータ、および音
声データを多重化するとともに、V.42実行部５２から受
け取った多重化データから通信制御データ、バイナリデ
ータ、および音声データを分離してH.223アダプテーシ
ョンレイヤへ送り出す。

【００６６】また、図３に示すデータ通信プロトコルに
おいて、V.42実行部５２は、通信用のＰＣカード３７に
実装されており、ITU-T勧告V.42に準拠した動作を実行
して、データの誤り訂正をおこなう。また、物理レイヤ
５３も、通信用のＰＣカード３７に実装されており、通
信速度に対応したデータの変調をおこなう。

【００６７】なお、図３に示すデータ通信プロトコルに
おいては、呼の接続や解放など、ＡＲＩＢ（Associatio
n of Radio Industries and Businesses）標準規
格である「デジタル方式自動車電話システム標準規格」
（規格番号RCR STD-27G）に準拠した動作を実行する処
理部の図示を省略している。また、上記の通信方式で
は、音声の符号化方式を通信モードに従って適宜切り替
えることができるが、本実施の形態では、説明の便宜
上、音声の符号化をITU-T勧告G.723.1のみに限定して説
明している。

【００６８】［データ通信プロトコルを用いた通信例］
次に、図４〜図６を参照して、本実施の形態に用いられ
るモバイル端末１におけるデータ通信プロトコルを用い
た通信例を説明する。なお、本実施の形態では、ＰＤＣ
のデータ通信サービスを利用して、図３に示したデータ
通信プロトコルを用いて相手端末と通信する場合を説明
する。

【００６９】まず最初に、相手端末と接続して会話がで
きる通信状態になるまでの、通信制御アプリケーション
４３およびH.245実行部４４の動作を説明する。図４
は、相手端末と接続して会話ができる通信状態になるま
でのシーケンスを示す図である。同図に示すように、ま
ず、ARIB規格RCR STD-27Gに規定される手順に従って呼
を接続し、自端末のV.42実行部５２と相手端末のV.42実
行部５２との間でデータリンクコネクションが確立され
ると、自端末のH.245実行部４４は、TerminalCapabilit
ySetメッセージを送信し、相手端末から応答メッセージ
であるTerminalCapabilitySetAckを受信することによっ
て、端末間の能力交換をおこなう。

【００７０】そして、自端末のH.245実行部４４はMaste
rSlaveDeterminationメッセージを送信し、相手端末か
らマスターの決定情報が入ったMasterSlaveDeterminati
onAckメッセージを受信すると、スレーブの決定情報を
入れたMasterSlaveDeterminationAckメッセージを送信
することによって、自端末はマスターとなり、相手端末
はスレーブとなる。

【００７１】そして、自端末のH.245実行部４４は、デ
ータタイプとしてG.723.1オーディオを含めたOpenLogic
alChannelメッセージを送信し、相手端末から応答メッ
セージであるOpenLogicalChannelAckメッセージを受信
することによって、音声チャネルを開設する。

【００７２】そして、自端末のH.245実行部４４は、Mul
tiplexEntrySendメッセージを送信し、相手端末から応
答メッセージであるMultiplexEntrySendAckメッセージ
を受信して多重化テーブルエントリを決定することによ
って、音声データ通信を実行可能なフェーズ、すなわち
通信相手と会話ができる状態に移行する。なお、図４に
示す通信制御アプリケーション４３とH.245実行部４４
との間のプリミティブは、ITU-T勧告H.245に規定された
ものである。

【００７３】次に、会話ができる通信状態から音声デー
タと画像データとを多重化して送信できる通信状態にな
るまでの、通信制御アプリケーション４３およびH.245
実行部４４の動作を説明する。図５は、会話ができる通
信状態から音声データと画像データとを多重化して送信
できる通信状態になるまでのシーケンスを示す図であ
る。

【００７４】図５に示すように、静止画像データを音声
データと多重化して送信する要求が生じた場合、まず、
自端末のH.245実行部４４は、データタイプとしてT.434
データを含めたOpenLogicalChannelメッセージを送信
し、相手端末から応答メッセージであるOpenLogicalCha
nnelAckメッセージを受信することによって、バイナリ
データ用のチャネルを開設する。

【００７５】そして、自端末のH.245実行部４４は、Mul
tiplexEntrySendメッセージを送信し、相手端末から応
答メッセージであるMultiplexEntrySendAckメッセージ
を受信して多重化テーブルエントリを決定することによ
って、静止画像データと音声データとを多重化して送信
できる状態に移行する。なお、図５に示す通信制御アプ
リケーション４３とH.245実行部４４との間のプリミテ
ィブは、ITU-T勧告H.245に規定されたものである。

【００７６】次に、通信可能状態から通信状態を終了す
るまでの、通信制御アプリケーション４３およびH.245
実行部４４の動作を説明する。図６は、通信可能状態か
ら通信状態を終了するまでのシーケンスを示す図であ
る。同図に示すように、通信を終了する場合、まず、自
端末のH.245実行部４４は、音声チャネルとバイナリデ
ータ用のチャネルそれぞれに対してCloseLogicalChanne
lメッセージを送信し、その応答メッセージであるClose
LogicalChannelAckメッセージを受信することによっ
て、音声チャネルとバイナリデータ用のチャネルを閉じ
る。

【００７７】そして、自端末のH.245実行部４４は、End
SessionCommandメッセージを送信して、相手端末へ通信
の終了を通知する。そして、V.42実行部５２間のデータ
リンクコネクションを解放した後、ARIB規格RCR STD-2
7Gに規定される手順に従って呼を解放する。なお、図６
に示すEndSession要求プリミティブおよびEndSession通
知プリミティブは、ITU-T勧告H.245に規定されていな
い、本実施の形態に固有のものである。

【００７８】［モバイル端末の動作例］次に、図７〜図
１８を参照して、本実施の形態に用いられるモバイル端
末１における動作例（動作例１〜動作例８）を説明す
る。なお、下記に示す動作例１では、画像データのデー
タ量をチェックして画像データを送信する場合について
説明し、動作例２では、解像度の異なる複数のフレーム
により構成される画像データを送信する場合について説
明し、動作例３では、解像度の異なる複数のサブ画像か
ら構成される画像データを送信する場合について説明す
る。

【００７９】また、動作例４では、表示した画像内容の
所定部分を矩形領域によって指定しつつ、画像データを
送信する場合について説明し、動作例５では、表示した
画像の所定部分をオブジェクトによって指定しつつ、画
像データを送信する場合について説明する。また、動作
例６では、被写体の所定部分を矩形領域によって指定し
つつ撮影して画像データを送信する場合について説明
し、動作例７では、被写体の所定部分をオブジェクトに
よって指定しつつ撮影して画像データを送信する場合に
ついて説明し、動作例８では、撮影画面の中心部分をオ
ブジェクトによって指定しつつ撮影して画像データを送
信する場合について説明する。

【００８０】（動作例１）動作例１では、モバイル端末
１は、制御部７によって画像データのデータ量が所定量
を超えるか否かを判定し、越えない場合には、音声デー
タの送信を停止して画像データのみを送信し、越える場
合には、音声データと画像データとを多重化して送信す
るよう動作する。図７は、モバイル端末１の動作例１を
説明するためのフローチャートである。以下、図７を参
照して、モバイル端末１の動作例１を説明する。

【００８１】まず、モバイル端末１は、操作部５を使用
して発呼操作が行われたか否かを判断し（ステップＳ７
０１）、発呼操作が行われた場合（ステップＳ７０１肯
定）、相手端末と呼を接続し、V.42実行部５２間でデー
タリンクコネクションを確立し、図４に示した通信シー
ケンスに従って音声データ用のチャネルを開設する（ス
テップＳ７０２）。

【００８２】そして、相手と通話している時に画像メモ
リ２５に記憶されている静止画像ファイルの中から送信
するファイルが選択されると（ステップＳ７０３肯
定）、そのファイルのデータ量が所定の値よりも小さい
か否かを判断する（ステップＳ７０４）。なお、所定の
値としては、音声データの送信を停止してそのデータを
送信した場合の送信時間（会話ができない時間）などを
考慮して定められる。

【００８３】そして、データ量が予め定められた所定の
値よりも小さい場合（ステップＳ７０４肯定）、通信制
御アプリケーション４３は、H.245実行部４４へ音声ミ
ュート要求を出し、H.245実行部４４は、音声チャネル
をインアクティブにする情報を含めたMiscellaneousInd
icationメッセージを送信する（ステップＳ７０５）。
ここで、呼が接続してから最初のファイル送信の場合に
は（ステップＳ７０６肯定）、図５に示した通信シーケ
ンスに従ってバイナリデータ用のチャネルを開設する
（ステップＳ７０７）。

【００８４】そして、指定された静止画像ファイルをバ
イナリデータ用のチャネルで送信し、この送信をおこな
っている間、G.723.1実行部５０は、動作を停止して音
声データの送信を停止する（ステップＳ７０８）。そし
て、静止画像ファイルの送信が終了すると（ステップＳ
７０９肯定）、通信制御アプリケーション４３は、H.24
5実行部４４へ音声ミュート解除要求を出し、H.245実行
部４４は、音声チャネルをアクティブにする情報を含め
たMiscellaneousIndicationメッセージを送信する（ス
テップＳ７１０）。

【００８５】そして、G.723.1実行部５０は、動作を再
開して音声データの送信を再開する（ステップＳ７１
１）。なお、バイナリデータ用のチャネルは、次のファ
イル送信に備えてそのままにしておく。なお、上記のフ
ァイル転送の間、すなわち音声がミュートされていると
き、ＬＣＤ３２は、音声がミュート状態であることを表
すメッセージやアイコンを表示する。これによって、ユ
ーザの利便性を向上させることができる。

【００８６】一方、選択されたファイルのデータ量が予
め定められた所定の値よりも大きい場合において（ステ
ップＳ７０４否定）、呼が接続してから最初のファイル
送信の場合（ステップＳ７１２肯定）、図５に示した通
信シーケンスに従ってバイナリデータ用のチャネルを開
設する（ステップＳ７１３）。そして、指定された静止
画像ファイルをバイナリデータ用のチャネルで送信する
が、H.223実行部５１は、静止画像ファイルのデータを
音声データと多重化して送信する（ステップＳ７１
４）。すわなち、会話をしながらファイル転送が実行さ
れる。

【００８７】上述してきたように、動作例１によれば、
制御部７は、画像データのデータ量が所定の値より小さ
いか否かを判定し、所定の値よりも小さいと判定された
場合に、画像データのみを送信し、所定の値以上である
と判定された場合に、音声データと画像データとを多重
化した情報を送信することとしたので、リアルタイム性
が要求されない画像データなどのデータ量が少量である
場合に、僅かな時間だけ会話（リアルタイム性が要求さ
れる音声データの送受信）を中断して、この画像データ
を早急に会話相手に送信することができる。このため、
送信相手は、画像データの内容を早急に理解することが
できる。したがって、画像データの内容を考慮した円滑
な会話をおこなって、通信時間および通信費用を低減す
ることができる。

【００８８】（動作例２）動作例２では、モバイル端末
１は、画像メモリ２５にて解像度の異なる複数のフレー
ムにより構成される画像データを記憶し、この画像デー
タのうち所定のフレームまでの画像データの送信につい
ては、音声データの送信を停止しておこない、残りのフ
レームの画像データの送信については、音声データと多
重化して送信するよう動作する。

【００８９】まず最初に、画像データの記憶形式につい
て説明する。動作例２では、画像メモリ２５は、カラー
静止画像をＪＰＥＧの符号化方式の１つである階層型モ
ードで符号化されたファイルとして記憶する。この画像
ファイルは、解像度の異なる複数のフレームにより構成
され、フレームには、次に続くフレームの予測に使用す
る参照再生成分と、現成分と参照再生成分との差分を符
号化した差分フレームがある。このため、この画像を再
生（復号化）して表示する場合、低解像度のフレームか
ら、より高解像度のフレームへと順次フレームを再生し
ていくため、初めは荒い画像が表示されるが、徐々に表
示画像の品質が向上する。

【００９０】したがって、モバイル端末１によってこの
画像ファイルを相手のモバイル端末に送信する場合、低
解像度のフレームデータから、より高解像度のフレーム
データが順次送信される。このため、受信側のモバイル
端末１においては、受信した画像データをリアルタイム
に表示すると、初めは荒い画像が表示されるが、徐々に
表示画像の品質が向上する。

【００９１】次に、図８を参照して、モバイル端末１の
動作例２を説明する。図８は、モバイル端末１の動作例
２を説明するためのフローチャートである。なお、ユー
ザによりモバイル端末１にて発呼操作が行われ、音声デ
ータ用のチャネルが開設されているものとして説明す
る。

【００９２】まず、相手と通話している時に、画像メモ
リ２５に記憶されている階層型モードの静止画像ファイ
ルの中から送信するファイルが選択されると（ステップ
Ｓ８０１肯定）、通信制御アプリケーション４３は、H.
245実行部４４へ音声ミュート要求を出し、H.245実行部
４４は、音声チャネルをインアクティブにする情報を含
めたMiscellaneousIndicationメッセージを送信する
（ステップＳ８０２）。

【００９３】そして、指定された静止画像ファイルをバ
イナリデータ用のチャネルで送信するが、そのファイル
の先頭から所定のフレームまでのデータを送信している
間、G.723.1実行部５０は、動作を停止して音声データ
の送信を停止する（ステップＳ８０３）。なお、所定の
フレームとしては、音声データの送信を停止してそのフ
レームまでのデータを送信した場合の送信時間（会話が
できない時間）などを考慮して定められる。

【００９４】そして、静止画像ファイルの所定のフレー
ムまでのデータ送信が終了すると（ステップＳ８０４肯
定）、通信制御アプリケーション４３は、H.245実行部
４４へ音声ミュート解除要求を出し、H.245実行部４４
は、音声チャネルをアクティブにする情報を含めたMisc
ellaneousIndicationメッセージを送信する（ステップ
Ｓ８０５）。そして、G.723.1実行部５０は、動作を再
開して音声データの送信を再開し（ステップＳ８０
６）、H.223実行部５１は、静止画像ファイルの残りの
フレームデータと音声データとを多重化して送信する
（ステップＳ８０７）。すなわち、会話をしながらファ
イルの残り部分のデータ転送が実行される。

【００９５】なお、送信相手のモバイル端末１（静止画
像ファイルの受信端末）では、静止画像ファイルの各フ
レームを受信する度に、画像圧縮伸長処理部１９によっ
て伸長処理をおこない、伸長されたデータをＬＣＤ３２
に表示する。

【００９６】上述してきたように、動作例２によれば、
制御部７は、所定の階層までの画像データを送信し、こ
の送信後に、音声データと前記所定の階層以降の画像デ
ータとを多重化した情報を送信することとしたので、僅
かな時間だけ会話を中断して、所定の階層までの画像デ
ータを、早急に会話相手に送信することができる。この
ため、送信相手は、先に受信した所定の階層までの画像
データに基づいて後に受信する画像データの内容を早急
に理解することができる。したがって、画像データの内
容を考慮した円滑な会話をおこなって、通信時間および
通信費用を低減することができる。

【００９７】（動作例３）動作例３では、モバイル端末
１は、画像メモリ２５にて解像度の異なる複数のサブ画
像により構成される画像データを記憶し、この画像デー
タから、最低解像度の画像データを、音声データの送信
を停止して送信し、その後、最高解像度の画像データ
を、音声データと多重化して送信するよう動作する。

【００９８】まず最初に、画像データの記憶形式につい
て説明する。動作例３では、画像メモリ２５は、カラー
静止画像をFlash Pixとして記憶する。このFlash Pix
では、１つの画像オブジェクトが解像度の異なる複数の
サブ画像から構成されている。また、それぞれのサブ画
像は画像ブロックの最小単位である６４×６４画素のタ
イルから構成されており、各タイル毎にJPEG圧縮されて
いる。

【００９９】例えば、1024×1024画素で撮影した画像に
は、512×512画素、256×256画素、128×128画素、６４
×６４画素のサブ画像が存在し得るが、これらの中で51
2×512画素と256×256画素のサブ画像のみが別々のファ
イルとして、1024×1024画素のオリジナル画像とともに
画像メモリ２５に保存されている。

【０１００】次に、図９を参照して、モバイル端末１の
動作例３を説明する。図９は、モバイル端末１の動作例
３を説明するためのフローチャートである。なお、ユー
ザによりモバイル端末１にて発呼操作が行われ、音声デ
ータ用のチャネルが開設されているものとして説明す
る。

【０１０１】まず、相手と通話している時に、画像メモ
リ２５に記憶されているFlash Pixの静止画像の中から
送信するものが選択されると（ステップＳ９０１肯
定）、通信制御アプリケーション４３は、H.245実行部
４４へ音声ミュート要求を出し、H.245実行部４４は、
音声チャネルをインアクティブにする情報を含めたMisc
ellaneousIndicationメッセージを送信する（ステップ
Ｓ９０２）。

【０１０２】そして、指定された静止画像のサブ画像フ
ァイルの中で最も解像度の小さいものをバイナリデータ
用のチャネルで送信するが、この解像度が最も小さいサ
ブ画像ファイルを送信している間、G.723.1実行部５０
は、動作を停止して音声データの送信を停止する（ステ
ップＳ９０３）。そして、そのサブ画像ファイルの送信
が終了すると（ステップＳ９０４肯定）、通信制御アプ
リケーション４３は、H.245実行部４４へ音声ミュート
解除要求を出し、H.245実行部４４は、音声チャネルを
アクティブにする情報を含めたMiscellaneousIndicatio
nメッセージを送信する（ステップＳ９０５）。

【０１０３】そして、G.723.1実行部５０は、動作を再
開して音声データの送信を再開し（ステップＳ９０
６）、H.223実行部５１は、オリジナル画像ファイルの
データと音声データとを多重化して送信する（ステップ
Ｓ９０７）。すなわち、会話をしながらオリジナル画像
ファイルのデータ転送が実行される。

【０１０４】一方、送信相手のモバイル端末１（静止画
像ファイルの受信端末）では、最初に送信されたサブ画
像ファイルを受信すると、画像圧縮伸長処理部１９にて
伸長処理をおこない、伸長されたデータをＬＣＤ３２に
表示する。その後、オリジナル画像ファイルを受信する
と、画像圧縮伸長処理部１９にて伸長処理をおこない、
伸長されたデータをＬＣＤ３２に表示して表示内容を更
新する。

【０１０５】上述してきたように、動作例３によれば、
制御部７は、最小データ量（最小解像度）の画像データ
を送信し、この送信後に、音声データと最大データ量
（最高解像度）の画像データとを多重化した情報を送信
することとしたので、僅かな時間だけ会話を中断して、
最小解像度の画像データを早急に会話相手に送信するこ
とができる。このため、送信相手は、先に受信した最小
解像度の画像データに基づいて後に受信する最高解像度
の画像データの内容を早急に理解することができる。し
たがって、画像データの内容を考慮した円滑な会話をお
こなって、通信時間および通信費用を低減することがで
きる。

【０１０６】（動作例４）動作例４では、モバイル端末
１は、画像メモリ２５に記憶された画像をＬＣＤ３２に
表示し、この表示された画像内容の任意の矩形領域をタ
ッチパネル３３によって指定する。そして、モバイル端
末１は、この指定された矩形領域内の画像データを、音
声データの送信を停止して送信し、その後、全体（オリ
ジナル）の画像データを、音声データと多重化して送信
するよう動作する。

【０１０７】図１０は、ＬＣＤ３２における画像の表示
例を示す図であり、図１１は、モバイル端末１の動作例
４を説明するためのフローチャートである。以下、図１
１を参照して、モバイル端末１の動作例４を説明する。
なお、ユーザによりモバイル端末１にて発呼操作が行わ
れ、音声データ用のチャネルが開設されているものとし
て説明する。

【０１０８】まず、相手と通話している時に、操作部５
によって画像メモリ２５に記憶された静止画像ファイル
の再生操作があると、この静止画像を画像圧縮伸長処理
部１９にて伸長し、伸長した画像データをＬＣＤ３２に
表示する（ステップＳ１１０１）。そして、電子ペンな
どを使用してタッチパネル３３によって、この静止画像
中の任意の矩形領域が指定されると（ステップＳ１１０
２肯定）、この矩形領域内の画像データを画像圧縮伸長
処理部１９にて圧縮し、圧縮された画像データをメイン
メモリ２３に記憶する（ステップＳ１１０３）。

【０１０９】そして、操作部５によって、この静止画像
の送信操作が行われると（ステップＳ１１０４肯定）、
通信制御アプリケーション４３は、H.245実行部４４へ
音声ミュート要求を出し、H.245実行部４４は、音声チ
ャネルをインアクティブにする情報を含めたMiscellane
ousIndicationメッセージを送信する（ステップＳ１１
０５）。

【０１１０】そして、メインメモリ２３に記憶された矩
形領域内の画像データをバイナリデータ用のチャネルで
送信するが、この矩形領域内の画像データを送信してい
る間、G.723.1実行部５０は、動作を停止して音声デー
タの送信を停止する（ステップＳ１１０６）。

【０１１１】そして、その矩形領域内の画像データの送
信が終了すると（ステップＳ１１０７肯定）、通信制御
アプリケーション４３は、H.245実行部４４へ音声ミュ
ート解除要求を出し、H.245実行部４４は、音声チャネ
ルをアクティブにする情報を含めたMiscellaneousIndic
ationメッセージを送信する（ステップＳ１１０８）。
そして、G.723.1実行部５０は、動作を再開して音声デ
ータの送信を再開し（ステップＳ１１０９）、H.223実
行部５１は、画像メモリ２５に記憶されたオリジナル画
像ファイルのデータと音声データとを多重化して送信す
る（ステップＳ１１１０）。すなわち、会話をしながら
オリジナル画像ファイルのデータ転送が実行される。

【０１１２】一方、送信相手のモバイル端末１（静止画
像ファイルの受信端末）では、最初に送信された矩形領
域内の画像データを受信すると、画像圧縮伸長処理部１
９にて伸長処理をおこない、伸長されたデータをＬＣＤ
３２に表示する。その後、オリジナル画像ファイルを受
信すると、画像圧縮伸長処理部１９にて伸長処理をおこ
ない、伸長されたデータをＬＣＤ３２に表示して表示内
容を更新する。

【０１１３】上述してきたように、動作例４によれば、
操作部５は、表示部４に表示された画像から、画像の一
部を矩形領域で指定することとしたので、僅かな時間だ
け会話を中断して、会話相手に早急に知らせたい矩形領
域内の画像を、早急に会話相手に送信することができ
る。このため、送信相手は、先に受信した短形領域内の
画像に基づいて後に受信する全体画像の内容を早急に理
解することができる。したがって、画像データの内容を
考慮した円滑な会話をおこなって、通信時間および通信
費用を低減することができる。

【０１１４】なお、動作例４では、画像の一部を矩形領
域で指定する場合を示したが、本発明はこれに限定され
るものではなく、円形、楕円形、三角形などの領域で指
定することもできる。また、動作例４では、１つの矩形
領域の画像データを多重化に先立って送信する場合を示
したが、本発明はこれに限定されるものではなく、複数
の短形領域の画像データを多重化に先立って送信するこ
ともできる。

【０１１５】また、動作例４では、オリジナル画像ファ
イルの全体のデータを多重化して送信する場合を示した
が、本発明はこれに限定されるものではなく、多重化に
先立って送信した矩形領域の画像データを除外して、オ
リジナル画像ファイルを送信することもできる。

【０１１６】（動作例５）動作例５では、モバイル端末
１は、画像メモリ２５に記憶された画像をＬＣＤ３２に
表示し、この表示された画像内容の任意のオブジェクト
をタッチパネル３３によって指定する。そして、モバイ
ル端末１は、この指定されたオブジェクトを含む矩形領
域内の画像データを、音声データの送信を停止して送信
し、全体（オリジナル）の画像データを、音声データと
多重化して送信するよう動作する。

【０１１７】まず最初に、図１２および図１３を参照し
て、オブジェクト画像の抽出について説明する。ＪＰＥ
Ｇ圧縮は矩形画像を圧縮するものであるが、任意の形状
のオブジェクト画像を圧縮する場合には、オブジェクト
画像を含んだ矩形画像を圧縮処理し、ＪＰＥＧファイル
のファイルヘッダにそのオブジェクト画像を含んだ矩形
画像の位置情報を入れる方法が一般的におこなわれてい
る。

【０１１８】たとえば、オブジェクト画像の輪郭線を抽
出する方法として、特開平５−３２４８２９号公報に開
示された方法がある。これは、矩形や閉曲線で囲まれた
領域内のオブジェクト画像の輪郭線を抽出するものであ
り、また、閉曲線上の各点を閉曲線を膨張させる方向に
移動させることによって、物体の輪郭を抽出する方法も
開示されている。なお、この閉曲線を点とした場合にお
いても、同様の方法によって、その点を含んだオブジェ
クト画像の輪郭線を抽出することができる。

【０１１９】この特開平５−３２４８２９号公報に開示
された方法にて、オブジェクト画像の輪郭線を抽出する
と、その輪郭線の位置データを基に、オブジェクト画像
を含む最小面積の矩形領域を抽出する。そして、この矩
形領域内にあり、かつ輪郭線の外側にある画素の値を全
てゼロに置き換える。そして、このオブジェクト画像を
含む最小面積の矩形領域の位置データを、ＪＰＥＧファ
イルのファイルヘッダに入れておく。図１２は、ＪＰＥ
Ｇファイルのファイルヘッダの構造を示す図である。

【０１２０】図１２において、SOIは、Start Of Imag
eであり、画像の開始を表すマーカーである。また、APP
0は、Application segmentであり、アプリケーション
データのセグメントである。また、COMは、Commentであ
り、コメント用のセグメントである。また、DQTは、Def
ine Quantization Tableであり、量子化テーブルデー
タのセグメントである。また、APP0セグメントは、アプ
リケーションデータマーカーコード（２バイト）と、ア
プリケーションデータセグメント長（２バイト）と、矩
形領域の水平方向の位置情報の識別子（１バイト）およ
びそのデータ（２バイト）と、矩形領域の垂直方向の位
置情報の識別子（１バイト）およびそのデータ（２バイ
ト）とから構成される。

【０１２１】また、図１３は、抽出されたオブジェクト
画像と、これを含む最小面積の矩形領域との関係を示す
図である。同図において、矩形領域の左上の頂点（点
Ｂ）の位置は、オリジナル画像の左上の頂点（点Ａ）か
らの水平方向と垂直方向の座標点（ｘ，ｙ）で表され
る。なお、この座標の単位は画素であり、例えば、
（ｘ，ｙ）＝（１００，２００）は、図１３の点Ａから
水平方向へ１００画素、垂直方向へ２００画素の位置で
ある。

【０１２２】また、ＪＰＥＧ符号化では、８×８画素の
ブロック毎に処理が実行されるので、オブジェクト画像
を含む最小面積の矩形領域の縦方向および横方向の画素
数が８の倍数でない場合には、８の倍数になるように値
がゼロのデータを追加する。すなわち、図１３に示すよ
うに、矩形領域内でオブジェクト画像の輪郭線の外側に
ある画素のデータ値を全てゼロに置き換える。なお、矩
形領域の大きさ（縦横の画素数）は、ＪＰＥＧ規格で定
義された位置、すなわち、ＳＯＦ（Start OfFrame）セ
グメント内の所定の位置に書き込まれる。

【０１２３】次に、図１４を参照して、モバイル端末１
の動作例５を説明する。図１４は、モバイル端末１の動
作例５を説明するためのフローチャートである。なお、
ユーザによりモバイル端末１にて発呼操作が行われ、音
声データ用のチャネルが開設されているものとして説明
する。まず、相手と通話している時に、操作部５によっ
て画像メモリ２５に記憶された静止画像ファイルの再生
操作があると、この静止画像を画像圧縮伸長処理部１９
にて伸長し、伸長した画像データをＬＣＤ３２に表示す
る（ステップＳ１４０１）。

【０１２４】そして、電子ペンなどを使用してタッチパ
ネル３３によって、この静止画像中の任意のオブジェク
ト画像が閉曲線にて囲まれて指定されると（ステップＳ
１４０２）、上記に説明した方法でオブジェクト画像の
輪郭線を抽出する（ステップＳ１４０３）。そして、そ
の輪郭線の位置データを基に、オブジェクト画像を含む
最小面積の矩形領域を抽出する（ステップＳ１４０
４）。

【０１２５】そして、この抽出された矩形領域内でオブ
ジェクト画像の輪郭線の外側にある画素のデータ値を全
てゼロに置き換え、オブジェクト以外の部分をゼロで置
き換えた矩形画像データを画像圧縮伸長処理部１９へ転
送して圧縮処理を行い、この圧縮画像データをメインメ
モリ２３にＪＰＥＧファイル形式で記憶する（ステップ
Ｓ１４０５）。なお、この記憶処理においては、ＪＰＥ
Ｇファイルのファイルヘッダに、矩形領域の位置情報を
書き込む。

【０１２６】その後、この静止画像の送信操作が行われ
ると（ステップＳ１４０６肯定）、通信制御アプリケー
ション４３は、H.245実行部４４へ音声ミュート要求を
出し、H.245実行部４４は、音声チャネルをインアクテ
ィブにする情報を含めたMiscellaneousIndicationメッ
セージを送信する（ステップＳ１４０７）。そして、メ
インメモリ２３に記憶されたＪＰＥＧファイル形式のオ
ブジェクト画像データをバイナリデータ用のチャネルで
送信するが、このオブジェクト画像データを送信してい
る間、G.723.1実行部５０は、動作を停止して音声デー
タの送信を停止する（ステップＳ１４０８）。

【０１２７】そして、そのオブジェクト画像データの送
信が終了すると（ステップＳ１４０９肯定）、通信制御
アプリケーション４３は、H.245実行部４４へ音声ミュ
ート解除要求を出し、H.245実行部４４は、音声チャネ
ルをアクティブにする情報を含めたMiscellaneousIndic
ationメッセージを送信する（ステップＳ１４１０）。

【０１２８】そして、G.723.1実行部５０は、動作を再
開して音声データの送信を再開し（ステップＳ１４１
１）、H.223実行部５１は、画像メモリ２５に記憶され
たオリジナル画像ファイルのデータと音声データとを多
重化して送信する（ステップＳ１４１２）。すなわち、
会話をしながらオリジナル画像ファイルのデータ転送が
実行される。

【０１２９】一方、送信相手のモバイル端末１（静止画
像ファイルの受信端末）では、最初に送信されたＪＰＥ
Ｇファイル形式のオブジェクト画像データを受信する
と、画像圧縮伸長処理部１９にて伸長処理をおこない、
伸長されたデータをＪＰＥＧファイルのファイルヘッダ
に記録されている矩形領域の位置情報に基づいてＬＣＤ
３２に表示する。その後、オリジナル画像ファイルを受
信すると画像圧縮伸長処理部１９にて伸長処理をおこな
い、伸長されたデータをＬＣＤ３２に表示して表示内容
を更新する。

【０１３０】上述してきたように、動作例５では、操作
部５は、表示部４に表示された画像情報から、画像の一
部を形成するオブジェクトを指定することとしたので、
僅かな時間だけ会話を中断して、会話相手に早急に知ら
せたいオブジェクトを、早急に会話相手に送信すること
ができる。このため、送信相手は、先に受信したオブジ
ェクトに基づいて後に受信する全体画像の内容を早急に
理解することができる。したがって、画像データの内容
を考慮した円滑な会話をおこなって、通信時間および通
信費用を低減することができる。

【０１３１】なお、動作例５では、閉曲線によってオブ
ジェクト画像を指定する場合を示したが、本発明はこれ
に限定されるものではなく、ポイント（点）によってオ
ブジェクト画像を指定することもできる。また、動作例
５では、１つのオブジェクトの画像データを多重化に先
立って送信する場合を示したが、本発明はこれに限定さ
れるものではなく、複数のオブジェクトの画像データを
多重化に先立って送信することもできる。

【０１３２】また、動作例５では、オリジナル画像ファ
イルの全体のデータを多重化して送信する場合を示した
が、本発明はこれに限定されるものではなく、多重化に
先立って送信したオブジェクトの画像データを除外し
て、オリジナル画像ファイルを送信することもできる。

【０１３３】（動作例６）動作例６では、モバイル端末
１は、電子ビューファインダ３１に被写体像を表示し、
この表示された被写体像から任意の矩形領域を操作指示
部２９によって指定して撮影する。そして、モバイル端
末１は、被写体の矩形領域内の画像データを、音声デー
タの送信を停止して送信し、その後、被写体の全体（オ
リジナル）の画像データを、音声データと多重化して送
信するよう動作する。

【０１３４】まず最初に、被写体像から任意の矩形領域
を指定して撮影をおこなって、画像データを記憶する手
順について説明する。まず、ＣＣＤ１３によって電気信
号に変換された被写体画像は、ＣＤＳ回路１４、Ａ／Ｄ
変換器１５、デジタル信号処理部１８、およびファイン
ダ表示制御部２６を介して電子ビューファインダ３１に
表示される。続いて、操作指示部２９に備えられる「領
域指定ボタン」が押下されると、予め決められた大きさ
の矩形を電子ビューファインダ３１に表示する。なお、
図１５は、電子ビューファインダ３１の表示例を示す図
である。

【０１３５】そして、操作指示部２９に備えられた「領
域ズームボタン」が押下されると、ファインダ表示制御
部２６は、矩形を拡大あるいは縮小して電子ビューファ
インダ３１に表示する。また、操作指示部２９に備えら
れた「領域移動ボタン（上下左右の指示ボタン）」が押
下されると、ファインダ表示制御部２６は、矩形を指定
された方向へ所定距離だけ移動して電子ビューファイン
ダ３１に表示する。

【０１３６】続いて、操作指示部２９に備えられた「撮
影ボタン」が押下されると、デジタル信号処理部１８か
ら出力された被写体画像データを、メインメモリ２３に
記憶するとともに、画像圧縮伸長処理部１９にて圧縮処
理して画像メモリ２５に保存する。

【０１３７】そして、電子ビューファインダ３１に表示
されていた矩形の位置および大きさの情報に基づいて、
矩形の内側の領域の画像データをメインメモリ２３に記
憶された被写体画像データから切り出して、この矩形領
域内の画像データを画像圧縮伸長処理部１９にて圧縮処
理する。そして、圧縮された画像データを、図１２に示
したＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形
式でメインメモリ２３に記憶する。

【０１３８】次に、図１６を参照して、モバイル端末１
の動作例６を説明する。図１６は、モバイル端末１の動
作例６を説明するためのフローチャートである。なお、
ユーザによりモバイル端末１にて発呼操作が行われ、音
声データ用のチャネルが開設されているものとして説明
する。

【０１３９】まず、相手と通話している時に、操作部５
によって、領域指定ボタン、領域ズームボタン、および
領域移動ボタンが操作されて被写体中の矩形領域が指定
され、撮影ボタンが押されると（ステップＳ１６０１肯
定）、デジタル信号処理部１８から出力された被写体画
像データを、メインメモリ２３に記憶するとともに、画
像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５
に保存する（ステップＳ１６０２）。

【０１４０】そして、電子ビューファインダ３１に表示
されていた矩形の位置および大きさの情報に基づいて、
矩形の内側の領域の画像データをメインメモリ２３に記
憶された被写体画像データから切り出して、この矩形領
域内の画像データを画像圧縮伸長処理部１９にて圧縮処
理し、圧縮された画像データを、図１２に示した矩形領
域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪ
ＰＥＧファイル形式でメインメモリ２３に記憶する（ス
テップＳ１６０３）。

【０１４１】そして、通信制御アプリケーション４３
は、H.245実行部４４へ音声ミュート要求を出し、H.245
実行部４４は、音声チャネルをインアクティブにする情
報を含めたMiscellaneousIndicationメッセージを送信
する（ステップＳ１６０４）。そして、メインメモリ２
３に記憶されたＪＰＥＧファイル形式の矩形領域の画像
データをバイナリデータ用のチャネルで送信するが、こ
の矩形領域の画像データを送信している間、G.723.1実
行部５０は、動作を停止して音声データの送信を停止す
る（ステップＳ１６０５）。

【０１４２】そして、この矩形領域の画像データの送信
が終了すると（ステップＳ１６０６肯定）、通信制御ア
プリケーション４３は、H.245実行部４４へ音声ミュー
ト解除要求を出し、H.245実行部４４は、音声チャネル
をアクティブにする情報を含めたMiscellaneousIndicat
ionメッセージを送信する（ステップＳ１６０７）。

【０１４３】そして、G.723.1実行部５０は、動作を再
開して音声データの送信を再開し（ステップＳ１６０
８）、H.223実行部５１は、画像メモリ２５に記憶され
た被写体全体の静止画像ファイルのデータと音声データ
とを多重化して送信する（ステップＳ１６０９）。すな
わち、会話をしながら被写体全体の静止画像ファイルの
データ転送が実行される。

【０１４４】一方、送信相手のモバイル端末１（静止画
像ファイルの受信端末）では、最初に送信された矩形領
域の画像データを受信すると、画像圧縮伸長処理部１９
にて伸長処理をおこない、伸長されたデータをＪＰＥＧ
ファイルのファイルヘッダに記録されている矩形領域の
位置情報に基づいてＬＣＤ３２に表示する。その後、被
写体全体の画像ファイルを受信すると、画像圧縮伸長処
理部１９にて伸長処理をおこない、伸長されたデータを
ＬＣＤ３２に表示して表示内容を更新する。

【０１４５】上述してきたように、動作例６では、画像
入力部２および操作部５は、表示部４に表示される画像
の一部の矩形領域を指定しつつ画像を入力し、制御部７
は、この指定入力された一部の矩形領域内の画像を送信
することとしたので、僅かな時間だけ会話を中断して、
会話相手に早急に知らせたい一部の画像を、入力後直ち
に会話相手に送信することができる。このため、送信相
手は、先に受信した一部の画像に基づいて後に受信する
全体画像の内容を早急に理解することができる。したが
って、画像データの内容を考慮した円滑な会話をおこな
って、通信時間および通信費用を低減することができ
る。

【０１４６】なお、動作例６では、１つの矩形領域の画
像データを多重化に先立って送信する場合を示したが、
本発明はこれに限定されるものではなく、複数の短形領
域の画像データを多重化に先立って送信することもでき
る。また、動作例６では、オリジナル画像ファイルの全
体のデータを多重化して送信する場合を示したが、本発
明はこれに限定されるものではなく、多重化に先立って
送信した矩形領域の画像データを除外して、オリジナル
画像ファイルを送信することもできる。

【０１４７】（動作例７）動作例７では、モバイル端末
１は、電子ビューファインダ３１に被写体像を表示し、
この表示された被写体像から任意のオブジェクト画像を
操作部５によって指定して撮影する。そして、モバイル
端末１は、このオブジェクト画像を含む矩形領域内の画
像データを、音声データの送信を停止して送信し、その
後、被写体の全体（オリジナル）の画像データを、音声
データと多重化して送信するよう動作する。なお、動作
例７において、オブジェクト画像の抽出手順およびオブ
ジェクト画像データの送信手順は、上記した動作例５と
同様であるので、その説明を省略する。以下、図１７を
参照して、モバイル端末１の動作例７を説明する。

【０１４８】図１７は、モバイル端末１の動作例７を説
明するためのフローチャートである。なお、ユーザによ
りモバイル端末１にて発呼操作が行われ、音声データ用
のチャネルが開設されているものとして説明する。ま
ず、相手と通話している時に、操作部５によって、領域
指定ボタン、領域ズームボタン、領域移動ボタンが操作
されて被写体中のオブジェクト画像が閉曲線などにより
指定され、撮影ボタンが押されると（ステップＳ１７０
１肯定）、デジタル信号処理部１８から出力された被写
体画像データを、メインメモリ２３に記憶するととも
に、画像圧縮伸長処理部１９にて圧縮処理して画像メモ
リ２５に保存する（ステップＳ１７０２）。

【０１４９】そして、電子ビューファインダ３１に表示
されていた矩形の位置および大きさの情報に基づいて、
矩形の内側の領域の画像データをメインメモリ２３に記
憶された被写体画像データから切り出して、特開平５−
３２４８２９号公報に開示された方法を用いて、その矩
形で囲まれた領域内のオブジェクト画像の輪郭線を抽出
する（ステップＳ１７０３）。そして、その輪郭線の位
置データを基に、オブジェクト画像を含む最小面積の矩
形領域を抽出する（ステップＳ１７０４）。

【０１５０】そして、この抽出された矩形領域内でオブ
ジェクト画像の輪郭線の外側にある画素のデータ値を全
てゼロに置き換え、このオブジェクト画像を含む最小面
積の矩形領域内の画像データを画像圧縮伸長処理部１９
にて圧縮処理し、圧縮された画像データを、図１２に示
した矩形領域の位置情報を含めたＪＰＥＧファイルヘッ
ダを持つＪＰＥＧファイル形式でメインメモリ２３に記
憶する（ステップＳ１７０５）。

【０１５１】そして、通信制御アプリケーション４３
は、H.245実行部４４へ音声ミュート要求を出し、H.245
実行部４４は、音声チャネルをインアクティブにする情
報を含めたMiscellaneousIndicationメッセージを送信
する（ステップＳ１７０６）。そして、メインメモリ２
３に記憶されたＪＰＥＧファイル形式の矩形領域の画像
データをバイナリデータ用のチャネルで送信するが、こ
の矩形領域の画像データを送信している間、G.723.1実
行部５０は、動作を停止して音声データの送信を停止す
る（ステップＳ１７０７）。

【０１５２】そして、この矩形領域の画像データの送信
が終了すると（ステップＳ１７０８肯定）、通信制御ア
プリケーション４３は、H.245実行部４４へ音声ミュー
ト解除要求を出し、H.245実行部４４は、音声チャネル
をアクティブにする情報を含めたMiscellaneousIndicat
ionメッセージを送信する（ステップＳ１７０９）。

【０１５３】そして、G.723.1実行部５０は、動作を再
開して音声データの送信を再開し（ステップＳ１７１
０）、H.223実行部５１は、画像メモリ２５に記憶され
た被写体全体の静止画像ファイルのデータと音声データ
とを多重化して送信する（ステップＳ１７１１）。すな
わち、会話をしながら被写体全体の静止画像ファイルの
データ転送が実行される。

【０１５４】一方、送信相手のモバイル端末１（静止画
像ファイルの受信端末）では、最初に送信された矩形領
域の画像データを受信すると、画像圧縮伸長処理部１９
にて伸長処理をおこない、伸長されたデータをＪＰＥＧ
ファイルのファイルヘッダに記録されている矩形領域の
位置情報に基づいてＬＣＤ３２に表示する。その後、被
写体全体の画像ファイルを受信すると、画像圧縮伸長処
理部１９にて伸長処理をおこない、伸長されたデータを
ＬＣＤ３２に表示して表示内容を更新する。

【０１５５】上述してきたように、動作例７では、画像
入力部２および操作部５は、表示部４に表示される画像
を形成するオブジェクトを指定しつつ画像を入力し、制
御部７は、この指定入力されたオブジェクトを送信する
こととしたので、僅かな時間だけ会話を中断して、会話
相手に早急に知らせたいオブジェクトを、入力後直ちに
会話相手に送信することができる。このため、送信相手
は、先に受信したオブジェクトに基づいて後に受信する
全体画像の内容を早急に理解することができる。したが
って、画像データの内容を考慮した円滑な会話をおこな
って、通信時間および通信費用を低減することができ
る。

【０１５６】なお、動作例７では、１つのオブジェクト
の画像データを多重化に先立って送信する場合を示した
が、本発明はこれに限定されるものではなく、複数のオ
ブジェクトの画像データを多重化に先立って送信するこ
ともできる。また、動作例７では、オリジナル画像ファ
イルの全体のデータを多重化して送信する場合を示した
が、本発明はこれに限定されるものではなく、多重化に
先立って送信したオブジェクトの画像データを除外し
て、オリジナル画像ファイルを送信することもできる。

【０１５７】（動作例８）動作例８では、モバイル端末
１は、電子ビューファインダ３１に被写体像を表示し、
この電子ビューファインダ３１に中心に位置するオブジ
ェクト画像を指定して撮影する。そして、モバイル端末
１は、このオブジェクト画像を含む矩形領域内の画像デ
ータを、音声データの送信を停止して送信し、その後、
被写体の全体（オリジナル）の画像データを、音声デー
タと多重化して送信するよう動作する。

【０１５８】なお、動作例８において、オブジェクト画
像の抽出手順およびオブジェクト画像データの送信手順
は、上記した動作例５と同様であるので、その説明を省
略する。以下、図１８を参照して、モバイル端末１の動
作例８を説明する。図１８は、モバイル端末１の動作例
８を説明するためのフローチャートである。なお、ユー
ザによりモバイル端末１にて発呼操作が行われ、音声デ
ータ用のチャネルが開設されているものとして説明す
る。

【０１５９】まず、ファインダ表示制御部２６は、電子
ビューファインダ３１に表示する被写体画像データの中
心に、例えば十字マークなどを表示する。そして、相手
と通話している時に撮影ボタンが押されると（ステップ
Ｓ１８０１）、デジタル信号処理部１８から出力された
被写体画像データを、メインメモリ２３に記憶するとと
もに、画像圧縮伸長処理部１９にて圧縮処理して画像メ
モリ２５に保存する（ステップＳ１８０２）。

【０１６０】そして、メインメモリ２３に記憶された被
写体画像データの中心にあるオブジェクトを抽出する処
理をおこなう。すなわち、特開平５−３２４８２９号公
報に開示された方法を用いて、電子ビューファインダ３
１に表示されていた十字マークを含むオブジェクトの輪
郭線を抽出する（ステップＳ１８０３）。そして、その
輪郭線の位置データを基に、オブジェクト画像を含む最
小面積の矩形領域を抽出する（ステップＳ１８０４）。

【０１６１】そして、この抽出された矩形領域内でオブ
ジェクト画像の輪郭線の外側にある画素のデータ値を全
てゼロに置き換え、このオブジェクト画像を含む最小面
積の矩形領域内の画像データを画像圧縮伸長処理部１９
にて圧縮処理し、圧縮された画像データを、図１２に示
した矩形領域の位置情報を含めたＪＰＥＧファイルヘッ
ダを持つＪＰＥＧファイル形式でメインメモリ２３に記
憶する（ステップＳ１８０５）。

【０１６２】そして、通信制御アプリケーション４３
は、H.245実行部４４へ音声ミュート要求を出し、H.245
実行部４４は、音声チャネルをインアクティブにする情
報を含めたMiscellaneousIndicationメッセージを送信
する（ステップＳ１８０６）。そして、メインメモリ２
３に記憶されたＪＰＥＧファイル形式の矩形領域の画像
データをバイナリデータ用のチャネルで送信するが、こ
の矩形領域の画像データを送信している間、G.723.1実
行部５０は、動作を停止して音声データの送信を停止す
る（ステップＳ１８０７）。

【０１６３】そして、この矩形領域の画像データの送信
が終了すると（ステップＳ１８０８肯定）、通信制御ア
プリケーション４３は、H.245実行部４４へ音声ミュー
ト解除要求を出し、H.245実行部４４は、音声チャネル
をアクティブにする情報を含めたMiscellaneousIndicat
ionメッセージを送信する（ステップＳ１８０９）。

【０１６４】そして、G.723.1実行部５０は、動作を再
開して音声データの送信を再開し（ステップＳ１８１
０）、H.223実行部５１は、画像メモリ２５に記憶され
た被写体全体の静止画像ファイルのデータと音声データ
とを多重化して送信する（ステップＳ１８１１）。すな
わち、会話をしながら被写体全体の静止画像ファイルの
データ転送が実行される。

【０１６５】一方、送信相手のモバイル端末１（静止画
像ファイルの受信端末）では、最初に送信された矩形領
域の画像データを受信すると、画像圧縮伸長処理部１９
にて伸長処理をおこない、伸長されたデータをＪＰＥＧ
ファイルのファイルヘッダに記録されている矩形領域の
位置情報に基づいてＬＣＤ３２に表示する。その後、被
写体全体の画像ファイルを受信すると、画像圧縮伸長処
理部１９にて伸長処理をおこない、伸長されたデータを
ＬＣＤ３２に表示して表示内容を更新する。

【０１６６】上述してきたように、動作例８では、画像
入力部２および操作部５は、表示部４に表示される画像
の中心に位置するオブジェクトを指定しつつ画像を入力
し、制御部７は、この指定入力されたオブジェクトを送
信することとしたので、僅かな時間だけ会話を中断し
て、会話相手に早急に知らせたいオブジェクトを、入力
後直ちに会話相手に送信することができる。このため、
送信相手は、先に受信したオブジェクトに基づいて後に
受信する全体画像の内容を早急に理解することができ
る。したがって、画像データの内容を考慮した円滑な会
話をおこなって、通信時間および通信費用を低減するこ
とができる。

【０１６７】なお、本実施の形態で説明した情報処理方
法は、あらかじめ用意されたプログラムをパーソナル・
コンピューターやワークステーションなどのコンピュー
タで実行することによって実現することができる。この
プログラムは、ハードディスク、フロッピー（登録商
標）ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコン
ピュータで読み取り可能な記録媒体に記録され、コンピ
ュータによって記録媒体から読み出されることによって
実行される。またこのプログラムは、上記記録媒体を介
して、インターネットなどのネットワークを介して配布
することができる。

【０１６８】また、本実施の形態では、ＰＤＣのデータ
通信サービスを利用してモバイル端末１間で通信する場
合を説明したが、本発明はこれに限定されるものではな
く、ＰＳＴＮ端末間、モバイル端末１とＰＳＴＮ端末
間、などで通信することもできる。なお、図３に示した
データ通信プロトコルの構成で、物理レイヤ５３にITU-
T勧告V.34モデムなどのアナログ電話回線用のモデムを
使用すれば、ＰＳＴＮに接続する通信端末となる。

【０１６９】

【発明の効果】以上説明したように、請求項１の発明に
よれば、判定手段は、前記第２の情報のデータ量が所定
の値より小さいか否かを判定し、第１の送信制御手段
は、前記判定手段によって所定の値よりも小さいと判定
された場合に、前記第２の情報を送信し、第２の送信制
御手段は、前記判定手段によって所定の値以上であると
判定された場合に、前記第１の情報と前記第２の情報と
を多重化した情報を送信することとしたので、リアルタ
イム性が要求されない画像データなどのデータ量が少量
である場合に、僅かな時間だけ会話（リアルタイム性が
要求される音声データの送受信）を中断して、この画像
データを早急に会話相手に送信することができる。この
ため、送信相手は、画像データの内容を早急に理解する
ことができる。したがって、画像データの内容を考慮し
た円滑な会話をおこなって、通信時間および通信費用を
低減することが可能な情報処理装置が得られるという効
果を奏する。

【０１７０】また、請求項２の発明によれば、第１の送
信制御手段は、前記第２の情報に関する一部の情報を送
信し、第２の送信制御手段は、前記第１の送信制御手段
による情報の送信後に、前記第１の情報と前記第２の情
報とを多重化した情報を送信することとしたので、僅か
な時間だけ会話を中断して、リアルタイム性が要求され
ない画像データなどに関する一部のデータを、早急に会
話相手に送信することができる。このため、送信相手
は、先に受信した一部のデータに基づいて後に受信する
画像データの内容を早急に理解することができる。した
がって、画像データの内容を考慮した円滑な会話をおこ
なって、通信時間および通信費用を低減することが可能
な情報処理装置が得られるという効果を奏する。

【０１７１】また、請求項３の発明によれば、前記第２
の情報は、複数の階層により形成され、前記第１の送信
制御手段は、前記第２の情報における所定の階層までの
情報を送信し、前記第２の送信制御手段は、前記第１の
送信制御手段による情報の送信後に、前記第１の情報と
前記第２の情報における前記所定の階層以降の情報とを
多重化した情報を送信することとしたので、僅かな時間
だけ会話を中断して、リアルタイム性が要求されない画
像データなどに関する所定の階層までのデータを、早急
に会話相手に送信することができる。このため、送信相
手は、先に受信した所定の階層までのデータに基づいて
後に受信する画像データの内容を早急に理解することが
できる。したがって、画像データの内容を考慮した円滑
な会話をおこなって、通信時間および通信費用を低減す
ることが可能な情報処理装置が得られるという効果を奏
する。

【０１７２】また、請求項４の発明によれば、前記第２
の情報は、データ量が異なる複数のファイルにより形成
され、前記第１の送信制御手段は、前記第２の情報にお
ける最小データ量のファイルに含まれる情報を送信し、
前記第２の送信制御手段は、前記第１の送信制御手段に
よる情報の送信後に、前記第１の情報と前記第２の情報
における最大データ量のファイルに含まれる情報とを多
重化した情報を送信することとしたので、僅かな時間だ
け会話を中断して、リアルタイム性が要求されない画像
データなどに関する最小データ量の画像データを、早急
に会話相手に送信することができる。このため、送信相
手は、先に受信した最小データ量の画像データに基づい
て後に受信する最大データ量の画像データの内容を早急
に理解することができる。したがって、画像データの内
容を考慮した円滑な会話をおこなって、通信時間および
通信費用を低減することが可能な情報処理装置が得られ
るという効果を奏する。

【０１７３】また、請求項５の発明によれば、表示手段
は、前記第２の情報を表示し、指定手段は、前記表示手
段に表示された前記第２の情報から、該第２の情報に関
する一部の情報を指定し、前記第１の送信制御手段は、
前記指定手段によって指定された一部の情報を送信する
こととしたので、僅かな時間だけ会話を中断して、リア
ルタイム性が要求されない画像データなどに関する一部
のデータを、早急に会話相手に送信することができる。
このため、送信相手は、先に受信した一部のデータに基
づいて後に受信する画像データの内容を早急に理解する
ことができる。したがって、画像データの内容を考慮し
た円滑な会話をおこなって、通信時間および通信費用を
低減することが可能な情報処理装置が得られるという効
果を奏する。

【０１７４】また、請求項６の発明によれば、前記第２
の情報は、画像情報からなり、前記指定手段は、前記表
示手段に表示された前記画像情報から、画像の一部を指
定することとしたので、僅かな時間だけ会話を中断し
て、会話相手に早急に知らせたい一部の画像を、早急に
会話相手に送信することができる。このため、送信相手
は、先に受信した一部の画像に基づいて後に受信する全
体画像の内容を早急に理解することができる。したがっ
て、画像データの内容を考慮した円滑な会話をおこなっ
て、通信時間および通信費用を低減することが可能な情
報処理装置が得られるという効果を奏する。

【０１７５】また、請求項７の発明によれば、前記第２
の情報は、画像情報からなり、前記指定手段は、前記表
示手段に表示された前記画像情報から、画像の一部を形
成するオブジェクトを指定することとしたので、僅かな
時間だけ会話を中断して、会話相手に早急に知らせたい
オブジェクトを、早急に会話相手に送信することができ
る。このため、送信相手は、先に受信したオブジェクト
に基づいて後に受信する全体画像の内容を早急に理解す
ることができる。したがって、画像データの内容を考慮
した円滑な会話をおこなって、通信時間および通信費用
を低減することが可能な情報処理装置が得られるという
効果を奏する。

【０１７６】また、請求項８の発明によれば、入力手段
は、前記第２の情報に関する一部の情報を指定しつつ該
第２の情報を入力し、前記第１の送信制御手段は、前記
入力手段によって指定入力された一部の情報を送信する
こととしたので、僅かな時間だけ会話を中断して、リア
ルタイム性が要求されない画像データなどに関する一部
のデータを、入力後直ちに会話相手に送信することがで
きる。このため、送信相手は、先に受信した一部のデー
タに基づいて後に受信する画像データの内容を早急に理
解することができる。したがって、画像データの内容を
考慮した円滑な会話をおこなって、通信時間および通信
費用を低減することが可能な情報処理装置が得られると
いう効果を奏する。

【０１７７】また、請求項９の発明によれば、前記第２
の情報は、画像情報からなり、前記入力手段は、画像の
一部を指定することとしたので、僅かな時間だけ会話を
中断して、会話相手に早急に知らせたい一部の画像を、
入力後直ちに会話相手に送信することができる。このた
め、送信相手は、先に受信した一部の画像に基づいて後
に受信する全体画像の内容を早急に理解することができ
る。したがって、画像データの内容を考慮した円滑な会
話をおこなって、通信時間および通信費用を低減するこ
とが可能な情報処理装置が得られるという効果を奏す
る。

【０１７８】また、請求項１０の発明によれば、前記第
２の情報は、画像情報からなり、前記入力手段は、画像
の一部を形成するオブジェクトを指定することとしたの
で、僅かな時間だけ会話を中断して、会話相手に早急に
知らせたいオブジェクトを、入力後直ちに会話相手に送
信することができる。このため、送信相手は、先に受信
したオブジェクトに基づいて後に受信する全体画像の内
容を早急に理解することができる。したがって、画像デ
ータの内容を考慮した円滑な会話をおこなって、通信時
間および通信費用を低減することが可能な情報処理装置
が得られるという効果を奏する。

【０１７９】また、請求項１１の発明によれば、判定工
程は、前記第２の情報のデータ量が所定の値より小さい
か否かを判定し、第１の送信制御工程は、前記判定工程
によって所定の値よりも小さいと判定された場合に、前
記第２の情報を送信し、第２の送信制御工程は、前記判
定工程によって所定の値以上であると判定された場合
に、前記第１の情報と前記第２の情報とを多重化した情
報を送信することとしたので、リアルタイム性が要求さ
れない画像データなどのデータ量が少量である場合に、
僅かな時間だけ会話（リアルタイム性が要求される音声
データの送受信）を中断して、この画像データを早急に
会話相手に送信することができる。このため、送信相手
は、画像データの内容を早急に理解することができる。
したがって、画像データの内容を考慮した円滑な会話を
おこなって、通信時間および通信費用を低減することが
可能な情報処理方法が得られるという効果を奏する。

【０１８０】また、請求項１２の発明によれば、第１の
送信制御工程は、前記第２の情報に関する一部の情報を
送信し、第２の送信制御工程は、前記第１の送信制御工
程による情報の送信後に、前記第１の情報と前記第２の
情報とを多重化した情報を送信することとしたので、僅
かな時間だけ会話を中断して、リアルタイム性が要求さ
れない画像データなどに関する一部のデータを、早急に
会話相手に送信することができる。このため、送信相手
は、先に受信した一部のデータに基づいて後に受信する
画像データの内容を早急に理解することができる。した
がって、画像データの内容を考慮した円滑な会話をおこ
なって、通信時間および通信費用を低減することが可能
な情報処理方法が得られるという効果を奏する。

【０１８１】また、請求項１３の発明によれば、前記第
２の情報は、複数の階層により形成され、前記第１の送
信制御工程は、前記第２の情報における所定の階層まで
の情報を送信し、前記第２の送信制御工程は、前記第１
の送信制御工程による情報の送信後に、前記第１の情報
と前記第２の情報における前記所定の階層以降の情報と
を多重化した情報を送信することとしたので、僅かな時
間だけ会話を中断して、リアルタイム性が要求されない
画像データなどに関する所定の階層までのデータを、早
急に会話相手に送信することができる。このため、送信
相手は、先に受信した所定の階層までのデータに基づい
て後に受信する画像データの内容を早急に理解すること
ができる。したがって、画像データの内容を考慮した円
滑な会話をおこなって、通信時間および通信費用を低減
することが可能な情報処理方法が得られるという効果を
奏する。

【０１８２】また、請求項１４の発明によれば、前記第
２の情報は、データ量が異なる複数のファイルにより形
成され、前記第１の送信制御工程は、前記第２の情報に
おける最小データ量のファイルに含まれる情報を送信
し、前記第２の送信制御工程は、前記第１の送信制御工
程による情報の送信後に、前記第１の情報と前記第２の
情報における最大データ量のファイルに含まれる情報と
を多重化した情報を送信することとしたので、僅かな時
間だけ会話を中断して、リアルタイム性が要求されない
画像データなどに関する最小データ量の画像データを、
早急に会話相手に送信することができる。このため、送
信相手は、先に受信した最小データ量の画像データに基
づいて後に受信する最大データ量の画像データの内容を
早急に理解することができる。したがって、画像データ
の内容を考慮した円滑な会話をおこなって、通信時間お
よび通信費用を低減することが可能な情報処理方法が得
られるという効果を奏する。

【０１８３】また、請求項１５の発明によれば、表示工
程は、前記第２の情報を表示し、指定工程は、前記表示
工程に表示された前記第２の情報から、該第２の情報に
関する一部の情報を指定し、前記第１の送信制御工程
は、前記指定工程によって指定された一部の情報を送信
することとしたので、僅かな時間だけ会話を中断して、
リアルタイム性が要求されない画像データなどに関する
一部のデータを、早急に会話相手に送信することができ
る。このため、送信相手は、先に受信した一部のデータ
に基づいて後に受信する画像データの内容を早急に理解
することができる。したがって、画像データの内容を考
慮した円滑な会話をおこなって、通信時間および通信費
用を低減することが可能な情報処理方法が得られるとい
う効果を奏する。

【０１８４】また、請求項１６の発明によれば、前記第
２の情報は、画像情報からなり、前記指定工程は、前記
表示工程に表示された前記画像情報から、画像の一部を
指定することとしたので、僅かな時間だけ会話を中断し
て、会話相手に早急に知らせたい一部の画像を、早急に
会話相手に送信することができる。このため、送信相手
は、先に受信した一部の画像に基づいて後に受信する全
体画像の内容を早急に理解することができる。したがっ
て、画像データの内容を考慮した円滑な会話をおこなっ
て、通信時間および通信費用を低減することが可能な情
報処理方法が得られるという効果を奏する。

【０１８５】また、請求項１７の発明によれば、前記第
２の情報は、画像情報からなり、前記指定工程は、前記
表示工程に表示された前記画像情報から、画像の一部を
形成するオブジェクトを指定することとしたので、僅か
な時間だけ会話を中断して、会話相手に早急に知らせた
い一部の画像を、早急に会話相手に送信することができ
る。このため、送信相手は、先に受信した一部の画像に
基づいて後に受信する全体画像の内容を早急に理解する
ことができる。したがって、画像データの内容を考慮し
た円滑な会話をおこなって、通信時間および通信費用を
低減することが可能な情報処理方法が得られるという効
果を奏する。

【０１８６】また、請求項１８の発明によれば、入力工
程は、前記第２の情報に関する一部の情報を指定しつつ
該第２の情報を入力し、前記第１の送信制御工程は、前
記入力工程によって指定入力された一部の情報を送信す
ることとしたので、僅かな時間だけ会話を中断して、リ
アルタイム性が要求されない画像データなどに関する一
部のデータを、入力後直ちに会話相手に送信することが
できる。このため、送信相手は、先に受信した一部のデ
ータに基づいて後に受信する画像データの内容を早急に
理解することができる。したがって、画像データの内容
を考慮した円滑な会話をおこなって、通信時間および通
信費用を低減することが可能な情報処理方法が得られる
という効果を奏する。

【０１８７】また、請求項１９の発明によれば、前記第
２の情報は、画像情報からなり、前記入力工程は、画像
の一部を指定することとしたので、僅かな時間だけ会話
を中断して、会話相手に早急に知らせたい一部の画像
を、入力後直ちに会話相手に送信することができる。こ
のため、送信相手は、先に受信した一部の画像に基づい
て後に受信する全体画像の内容を早急に理解することが
できる。したがって、画像データの内容を考慮した円滑
な会話をおこなって、通信時間および通信費用を低減す
ることが可能な情報処理方法が得られるという効果を奏
する。

【０１８８】また、請求項２０の発明によれば、前記第
２の情報は、画像情報からなり、前記入力工程は、画像
の一部を形成するオブジェクトを指定することとしたの
で、僅かな時間だけ会話を中断して、会話相手に早急に
知らせたい一部の画像を、入力後直ちに会話相手に送信
することができる。このため、送信相手は、先に受信し
た一部の画像に基づいて後に受信する全体画像の内容を
早急に理解することができる。したがって、画像データ
の内容を考慮した円滑な会話をおこなって、通信時間お
よび通信費用を低減することが可能な情報処理方法が得
られるという効果を奏する。

【０１８９】また、請求項２１の発明によれば、請求項
１１〜２０のいずれか一つに記載された方法をコンピュ
ータに実行させるプログラムを記録したことで、そのプ
ログラムを機械読み取り可能となり、これによって、請
求項１１〜２０のいずれか一つの動作をコンピュータに
よって実現することが可能な記録媒体が得られるという
効果を奏する。

【図面の簡単な説明】

【図１】本実施の形態に用いられるモバイル端末の構成
を示すブロック図である。

【図２】本実施の形態に用いられるモバイル端末の外観
を示す図である。

【図３】データ通信プロトコルの構成を示すブロック図
である。

【図４】相手端末と接続して会話ができる通信状態にな
るまでのシーケンスを示す図である。

【図５】会話ができる通信状態から音声データと画像デ
ータとを多重化して送信できる通信状態になるまでのシ
ーケンスを示す図である。

【図６】通信可能状態から通信状態を終了するまでのシ
ーケンスを示す図である。

【図７】モバイル端末の動作例１を説明するためのフロ
ーチャートである。

【図８】モバイル端末の動作例２を説明するためのフロ
ーチャートである。

【図９】モバイル端末の動作例３を説明するためのフロ
ーチャートである。

【図１０】図１に示したＬＣＤにおける画像の表示例を
示す図である。

【図１１】モバイル端末の動作例４を説明するためのフ
ローチャートである。

【図１２】ＪＰＥＧファイルのファイルヘッダの構造を
示す図である。

【図１３】抽出されたオブジェクト画像と、これを含む
最小面積の矩形領域との関係を示す図である。

【図１４】モバイル端末の動作例５を説明するためのフ
ローチャートである。

【図１５】図１に示した電子ビューファインダの表示例
を示す図である。

【図１６】モバイル端末の動作例６を説明するためのフ
ローチャートである。

【図１７】モバイル端末の動作例７を説明するためのフ
ローチャートである。

【図１８】モバイル端末の動作例８を説明するためのフ
ローチャートである。

【符号の説明】

１ モバイル端末 ２ 画像入力部 ３ 画像処理部 ４ 表示部 ５ 操作部 ６ 通信部 ７ 制御部 ２５ 画像メモリ ３０ 音声処理部 ３８ 音声入力部 ３９ 音声出力部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 7/24 Ｆターム(参考） 5C059 MA00 MA23 MA31 PP01 SS07 SS30 TA73 TC18 TD12 UA02 UA05 5C063 AB03 AB07 AB10 AC02 AC05 CA11 CA12 CA20 CA40 DA05 DA13 5C064 AA01 AA02 AB03 AC04 AC06 AC12 AC16 AD02 AD08 AD14 5K101 KK02 KK15 LL12 NN07 NN18 NN21

Claims (21)

【特許請求の範囲】
1. 【請求項１】 単一の伝送路を用いて、リアルタイム性
   が要求される第１の情報とリアルタイム性が要求されな
   い第２の情報とを同時送信する情報処理装置において、 前記第２の情報のデータ量が所定の値より小さいか否か
   を判定する判定手段と、 前記判定手段によって所定の値よりも小さいと判定され
   た場合に、前記第２の情報を送信する第１の送信制御手
   段と、 前記判定手段によって所定の値以上であると判定された
   場合に、前記第１の情報と前記第２の情報とを多重化し
   た情報を送信する第２の送信制御手段と、 を備えたことを特徴とする情報処理装置。
2. 【請求項２】 単一の伝送路を用いて、リアルタイム性
   が要求される第１の情報とリアルタイム性が要求されな
   い第２の情報とを同時送信する情報処理装置において、 前記第２の情報に関する一部の情報を送信する第１の送
   信制御手段と、 前記第１の送信制御手段による情報の送信後に、前記第
   １の情報と前記第２の情報とを多重化した情報を送信す
   る第２の送信制御手段と、 を備えたことを特徴とする情報処理装置。
3. 【請求項３】 前記第２の情報は、複数の階層により形
   成され、 前記第１の送信制御手段は、前記第２の情報における所
   定の階層までの情報を送信し、 前記第２の送信制御手段は、前記第１の送信制御手段に
   よる情報の送信後に、前記第１の情報と前記第２の情報
   における前記所定の階層以降の情報とを多重化した情報
   を送信することを特徴とする請求項２に記載の情報処理
   装置。
4. 【請求項４】 前記第２の情報は、データ量が異なる複
   数のファイルにより形成され、 前記第１の送信制御手段は、前記第２の情報における最
   小データ量のファイルに含まれる情報を送信し、 前記第２の送信制御手段は、前記第１の送信制御手段に
   よる情報の送信後に、前記第１の情報と前記第２の情報
   における最大データ量のファイルに含まれる情報とを多
   重化した情報を送信することを特徴とする請求項２に記
   載の情報処理装置。
5. 【請求項５】 前記第２の情報を表示する表示手段と、
   前記表示手段に表示された前記第２の情報から、該第２
   の情報に関する一部の情報を指定する指定手段と、をさ
   らに備え、 前記第１の送信制御手段は、前記指定手段によって指定
   された一部の情報を送信することを特徴とする請求項２
   に記載の情報処理装置。
6. 【請求項６】 前記第２の情報は、画像情報からなり、
   前記指定手段は、前記表示手段に表示された前記画像情
   報から、画像の一部を指定することを特徴とする請求項
   ５に記載の情報処理装置。
7. 【請求項７】 前記第２の情報は、画像情報からなり、
   前記指定手段は、前記表示手段に表示された前記画像情
   報から、画像の一部を形成するオブジェクトを指定する
   ことを特徴とする請求項５に記載の情報処理装置。
8. 【請求項８】 前記第２の情報に関する一部の情報を指
   定しつつ該第２の情報を入力する入力手段をさらに備
   え、 前記第１の送信制御手段は、前記入力手段によって指定
   入力された一部の情報を送信することを特徴とする請求
   項２に記載の情報処理装置。
9. 【請求項９】 前記第２の情報は、画像情報からなり、
   前記入力手段は、画像の一部を指定することを特徴とす
   る請求項８に記載の情報処理装置。
10. 【請求項１０】 前記第２の情報は、画像情報からな
    り、前記入力手段は、画像の一部を形成するオブジェク
    トを指定することを特徴とする請求項８に記載の情報処
    理装置。
11. 【請求項１１】 単一の伝送路を用いて、リアルタイム
    性が要求される第１の情報とリアルタイム性が要求され
    ない第２の情報とを同時送信する情報処理方法におい
    て、 前記第２の情報のデータ量が所定の値より小さいか否か
    を判定する判定工程と、 前記判定工程によって所定の値よりも小さいと判定され
    た場合に、前記第２の情報を送信する第１の送信制御工
    程と、 前記判定工程によって所定の値以上であると判定された
    場合に、前記第１の情報と前記第２の情報とを多重化し
    た情報を送信する第２の送信制御工程と、 を含んだことを特徴とする情報処理方法。
12. 【請求項１２】 単一の伝送路を用いて、リアルタイム
    性が要求される第１の情報とリアルタイム性が要求され
    ない第２の情報とを同時送信する情報処理方法におい
    て、 前記第２の情報に関する一部の情報を送信する第１の送
    信制御工程と、 前記第１の送信制御工程による情報の送信後に、前記第
    １の情報と前記第２の情報とを多重化した情報を送信す
    る第２の送信制御工程と、 を含んだことを特徴とする情報処理方法。
13. 【請求項１３】 前記第２の情報は、複数の階層により
    形成され、 前記第１の送信制御工程は、前記第２の情報における所
    定の階層までの情報を送信し、 前記第２の送信制御工程は、前記第１の送信制御工程に
    よる情報の送信後に、前記第１の情報と前記第２の情報
    における前記所定の階層以降の情報とを多重化した情報
    を送信することを特徴とする請求項１２に記載の情報処
    理方法。
14. 【請求項１４】 前記第２の情報は、データ量が異なる
    複数のファイルにより形成され、 前記第１の送信制御工程は、前記第２の情報における最
    小データ量のファイルに含まれる情報を送信し、 前記第２の送信制御工程は、前記第１の送信制御工程に
    よる情報の送信後に、前記第１の情報と前記第２の情報
    における最大データ量のファイルに含まれる情報とを多
    重化した情報を送信することを特徴とする請求項１２に
    記載の情報処理方法。
15. 【請求項１５】 前記第２の情報を表示する表示工程
    と、前記表示工程に表示された前記第２の情報から、該
    第２の情報に関する一部の情報を指定する指定工程と、
    をさらに含み、 前記第１の送信制御工程は、前記指定工程によって指定
    された一部の情報を送信することを特徴とする請求項１
    ２に記載の情報処理方法。
16. 【請求項１６】 前記第２の情報は、画像情報からな
    り、前記指定工程は、前記表示工程に表示された前記画
    像情報から、画像の一部を指定することを特徴とする請
    求項１５に記載の情報処理方法。
17. 【請求項１７】 前記第２の情報は、画像情報からな
    り、前記指定工程は、前記表示工程に表示された前記画
    像情報から、画像の一部を形成するオブジェクトを指定
    することを特徴とする請求項１５に記載の情報処理方
    法。
18. 【請求項１８】 前記第２の情報に関する一部の情報を
    指定しつつ該第２の情報を入力する入力工程をさらに含
    み、 前記第１の送信制御工程は、前記入力工程によって指定
    入力された一部の情報を送信することを特徴とする請求
    項１２に記載の情報処理方法。
19. 【請求項１９】 前記第２の情報は、画像情報からな
    り、前記入力工程は、画像の一部を指定することを特徴
    とする請求項１８に記載の情報処理方法。
20. 【請求項２０】 前記第２の情報は、画像情報からな
    り、前記入力工程は、画像の一部を形成するオブジェク
    トを指定することを特徴とする請求項１８に記載の情報
    処理方法。
21. 【請求項２１】 前記請求項１１〜２０のいずれか一つ
    に記載された方法をコンピュータに実行させるプログラ
    ムを記録したことを特徴とするコンピュータ読み取り可
    能な記録媒体。