JP2005303872A

JP2005303872A - 画像通信装置

Info

Publication number: JP2005303872A
Application number: JP2004120057A
Authority: JP
Inventors: Michihiro Izumi; 通博泉; Takehiro Yoshida; 武弘吉田; Shigeo Miura; 滋夫三浦; Dufrene Christophe; クリストフ・デュフレーン
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-04-15
Filing date: 2004-04-15
Publication date: 2005-10-27

Abstract

【課題】画像に音声を添付して送信すること。
【解決手段】ＩＰＰＦＡＸのように、ファイル送信前に送信先装置の処理能力を把握する手段を有するプロトコルを利用して、送信先装置が音声処理機能を持っていないと判明した時には、ユーザーに表示すると共に、送信するファイル形式を変更することにより、上記問題を解決するものである。
【選択図】図１

Description

本発明は、パケット形式で画像および音声の送信を行うことのできる画像通信装置に関するものである。特に、IP電話サービスを利用してIPPFAXなどの画像伝送プロトコルを用いた画像伝送を行う画像通信装置に関するものである。

画像を送信する端末として、ファクシミリ装置が広く普及している。ファクシミリ装置はアナログ電話回線に接続され、スキャナで読み取った画像をモデムで変調して送信される。しかし、電話回線の帯域の制約により、通信速度は最大でも33.6kbpsに制限されている。

一方、近年ではインターネット網を使って通信する電子メールが急速に普及している。電子メールには画像、音声などのさまざまなメディアを添付して送信することも可能であり、インターネット網の広い周波数帯域を利用することにより、高速に画像を送信することが可能である。

しかし、電子メールのシステムはメールサーバーとクライアント端末から構成されており、クライアント端末は宛先を記述したメールをメールサーバーに送信し、受信側のクライアント端末はPOP(Post Office Protocol)によってメールサーバーからメールを受信するものである。従って、リアルタイム性に欠けるものであった。

この問題を解決するために、特願平１１−７０５４６（「音声＆画像＆TIFF＆同時」で検索した結果９７件の中からピックアップ）においては、ITU-Tで勧告化されているBFT (Binary File Transfer) 方式を用いることが提案されている。

前記発明によれば、静止画像またはテキスト文書を含む可視情報に加えて、さらに音声情報を含む複合情報を所定のフォーマットでフレーミングし、その情報の属性をヘッダ部に付加して交信するＢＦＴ機能を有する複合データ通信装置において、送信側からＢＦＴで送られてくる可視情報と音声情報の複合情報を受信した場合に、前記ヘッダ部に付加された各情報の属性を解読し、各情報間の依存関係を判定することにより、各情報を送信側でフォーマット化された順序にしたがって復元、再生することを特徴とするものであった。

しかしながら、前記発明においては以下のような問題点があった。

(1) T.30のファクシミリ通信手順を利用するため、通信速度はファクシミリモデムの伝送速度以下のものとなっていた。

(2) 通信開始前に送信先の通信能力を知ることができないものであった。従って、相手先で送信する画像と音声を再生できたかどうかを確認することができなかった。

そこで、本発明においては、IP網を使って画像データと音声データを含むファイルを送信する手段と、ファイル送信プロトコルとして、送信先装置の能力を確認することのできるIPPFAXなどのプロトコルを使用することにより、上記課題を解決するものである。

以上のように、本発明を実施することにより、相手装置の処理することのできるメディア種別を認識した上で、相手装置が画像と音声を処理することが可能であれば、画像に音声を添付して送信することが可能になるという効果がある。
さらに、IP網を想定した画像伝送プロトコルであるIPPFAXプロトコルを使用することにより、高速に画像と音声を伝送することが可能になるという効果がある。

以下、本発明にかかる一実施形態の画像通信装置について説明する。

図１は本発明を実施する画像通信装置の接続されるシステム構成図である。同図において、101はインターネット網（IP網）である。102はENUMサーバーであり、電話番号をURIに変換する処理を行う。103はDNS (Domain Name System) サーバーであり、ドメインネームをIPアドレスに変換する処理を行う。

104はVoIP用SIPプロキシ（グローバルIPアドレス = 193.168.0.0）であり、IP電話サービスにおける呼接続処理を行うためのSIP (Session Initiation Protocol) の処理を行うものである。

105は第一の画像通信装置（グローバルIPアドレス = 194.168.0.0）であり、図２に詳細構成を示す。

106はADSLモデムであり、アナログ電話を接続するアナログ電話インターフェイスとデジタルデータの送受信を行うためのEthernet（登録商標）インターフェイスを内蔵している。アナログ電話インターフェイスを伝送する音声帯域信号とEthernet（登録商標）インターフェイスを伝送する音声帯域外信号を多重・変調して通信回線に送信する機能を有する。逆に、通信回線から受信した信号を音声帯域信号と音声帯域外信号に分離し、それぞれアナログ電話インターフェイスとEthernet（登録商標）インターフェイスに出力する機能も有するものである。

107はADSLモデムと画像通信装置を接続するEthernet（登録商標）インターフェイス、108は第二の画像通信装置（グローバルIPアドレス = 197.168.0.0）、109はADSLモデム、110はEthernet（登録商標）インターフェイスである。

図２（ａ）は本発明を実施した画像通信装置の内部構成図である。同図において、201はCPUであり、ROM202に格納されたプログラムに従って画像通信装置の制御を行う。TCP/IPのプロトコル処理も行い、画像データのTCP/IPフレームへの組立は本CPUの制御により行われる。203はRAMであり、プログラム実行時のワークメモリとして使用すると共に、送受信する画像データもバッファリングにも使用される。

204はCIS(Contact Image Sensor)であり、原稿の画像をアナログ信号に変換する。205は読取制御部であり、CISが出力するアナログ信号をデジタルデータに変換する。変換されたデジタルデータは、CPU201の制御によりRAM203に転送される。

206はＭＨ符号化・復号化処理部であり、画像送信時には、読み取った画像データをＭＨ符号化してデータ圧縮する。受信時には、ＭＨ符号化されている画像データを復号化する。

207はFAXモデムであり、送信時にはＭＨ符号化されたデータを変調してアナログ回線を電送できる音声帯域のアナログ信号に変換する。受信時には、受信したアナログ信号を復調して、ＭＨ符号化データを出力する。
208は音声入出力部（ハンドセット）であり、音声を入力するマイクと、音声を出力するスピーカから構成されている。

209はアナログスイッチであり、CODEC210に接続する信号を切り替えるスイッチである。ファクシミリ画像通信時にはCODEC210とFAXモデム207を接続し、通話時にはCODEC210と音声入出力部208を接続する。

211はキー操作部であり、ダイヤルやファクシミリ送受信の操作ボタンなどから構成される。212は液晶表示部である。

213は記録処理部であり、受信した画像データを印刷用ラスタデータに変換し、印字処理するものである。

214はカードインターフェイスであり、デジタルカメラで撮影したJPEG画像を格納したメモリカードを接続することができる。

215はJPEG処理部であり、カードインターフェイスを経由して入力されたJPEG画像をJPEG圧縮するものである。また、受信したJPEG画像データを伸張するものである。

216はLANコントローラであり、ADSLモデムとの間でEthernet（登録商標）インターフェイスを経由してデータ送受信を行うものである。送信するデータを本LANコントローラに転送すると、MAC (Media Access Control)フレームヘッダとFCS (Frame Check Sequence)などを付加した上で、Ethernet（登録商標）インターフェイスに送信するものである。

図３（ａ）は画像通信装置105から画像通信装置108に対して初めて画像を送信する場合の通信シーケンス図である。

図３（ｂ）は画像通信装置105から画像通信装置108に対して、２回目以降に画像を送信する場合の通信シーケンス図である。

図４は画像通信装置105の動作フローチャートである。

図５は画像通信装置108の動作フローチャートである。

図６はSIPプロキシ103の動作フローチャートである。

図７は音声と画像を同時に送信する場合のTIFFファイルの構造である。

以下、第一の画像通信装置105から第二の画像通信装置108に対して画像と音声を含むファイルの送信を開始する場合の処理について説明する。

画像通信装置のキー操作部211により宛先の電話番号の入力に続いて画像／音声送信キーが押下されると(S401)、この電話番号に対応するIPアドレスがメモリに格納されているかどうかをチェックする(S402)。既に画像送信を行ったことのある相手先であれば、電話番号に対応するIPアドレスがメモリに格納されている。

メモリに入力された電話番号に対応するIPアドレスが格納されていない場合(S403)、ADSLモデムに接続されたEthernet（登録商標）インターフェイス106経由で、前記電話番号情報を入れたSIP(Session Initiation Protocol)のセッション要求メッセージ（INVITEメッセージ）を送信する処理を行う(S404)。

SIPメッセージは以下のように構成される。
=============================================================
INVITE sip:ＡＡＡ@ＣＣＣ.co.jp SIP/2.0
Via:SIP/2.0/UDP ｂｂｂ.ＣＣＣ.co.jp
From: ＢＢＡＡＡ < ippfax://ＡＡＡ.ＣＣＣ.co.jp>
To: < tel: 000-0000-0000>
Call-ID:2ef-1737483932@ｂｂｂ.ＣＣＣ.co.jp
Cseq:1 INVITE
Content Type: application/SDP
v=0
o=mhandley 2890844526 2890842807 IN IP4 126.16.64.4
s=Image
t=2873397496 2873404696
m=ippfax 44000 TCP
=============================================================
入力された電話番号に基づく宛先情報などを記述したヘッダに続く本文においては、SDP(Session Description Protocol:RFC2327)に基づく各種パラメータを記述する。画像通信をする場合には、この中にメディア種別が画像であることや、使用する画像伝送プロトコル種別に関する記述を行う。また、画像パケットを送受信する際に使用するポート番号についても記述する。上記例においては、44000をポート番号として使用することを想定している。

このSIPメッセージを送信するにあたっては、トランスポート層としてはUDPを使用する。そこで、CPU201はSIPメッセージにUDPヘッダを付加して、UDPフレームを生成してメモリ203に格納する。UDPヘッダ内の送信先アドレスには、SIPプロキシ103のIPアドレス193.168.0.0を入れ、送信元アドレスには、画像通信装置105のIPアドレスである194.168.0.0を入れる。また、宛先ポート番号には、SIPのWell-knownポート番号である5060を入れ、送信元ポート番号には任意のポート番号（本例では5000とする）を入れる。

このようにして生成したUDPフレームをCPU201はLANコントローラ216に転送する。LANコントローラ216は送信データを受信すると、MAC（Media Access Control）ヘッダを付加してADSLモデム106に送信し、データを受信したADSLモデム106は受信したデータをIP網101に送信する。これ以降に送信される各種メッセージについても、同様の手順により送信される。

本パケットの場合は、送信先IPアドレスとしてSIPプロキシのIPアドレスが入れられているので、IP網101を経由してSIPプロキシ103に届けられることになる(S601)。

SIPプロキシ103は受け取ったセッション要求メッセージのヘッダ内の電話番号を8.7.6.5.4.3.2.1. e164.arpaという形式に展開し(S602)、ENUMサーバーへ問い合わせる(S603)。問い合わせを受けたENUMサーバーにおいては、8.7.6.5.4.3.2.1. e164.arpa に対応するURIを検索し、その結果としてippfax://ＣＣＣ.co.jp/abcというURIをSIPプロキシ104に返信する。

URIを受信したSIPプロキシ104は(S604)、DNS（Domain Name system）サーバーに対して、受信したURIであるippfax://ＣＣＣ.co.jp/abcに対応するIPアドレスを問い合わせる(S605)。問い合わせを受けたDNSサーバーにおいては、前記URIに対応する画像通信装置108のIPアドレスが198.168.0.0であることを検索して、SIPプロキシに対して通知する。

DNSサーバーから相手先の画像通信装置108のIPアドレスを受信したSIPプロキシは（S606）、画像通信装置105から受信したパケット内の送信先IPアドレスをDNSサーバーから受信した画像通信装置108のIPアドレスに入れ替え、送信元IPアドレスをSIPプロキシ103のIPアドレスに入れ替えた上で、画像通信装置108宛てにセッション要求メッセージを送信する（S607）。

セッション要求メッセージを受信した画像通信装置108は（S501）、呼出中メッセージをSIPプロキシ103宛てに送信する(S502)。呼出中メッセージのヘッダ内の宛先には、受信したセッション要求メッセージのヘッダに記述されている送信元電話番号情報を入れ、送信先IPアドレスには、セッション要求メッセージの送信元IPアドレスである、SIPプロキシ103のアドレスを入れて送信する。また、画像通信装置105の送信したセッション要求メッセージと同様に、SDPによる各種パラメータも記述し、画像通信装置108が受信する画像パケット用のポート番号も指定する。本例においては、ポート番号を47000とする。

続いて、画像通信装置108においては、本呼出中メッセージを送信すると同時に、画像通信装置108は呼出音を鳴動すると同時に、画像着信があったことを表示する(S503)。

呼出中メッセージを受信したSIPプロキシ103は(S608)、送信先IPアドレスを画像通信装置105のIPアドレスに、送信元IPアドレスをSIPプロキシ103のIPアドレスにそれぞれ入れ替えて送信し(S609)、画像通信装置105が呼出中メッセージを受信する(S405)。

画像通信装置108のキー操作部において「画像受信」が押下されると(S504)、画像通信装置108はSIPプロキシ103宛てに応答メッセージを送信する（S505）。応答メッセージを受信したSIPプロキシ103においては(S610)、今度は送信先IPアドレスのみを画像通信装置105のIPアドレスに変換して送信し(S611)、画像通信装置105が前記応答メッセージを受信する(S406)。

画像通信装置105は受信した応答メッセージ内の送信元IPアドレスにより、画像通信装置108のIPアドレスを認識することができ(S407)、これ以降はSIPプロキシ103を経由しないで、直接画像通信装置108宛てにパケットを送信することが可能になる。画像通信装置105においては、認識したIPアドレス198.168.0.0を電話番号050-1234-5678に対応付けてメモリに格納する(S408)。

画像通信装置105は宛先IPアドレスを画像通信装置108のIPアドレスとした応答確認メッセージを送信して、呼接続手順は終了する(S409)。

以上の手順により、画像通信装置105と画像通信装置108の間で画像データの送受信を開始することができる。

画像送信においてはリアルタイム性よりもデータ誤りの防止が重要であるため、トランスポート層としてはTCPを使用する。

画像送信に先立ち、画像通信装置105はIPPFAXのプロトコルに基づいて、送信画像パラメータなどの情報を画像通信装置108に送信する。IPPFAXメッセージはすべてHTTPのPOSTを使って送信する。また、画像通信装置105が送信するIPPFAXメッセージ内の宛先ポート番号は47100、送信元ポート番号は44100となっており、画像通信装置108が送信するIPPFAXメッセージ内の宛先ポート番号は44100、送信元ポート番号は47100となっている。

まず、画像通信装置105はGet-Printer-Attributesメッセージを送信する(S410)。本メッセージは、画像通信装置108に対して、装置名称、処理可能な文書形式などを確認することを目的としている。文書形式はMIME(Multipurpose Internet Mail Extensions)形式で記述される。メッセージ文の詳細はRFC2911に記述されているので、本稿においては詳述しない。本例における重要な点は、uif-profiles-supportedおよびuif-profile-capabilitiesに関する情報を返信するように画像送信装置108に対して要求することである。これらの情報によって、画像通信装置108が処理することのできる画像形式や音声形式を画像通信装置105が把握することができる。

前記Get-Printer-Attributesメッセージを受信した画像通信装置108は(S506)、文書形式としてMH画像、JPEG画像とG.721 ADPCM音声をサポートしていることを示す内容を含むGet-Printer-Attributes Responseメッセージを画像通信装置105宛てに送信する(S507)。

画像通信装置が、JPEG画像処理とADPCM音声処理を行うことができる場合、uif-profiles-supportedおよびuif-profile-capabilitiesは次のようになる。
- uif-profiles-supported ： UIF Profile C
- uif-profile-capabilities ：
(& (image-file-structure=TIFF-minimal)
(MRC-mode=0)
(image-coding=MH)
(| (& (dpi=200)
(dpi-xyratio=[200/100,200/200])
(size-x=1728/200) )
(& (dpi=204)
(dpi-xyratio=[204/98,204/196])
(size-x=1728/200) ) )
(& (image-file-structure=TIFF-limited)
(MRC-mode=0)
(color=full)
(image-coding=JPEG)
(image-coding-constraint=JPEG-T4E)
(color-subsampling="4:1:1")
(color-levels=16777216)
(color-space=CIELAB)
(color-illuminant=D50)
(CIELAB-L-min>=0)
(CIELAB-L-max<=100)
(CIELAB-a-min>=-85)
(CIELAB-a-max>=85)
(CIELAB-b-min>=-75)
(CIELAB-b-max>=125)
(dpi=[200,300])
(dpi-xyratio=1) )
(& (voice-file-structure=TIFF-limited)
(voice-coding=G.721ADPCM) )
画像通信装置105は、Get-Printer-Attributes Responseメッセージを受信すると(S411)、画像通信装置108が処理可能なメディア種別を認識する。

上記の記述例のように画像符号化形式としてJPEGがサポートされていることと、音声符号化形式としてADPCMがサポートされていることを認識すると(S412)、続いて、画像データを送信しても良いかどうかを確認するために、画像通信装置108に対して、Validate-Jobメッセージを送信する(S413)。

画像通信装置108はValidate-Jobメッセージをした時に受信できる状態にあれば(S508)、Validate-Job Responseメッセージを画像通信装置105に送信する(S509)。

画像通信装置105はValidate-Job Responseメッセージを受信すると(S414)、JPEG画像ファイルを送信するためのPrint-Jobメッセージの生成を行う。

まず、画像に添付する音声メッセージをユーザーが入力するように、画面に「送信する音声メッセージを入力してください。セットキーを押すと録音を開始します。」と表示する(S415)。

ユーザーがセットキーを押して、ハンドセットのマイクから音声を入力すると(S416)、入力した音声をVoIPコーデック210で音声符号化し、RAM203に格納する(S417)。

続いて、画像データの生成のために、CPU201がカードインターフェイス214を経由してメモリカードに格納されているJPEGデータを読み出し、RAM203に転送する(S418)。

音声データと画像データがRAM203に格納されると、それらにTIFFヘッダーを付加してTIFFファイルを生成する(S419)。TIFFファイルは、ヘッダ、音声データ、IFD(Image File Directory) 、画像データから構成されている。ヘッダには、IFDまでのオフセット値が格納されている。IFDには画像サイズ、圧縮方式、画像データまでのオフセット値などから成る画像属性情報が格納されており、ヘッダとIFDを参照することにより、音声データと画像データを特定することができるものである。TIFFファイルの構造の概念を図７に示す。

続いて、生成したTIFFデータをBASE64変換処理し、Print-Jobメッセージの各属性とIPアドレスやポート番号を含むTCPヘッダーを付加したフレームを生成してRAM203に格納する(S420)。さらに、本フレームをLANコントローラ216に転送し、LANコントローラ216においては、MACアドレスを付加して送信する(S421)。

Print-Jobメッセージを受信した画像通信装置108は(S510)、LANコントローラ216においてTCP/IPヘッダを削除し、TIFFファイルの解析を行う。TIFFヘッダを参照して、音声データと画像データを抽出してRAM203に格納する(S511)。

画像通信装置108は画像データを正常に受信できると、正常に受信できたことを示すPrint-Job Responseメッセージを画像通信装置105に送信して、画像通信動作が終了する(S512)。

画像通信装置105においては、Print-Job Responseメッセージを受信すると(S422)、画像が正常に送信できたと判断して画像送信動作を終了する(S423)。
JPEG画像を受信した画像通信装置108においては、画像をJPEG伸張して(S513)、受信画像を画面に表示する設定になっている場合には(S514)、JPEG伸張処理した画像データを表示部に表示すると同時に、音声データをVoIPコーデックにより復号化してスピーカから音声を出力する(S515)。

また、受信画像を印刷する設定になっている場合には(S514)、JPEG伸張処理した画像データをCMYKの印刷データに変換して(S516)、印刷処理を行うと同時に、音声データをVoIPコーデックにより復号化してスピーカから音声を出力する(S517)。

S412において、画像通信装置108から受信するGet-Printer-Attributes Responseメッセージにおいて、音声データに関する記述がない場合には、画像通信装置105は画像通信装置108が音声処理を行う機能を持っていないと判断して、表示部に「送信先端末では音声メッセージの再生ができません。画像のみ送信します。」と表示する(S424)。

続いて、画像データの生成のために、CPU201がカードインターフェイス214を経由してメモリカードに格納されているJPEGデータを読み出し(S425)、画像データのみの入ったTIFFファイルを生成する(S426)。それ以降の手順は基本的には音声データがある場合と同様である。

（第二の実施の形態）
第一の実施の形態においては、画像通信装置108から受信したGet-Printer-Attributes Responseメッセージにおいて、音声データに関する記述がない場合には、画像通信装置105は画像通信装置108が音声処理を行う機能を持っていないと判断して、表示部に「送信先端末では音声メッセージの再生ができません。画像のみ送信します。」と表示し、音声メッセージを送信しないものであった。

送信先装置が音声データを受信する機能がない場合でも、音声メッセージを含むTIFFファイルを送っても問題は生じない。

画像通信装置108においては、ヘッダとIFDを解析すれば画像データを抽出することが可能であり、音声データを破棄することにより、画像データのみを表示または印刷処理することが可能である。

（第三の実施の形態）
上記実施の形態においては、画像通信装置105から画像通信装置108に対しての送信時には、メモリカードのJPEG画像データを送信するものであった。しかし、CISで読み取った画像をMH符号化したデータを送信することによっても、同様の効果を得ることが可能である。

本発明を実施した画像通信装置の接続を示すシステム構成図本発明を実施した画像通信装置の内部構成図（ａ）は画像通信装置105から画像通信装置108に対して１回目に画像を送信する場合の通信シーケンス図、（ｂ）は画像通信装置105から画像通信装置108に対して２回目に画像を送信する場合の通信シーケンス図画像通信装置105の動作フローチャート画像通信装置108の動作フローチャート SIPプロキシ103の動作フローチャート TIFFファイルの構造例

符号の説明

101 IP網
102 ENUMサーバー
103 DNSサーバー
104 VoIP SIPプロキシ
105,108 本発明を実施した画像通信装置
201 CPU
205 読取制御部
207 FAXモデム
209 アナログ信号切り替えスイッチ
210 VoIP コーデック（デジタル符号化装置）
216 LANコントローラ

Claims

画像を入力する手段と、音声を入力する手段と、入力した画像および音声をデジタル符号化する手段と、画像データと音声データを含むファイルを生成する手段と、ファイル内の画像データと音声データの構造を示すヘッダを生成する手段と、生成したファイルに第二の画像通信装置のIPアドレスを付加して第二の画像通信装置に送信する手段と、画像送信前に第二の画像通信装置が処理できるファイル形式を第二の画像通信装置から受信する手段と、第二の画像通信装置が画像と音声を含むファイルの処理ができない場合には、その旨を表示する手段を有することを特徴とする画像通信装置。
請求項１において、ヘッダはファイル内の画像データの格納位置を示すポインタを含むことを特徴とする画像通信装置。
請求項１において、第二の画像通信装置が画像と音声を含むファイルの処理ができない場合には、画像データのみから構成されるファイルに第二の画像通信装置のIPアドレスを付加して第二の画像通信装置に送信する手段を有することを特徴とする画像通信装置。
上記請求項の画像通信装置において、画像データと音声データを含むファイルを受信した場合には、ヘッダを解析する手段と、ヘッダを解析して画像データと音声データを抽出する手段と、画像データを表示または印刷する間に音声を再生する手段と、画像データを表示するか印刷するかを選択する手段を有することを特徴とする画像通信装置。