JP2004362055A

JP2004362055A - Image processing method and image processing system

Info

Publication number: JP2004362055A
Application number: JP2003156878A
Authority: JP
Inventors: Hiroshi Minatogawa; 宏湊川
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-06-02
Filing date: 2003-06-02
Publication date: 2004-12-24
Anticipated expiration: 2023-06-02
Also published as: JP4247666B2

Abstract

<P>PROBLEM TO BE SOLVED: To enable a sender to check a result of image processing executed in a server before sending it to a receiver (destination) or on a real time basis as sending it to the receiver, in an image transmission system for image-processing an image sent from a sending terminal in an image processing server and sending the processed image to a receiver. <P>SOLUTION: A sending cellular telephone 1 sends data on an original image to the image processing server 4, and the image processing server 4 processes the image. In the process, a TCP connection is maintained between the cellular telephone 1 and the image processing server 4. The image processing server 4 stores the processed image in a memory, and returns the processing result to the sending cellular telephone 1 via the maintained TCP connection. The sender checks the processing result on a display 16, and presses a "Sending OK" operation button 74 if satisfied or presses a "Process further" operation button 73 to set processing parameters if unsatisfied. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法及び画像処理システムに係り、特にデジタルカメラやカメラ付き携帯電話機などにより撮影される静止画像又は動画像を補正して所望の画質や録画時間を実現するのに好適な画像処理技術に関する。
【０００２】
【従来の技術】
近時、デジタルカメラやカメラ付き携帯電話機などが普及し、手軽な撮影手段の一つとして多くの人に利用されている。特許文献１に開示されたカメラ機能付きの携帯電話機によれば、カメラ部から動画像が取り込まれると、画像処理部において該画像データに対してホワイトバランス等の基本的な画像処理が実行され、フレームレート変換部において、設定されたフレームレート値で調整された後、色数変換部において、設定された色数に調整される。その後、サイズ変換部において、色数変換部から入力された画像データは、設定されたサイズ値に調整され、画像圧縮部においてＪＰＥＧ等の画像圧縮方式により、設定された圧縮率で圧縮される。これらの処理が全て終了すると、ＣＰＵは該画像データをＲＡＭに格納させるとともに、ＬＣＤに画面表示させている。
【０００３】
【特許文献１】
特開２００２−２７１６７１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来、携帯端末において画像サイズ、フォーマットが異なるケースに対応しきれない場合が多く、それを解決する手段として、サーバ側で画像処理を行い、送信先の端末の仕様に合わせて最適な処理を施す手段が知られている。かかる方法は、サーバで処理を行うことにより、複雑な処理を可能とする反面、処理結果を送信者側が確認できないという欠点がある。
【０００５】
本発明はこのような事情に鑑みてなされたもので、送信側端末から送出した画像を画像処理サーバで画像処理し、処理結果の画像を相手側に送る画像伝送システムにおいて、サーバで実施された画像処理の結果を相手側に送る前に、或いは相手に送りながらリアルタイムに、送信者側で確認することができる画像処理方法及びシステムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像処理方法は、送信側端末から通信回線を介して画像処理サーバに接続する工程と、前記送信側端末から前記画像処理サーバに画像を送信する工程と、前記送信側端末から受け取った画像を前記画像処理サーバにおいて画像処理する工程と、前記画像処理サーバによる画像処理の際に前記送信側端末と前記画像処理サーバとの通信接続を維持する工程と、前記画像処理により生成された処理結果画像を前記画像処理サーバの記憶装置に記憶する工程と、前記維持していた通信接続を利用して前記処理結果画像を前記送信側端末に送信する工程と、前記画像処理サーバから受け取った前記処理結果画像を前記送信側端末の表示装置に表示する工程と、前記送信側端末の操作部から指示の入力を受け付け、前記操作部から入力される指示に応じた情報を前記画像処理サーバに送る工程と、前記送信側端末の操作部から前記処理結果画像の送信許可を示す指示が入力されると、前記記憶装置に保存されている前記処理結果画像を前記画像処理サーバから送信先へ提供する工程と、を含むことを特徴とする。
【０００７】
本発明によれば、送信側端末から原画像（被処理画像）を画像処理サーバに送り、画像処理サーバにおいて種々の画像処理を行う。このとき、送信側端末と画像処理サーバとの間の通信接続が維持されており、画像処理サーバは処理結果の画像を記憶装置に記憶するとともに、維持していた通信接続を利用して送信元の端末（送信側端末）に返す。画像処理サーバから返された処理結果画像は送信側端末の表示装置に表示される。送信者は表示装置に表示された処理結果の画像を確認し、ＯＫと判断したら操作部から「送信許可」の指示を入力する。画像処理サーバは、送信側端末からの「送信許可」の指示に応動して処理結果画像を送信先に提供する。
【０００８】
このように、ネットワーク上の画像処理サーバによって画像処理を行うことにより、複雑な画像加工（処理）を可能とするとともに、処理結果の画像を送信先に送信する前に送信者自身が手元の端末の表示装置ですぐに確認することができる。これにより、送信者が意図する表現の画像を相手側に送ることが可能になる。
【０００９】
なお、送信先への画像の提供方法としては、例えば、送信先である受信側端末に対して直接画像データを送信する態様、電子メールに添付して配信する態様、処理結果画像を所定の格納場所（例えば、ユーザ別に設定した専用の閲覧サイト）に格納し、そのアドレス情報（例えば、ＵＲＬ）を電子メール等により通知する態様などがある。この場合、受信者は指定されたサイトにアクセスして、そこから処理結果の画像を閲覧又はダウンロードすることができる。
【００１０】
画像処理サーバから返された処理結果の画像を送信側端末の表示装置に表示する場合、処理前の原画像と処理後の変換画像（処理結果画像）とを同時に、又は適宜切り替えて表示する態様が好ましい。処理前の原画像と処理後の変換画像（処理結果画像）を同時に表示する際には、それぞれの画像の表示エリアの大小関係や画面の分割形態（上下分割、左右分割、ピクチャー・イン・ピクチャーによる小ウインドウ化）などを適宜設定することも可能である。
【００１１】
画像処理サーバにおける画像処理の内容には、例えば、明るさの補正、シャープネス（輪郭強調）の調整、色補正、変形、画像合成などが含まれる。それぞれの処理項目について調整値その他のパラメータが定義され、指定されたパラメータに基づいて画像処理が実施される。
【００１２】
本発明の一態様による画像処理方法は、上記構成に加えて、前記操作部からの指示の入力受付時に前記操作部から画像処理パラメータを変更する指示が入力されると、前記画像処理サーバにおいて該変更されたパラメータに従って画像処理を実施する工程と、前記変更されたパラメータの設定を反映した画像処理により生成された処理結果画像を前記画像処理サーバの記憶装置に記憶する工程と、前記維持していた通信接続を利用してパラメータ変更後の処理結果画像を前記送信側端末に送信する工程と、前記画像処理サーバから送られた前記パラメータ変更後の処理結果画像を前記送信側端末の表示装置に表示する工程と、を含むことを特徴とする。
【００１３】
すなわち、画像処理サーバから返された処理結果の画像を表示装置で確認したときに、意図する結果が得られていない場合には、送信者はパラメータの調整操作を行うことができる。この調整操作は、現在の処理結果画像を基準としてこれにパラメータの増減値（変化量）を指定するなど、パラメータに対して修正を加えるものである。現在の設定に係るパラメータを基準にパラメータを調整することにより、所望の条件を簡単に設定することができる。
【００１４】
このようにして変更されたパラメータに従って画像処理をやり直し、処理結果の画像を送信側端末に返す。これにより、処理結果を確認しながら適切なパラメータを設定することができる。
【００１５】
本発明の他の態様は、前記送信側端末から受け取った処理前の原画像を前記画像処理サーバの記憶装置に記憶する工程と、前記表示装置に前記処理結果画像を表示した後、前記送信側端末の操作部から当該画像について処理前の原画像を採用する旨の指示が入力されると、前記記憶装置に保存されている前記処理前の原画像を前記画像処理サーバから前記送信先へ提供する工程と、を含むことを特徴とする。
【００１６】
例えば、タングステン光で撮った写真を画像処理する場合、日本人は昼白色光で撮ったような白っぽい画像を好む傾向があるが、欧米人はそのままの黄色っぽい画像を好む傾向がある。したがって、あるパラメータ設定に基づき一様に画像処理を行うと、処理前の原画像の方が好ましいというケースが起こり得る。
【００１７】
そこで、本態様においては、画像処理サーバから返された処理結果の画像を表示装置で確認した際に、意図する結果が得られていない場合など、この画像に関しては画像処理を行いたくないと判断した場合に、処理前の原画像を採用する旨の指示を入力する操作を行うことができるようになっている。この指示は、処理前又は処理後の画像の何れか一方を選択する操作によって入力されてもよいし、画像処理を取り消す（キャンセルする）旨の操作によって入力されてもよい。
【００１８】
送信者によって処理前の原画像を採用する旨の操作が行われると、その指示に応動して画像処理サーバは記憶装置に保存してある処理前の原画像を送信先に提供する。これにより、処理結果の画像を確認した後に、処理結果画像又は処理前の原画像を選択的に送信先に送ることが可能になる。
【００１９】
本発明のさらに他の態様にかかる画像処理方法は、送信側端末と受信側端末とがそれぞれ撮像手段を有しており、各端末の撮像手段によって撮影された映像の圧縮動画像データを互いに通信回線を利用して送受信可能な通信システムに適用される画像処理方法であって、前記送信側端末と前記受信側端末との間で通信接続を確立し、相互に圧縮動画像データの受け渡しを開始する工程と、前記通信回線に接続されている画像処理サーバと前記送信側端末との間の通信接続を維持する工程と、前記送信側端末から前記画像処理サーバへ圧縮動画像データを送出する工程と、前記送信側端末から受け取った圧縮動画像データを前記画像処理サーバにおいて画像処理する工程と、前記画像処理によって生成された処理後の圧縮動画像データを前記画像処理サーバから通信相手の前記受信側端末へ送信するとともに、前記維持していた通信接続を利用して、該処理後の圧縮動画像データを前記送信側端末へ送信する工程と、前記画像処理サーバから受け取った前記処理後の圧縮動画像データを復元し、その画像を前記送信側端末の表示装置に表示する工程と、を含むことを特徴とする。
【００２０】
すなわち、本発明は、いわゆるテレビ電話機能を有する端末どうしの動画映像の伝送における画像処理に応用できる技術であり、画像処理サーバにおいて行われる画像処理の結果を受信者側の端末（受信側端末）のみならず送信元の端末（送信側端末）の表示装置にも表示させている。これにより、画像処理サーバで行われているリアルタイム処理の結果を送信者本人が手元の端末の表示装置で確認しながら通信を行うことができる。
【００２１】
画像処理サーバから返された処理結果の画像を送信側端末の表示装置に表示する場合、その処理結果画像（自分側の撮影画像）と相手側から送られてくる画像（相手側の撮影画像）とを同時に、又は必要に応じて適宜切り替えて表示する態様が好ましい。画像処理サーバから返された自分側の撮影画像と、相手側の撮影画像とを同時に表示する際には、それぞれの画像の表示エリアの大小関係や画面の分割形態（上下分割、左右分割、ピクチャー・イン・ピクチャーによる小ウインドウ化）などを適宜設定することも可能である。
【００２２】
また、前記処理後の結果を示す動画像を前記表示装置に表示したときに、さらに画像処理パラメータを変更する指示の入力を受け付け、前記送信側端末の操作部から入力された指示に応じた情報を前記画像処理サーバに送る工程と、前記送信側端末の操作部から画像処理パラメータを変更する指示が入力されると、該変更されたパラメータに従って前記画像処理サーバにおいて画像処理を実行する工程と、前記変更されたパラメータの設定を反映した画像処理により生成された処理結果の圧縮動画像データを前記画像処理サーバから前記受信側端末に送信するとともに、前記維持していた通信接続を利用して該パラメータ変更後の処理結果による圧縮動画像データを前記画像処理サーバから前記送信側端末に送信する工程と、前記画像処理サーバから受け取った前記パラメータ変更後の処理結果による圧縮動画像データを復元し、その画像を前記表示装置に表示する工程と、を含む態様が好ましい。
【００２３】
この態様により、必要に応じてパラメータの設定を変更し、その設定が反映された処理結果を表示装置で確認しながら通信を行うことができる。また、画像処理サーバによる処理の内容として、例えば、顔や体型を細くする／太くする、髪形を変える（複数の合成用パーツ画像の中から所望の画像を選択させ、選択に係るパーツ画像を原画像に合成する）などの処理を加えることにより、エンターテイメント性が増す。
【００２４】
上記方法発明を具現化するシステムを提供するため、本発明に係る画像処理システムは、通信回線に接続する通信手段を備えた送信側端末と、前記送信側端末から前記通信回線を介して受け取った画像データを処理する画像処理サーバと、前記画像処理サーバで生成された処理結果の画像データを前記通信回線経由で受信する受信側端末と、から構成される画像処理システムであって、前記画像処理サーバは、前記通信回線を介して前記送信側端末から受け取った画像データを処理する画像処理手段と、前記画像処理手段による画像処理の際に前記送信側端末との通信接続を維持する接続維持制御手段と、前記画像処理手段により生成された処理結果画像を記憶する記憶手段と、前記接続維持制御手段により維持していた通信接続を利用して前記処理結果画像を前記送信側端末へ送信する処理結果返信制御手段と、前記処理結果返信制御手段によって前記送信側端末に前記処理結果画像を返した後に前記送信側端末から当該処理結果画像の送信許可を示す指示が入力されると、前記記憶手段に保存されている前記処理結果画像を前記受信側端末に提供する処理結果提供制御手段と、を備え、前記送信側端末は、前記通信回線を介して前記画像処理サーバに接続し、前記画像処理サーバに画像を送信する通信制御手段と、前記画像処理サーバから受信した前記処理結果画像を表示する表示手段と、前記表示手段に表示された前記処理結果画像の送信許可を示す指示を入力するための指示入力操作手段と、を備えていることを特徴とする。
【００２５】
本発明の一態様に係る画像処理システムによれば、前記送信側端末は、画像処理パラメータを変更する操作を行うためのパラメータ変更操作手段を有し、前記画像処理サーバは、前記パラメータ変更操作手段により変更されたパラメータに従って前記画像処理手段による画像処理を行い、前記変更されたパラメータの設定を反映した画像処理により生成された処理結果画像を前記記憶手段に記憶し、前記維持していた通信接続を利用してパラメータ変更後の前記処理結果画像を前記送信側端末に送信することを特徴とする。
【００２６】
本発明の他の態様によれば、前記画像処理サーバは、前記送信側端末から受け取った処理前の原画像を記憶する原画像記憶手段を備え、前記送信側端末は、前記処理前の画像を送信用の画像として採用する旨の指示を入力するための選択操作手段を備えており、前記送信側端末の前記表示手段に前記処理結果画像を表示した後、前記選択操作手段から前記処理前の原画像を採用する旨の指示が入力されると、前記原画像記憶手段に保存されている前記処理前の原画像が前記画像処理サーバから前記受信側端末に提供されることを特徴とする。
【００２７】
また、本発明のさらに他の態様に係る画像処理システムは、通信回線に接続されている画像処理サーバと、前記画像処理サーバを介して相互に圧縮動画像データを送受信可能な送信側端末及び受信側端末と、から構成される画像処理システムであって、前記画像処理サーバは、前記通信回線を介して前記送信側端末から受け取った圧縮動画像データを画像処理する画像処理手段と、前記画像処理手段による画像処理の際に前記送信側端末との通信接続を維持する接続維持制御手段と、前記画像処理手段により生成された処理後の圧縮動画像データを前記受信側端末に送信するとともに、前記接続維持制御手段により維持していた通信接続を利用して前記処理後の圧縮動画像データを前記送信側端末へ送信する処理結果送信制御手段と、を備え、前記送信側端末は、光学像を電気信号に変換する撮像手段と、前記通信回線を介して前記受信側端末及び前記画像処理サーバに接続する通信手段と、前記撮像手段により撮影された映像の圧縮動画像データを所定の通信プロトコルに従って前記画像処理サーバに送信する通信制御手段と、前記画像処理サーバから受信した圧縮動画像データを復元する信号処理手段と、前記信号処理手段により復元された動画像を表示する表示手段と、を備えていることを特徴とする。
【００２８】
この場合、さらに、前記送信側端末は、画像処理パラメータを変更する操作を行うためのパラメータ変更操作手段を有し、前記画像処理サーバは、前記パラメータ変更操作手段により変更されたパラメータに従って前記画像処理手段による画像処理を行い、前記変更されたパラメータの設定を反映した画像処理により生成された圧縮動画像データを前記受信側端末に送信するとともに、前記接続維持制御手段により維持していた通信接続を利用して該パラメータ変更後の処理結果を示す圧縮動画像データを前記送信側端末へ送信する制御を行うことを特徴とする態様がある。
【００２９】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００３０】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理システムの構成図である。図示のように、このシステムは、通信端末として機能する複数の携帯電話機１、２と、これら端末間の通信の中継を行う画像処理サーバ４とから構成され、携帯電話機１、２及び画像処理サーバ４はネットワーク（通信回線）６を介して接続されている。ネットワーク６は、例えば、インターネットに代表される広域通信回線網であり、電話回線網、携帯電話回線網、専用回線網など、有線・無線を問わず種々の通信回線網を含む。
【００３１】
携帯電話機１には、カメラ部１２、アンテナ１４、ディスプレイ１６、受話口１７、送話口１８及び操作部２０が設けられている。操作部２０には、ダイヤルボタン２１、通話ボタン２２、通話切兼用電源ボタン２３、十字ボタン２４、実行ボタン２５その他の各種の操作手段が含まれる。操作部２０は、プッシュ式のスイッチ部材に限定されず、ダイヤル部材、レバースイッチなどの構成も可能である。
【００３２】
ディスプレイ１６は、カラー表示可能な液晶ディスプレイで構成される。もちろん、有機ＥＬなど他の方式の表示装置を適用してもよい。なお、図１には明示されていないが、この携帯電話機１には動画再生時の音声や各種効果音等を出力するためのスピーカ（図２中符号２７として記載）及び動画撮影時の音声を取り込むためのマイク（図２中符号２８として記載）が設けられている。
【００３３】
図１に示したカメラ部１２は、携帯電話機１の筐体２９の所定位置に固設されているが、撮影方向を自由に変更できるようにカメラ部を回動自在に取り付ける態様も可能であり、また、複数のカメラ部を搭載する態様も可能である。
【００３４】
図２は、携帯電話機１の構成を示すブロック図である。同図に示したように、携帯電話機１は、中央演算処理装置（ＣＰＵ）３０、メモリ３２、音声処理部３４、送受信回路３６、受話口１７のスピーカ３７、送話口１８のマイク３８といった通常の電話機能を実現するために必要な構成要素を備えている。
【００３５】
ＣＰＵ３０は、所定のプログラムに従って携帯電話機１全体の動作を制御する制御部として機能するとともに、各種演算を行う演算装置として機能する。すなわち、ＣＰＵ３０は、操作部２０から入力される指令信号に基づいて携帯電話機１内の各回路を制御し、通信制御、撮影動作制御、画像処理制御、ディスプレイ１６の表示制御、メモリ３２の読み書き制御及び容量管理（空き容量の検出を含む）などを行う。
【００３６】
ＣＰＵ３０はバス３９を介してメモリ３２と接続されている。メモリ３２は、ＣＰＵ３０が実行するプログラム及び制御に必要な各種データなどが格納される不揮発性メモリ領域と、プログラムの展開領域及びＣＰＵ３０の演算作業用領域として利用される揮発性メモリ領域とを含むブロックである。不揮発性メモリ領域は、電話機帳や通話履歴のデータ記憶領域として利用されるとともに、音声や画像の保存領域として利用される。本発明の画像処理機能における処理パラメータの情報は不揮発性メモリ領域に格納される。また、揮発性メモリ領域は、画像データの一時記憶領域としても利用される。
【００３７】
音声処理部３４は、ＣＰＵ３０と連携して音声信号を処理又は変換する手段である。音声処理部３４は、送受信回路３６から受入したデータの復号化処理及び送受信回路３６を通じて送信するデータの符号化処理を行うとともに、スピーカ２７、３７への出力信号生成処理、マイク２８、３８からの入力音声信号の符号化処理などを行う。
【００３８】
通話モード（電話機能を使用するモード）において、通信相手との通信接続が確立されると、マイク２８から入力される音声は電気信号に変換され、音声処理部３４に送られる。音声処理部３４はマイク３８から入力された音声信号をデジタル信号に変換（Ａ／Ｄ変換）した後、所要の信号処理を行い、所定形式の音声データに変換する。音声処理部３４で処理された音声データ（送信用のデータ）は、バス３９を介して送受信回路３６に送られ、所定の送信用信号形式に変換された後、アンテナ１４から送信される。
【００３９】
また、アンテナ１４によって受波された信号は、送受信回路３６において復調され、音声処理部３４に送られる。音声処理部３４は、送受信回路３６から受入した音声信号を所定形式の音声データに変換する。音声処理部３４で生成された音声データ（受信データ）は、アナログ音声信号に変換（Ｄ／Ａ変換）された後、スピーカ３７に送られる。こうして、通話相手の音声がスピーカ３７から可聴出力される。もちろん、携帯電話機１は、音声データのみならず、電子メール機能やインターネットのブラウザ機能などを利用して画像データ、文書データ、プログラムデータなど種々のデータを送受信することが可能である。
【００４０】
さらに、携帯電話機１は、撮影レンズ４０とＣＣＤイメージセンサ（以下、ＣＣＤという。）４２を有し、ＣＣＤ４２から得られる画像信号を処理するためのアナログ処理部４４、Ａ／Ｄ変換器４５、画像処理部４６、圧縮伸張部４７を備えている。なお、本例では撮像素子としてＣＣＤを用いるが、ＣＣＤ型に限らず、ＣＭＯＳ型など他の方式によるデバイスを用いてもよい。
【００４１】
撮影レンズ４０を通過した光はＣＣＤ４２の受光面の上に焦点を結ぶ。ＣＣＤ４２の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００４２】
ＣＣＤ４２の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４２は、シャッタゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。
【００４３】
ＣＣＤ４２の各フォトセンサに蓄積された信号電荷は、ＣＰＵ３０の指令に従いタイミングジェネレータ（ＴＧ）４８から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４２から出力された画像信号は、アナログ処理部４４に送られ、相関二重サンプリング（ＣＤＳ）処理やゲイン調整などの所要の処理が施された後、Ａ／Ｄ変換器４５によってデジタル信号に変換される。デジタル化された画像データは画像処理部４６に送られる。
【００４４】
画像処理部４６は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含むデジタル画像信号処理手段であり、ＣＰＵ３０からのコマンドに従ってメモリ３２を活用しながら画像信号を処理する。
【００４５】
画像処理部４６において、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）への変換処理（ＹＣ処理）など、所定の処理が施されて生成された画像データはメモリ３２に一時的に記憶される。ここで、撮影中の映像をディスプレイ１６に表示させる場合には、このメモリ３２の内容を読み出して表示回路５０に送り、表示回路５０において表示用の信号形式に変換した後、ディスプレイ１６に供給する。これにより、ＣＣＤ４２が捉えているリアルタイム映像（スルー画）がディスプレイ１６に表示され、撮影者はディスプレイ１６の表示映像によって撮影画角（構図）を確認できる。
【００４６】
操作部２０の撮影ボタン（例えば、実行ボタン２５で兼用）が押されると、ＣＰＵ３０はこれを検知して、記録用の撮影動作を実行する。すなわち、撮影ボタンの押下に応動してＣＣＤ４２の露光制御及び電荷の読み出し制御が行われる。こうして取り込まれた記録用の画像データは、画像処理部４６においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張部４７に送られ、ここで所定の圧縮フォーマット（例えば、ＪＰＥＧ形式）に従って圧縮される。圧縮された画像データは、メモリ３２の画像保存領域に格納される。
【００４７】
動画撮影モードが選択されている場合には、撮影ボタンの押下によって録画動作がスタートし、その後もう一度撮影ボタンを押下すると動画記録動作が停止する。なお、撮影ボタンの押下継続中に録画動作を行い、押下解除により録画を停止するようにしてもよい。
【００４８】
動画撮影時の音声は、マイク２８によって検出され、その検出信号（音声信号）は、音声処理部３４において所定の信号形式に変換される。この音声データは、画像データとともに圧縮伸張部４７において所定の圧縮フォーマット（例えば、ＭＰＥＧ形式）に従って圧縮処理された後メモリ３２に記録される。
【００４９】
画像再生時には、ユーザのファイル選択操作に応じて、または自動的にメモリ３２から画像ファイルのデータが読み出される。メモリ３２から読み出された圧縮データは、圧縮伸張部４７によって伸張され、表示回路５０を介して表示用の信号に変換された後、ディスプレイに出力される。これにより、当該ファイルの画像内容がディスプレイ上に表示される。
【００５０】
図１において符号２で示した携帯電話機の構成は、上記した携帯電話機１と同一又は類似の構成であるため、その説明は省略する。
【００５１】
図３は画像処理サーバ４の要部を示す機能ブロック図である。画像処理サーバ４は、通信部５２と、制御部５３と、メモリ５４と、画像処理部５５とを備えている。通信部５２は、ネットワーク６を介して接続される携帯電話機１、２との間で所定の通信プロトコル（例えば、ＴＣＰ）に従ってデータの送受信を行うための信号変換及び通信制御を行う。すなわち、通信部５２は、画像データの入力部及び出力部として機能する手段である。
【００５２】
制御部５３は通信部５２を含むサーバ全体の動作を制御する。メモリ５４は制御部５３の制御に従って画像データその他のデータを記憶する。画像処理部５５は、設定されている処理パラメータに従い、入力画像（被処理画像）について変形、置換、合成、補正その他の変換処理等を行う画像手段を備えた処理部である。
【００５３】
図３に示したとおり、携帯電話機１から送られてきた原画像（被処理画像）６０のデータは通信部５２を介して画像処理サーバ４に入力され、制御部５３を経由して画像処理部５５へ送られる。
【００５４】
画像処理部５５は、制御部５３から指定される画像処理パラメータに基づいて、原画像に画像処理を施し、パラメータを反映させた処理結果画像（変換画像）を生成する。処理内容には、明るさ補正、輪郭強調補正、色補正、貼り付け用画像の合成など種々の項目があり、それぞれの処理について調整値等が定義されている。
【００５５】
画像処理部５５で生成された処理結果画像６２は、画像処理サーバ４内のメモリ５４に保存されるとともに、通信部５２を介して送信元の携帯電話機１に送信される。画像処理サーバ４から送出された処理結果画像６２は携帯電話機１によって受信され、携帯電話機１内で所要の復元処理が行われた後、その画像内容がディスプレイ１６に表示される。送信者はディスプレイ１６の表示によって処理結果画像６２を確認し、必要に応じて画像処理パラメータの変更操作を行うことができる。
【００５６】
携帯電話機１から入力されたパラメータの情報６３は通信部５２を介して制御部５３に入力される。制御部５３は、変更されたパラメータに基づいて画像処理部５５の処理内容を修正する。パラメータの変更が反映された処理結果は携帯電話機１側に返され、携帯電話機１のディスプレイ１６に表示される。
【００５７】
処理結果を確認後、その画像でＯＫであれば、携帯電話機１からその旨を示す信号（送信許可信号）を画像処理サーバ４に送る。画像処理サーバ４は携帯電話機１から送信許可信号を受け取ると、これに応動してメモリ５４内の処理結果画像６２を指定された送信先へ送信する。
【００５８】
次に、上記の如く構成された画像処理システムの動作について説明する。
【００５９】
図４は本システムの動作を示すフローチャートである。送信者側の携帯電話機１は、携帯オペレータに接続し、画像処理サーバ４に対して画像（この場合、静止画）を送信する（ステップＳ１１０）。画像の送信の方法には、電子メールに画像を添付して送る態様、画像処理サーバ４に画像をアップロードする態様などがあり得る。なお、携帯電話機１から送信する画像は、カメラ部１２で撮影した画像に限らず、電子メール等により外部から受け取った画像でもよい。
【００６０】
画像送信後も送信元の携帯電話機１と画像処理サーバ４とのＴＣＰ接続は維持される。画像処理サーバ４は、携帯電話機１から送られてきた画像を受信し、その画像（原画像）をメモリ５４に保存する（ステップＳ１１２）。その後、画像処理サーバ４は、当該受信画像を画像処理部５５に送り、画像処理を実施する（ステップＳ１１４）。画像処理の過程で必要に応じて受信側端末情報が取得され、受信側端末の仕様に合わせて、画像サイズの調整（リサイズ）や色数の決定が行われる（ステップＳ１１６）。受信側の端末情報は、携帯電話機１又は２から送信してもよいし、ユーザ登録などの手続によって予め登録されていてもよい。
【００６１】
こうして、画像処理サーバ４において所要の画像処理が実施され、処理結果の画像が生成されると、その結果画像はメモリ５４に記憶されるとともに、維持していたＴＣＰ接続を利用して画像処理サーバ４から送信元の携帯電話機１に返送される（ステップＳ１１８）。携帯電話機１は、画像処理サーバ４から返された処理結果画像を受信し（ステップＳ１２０）、その画像データを復元処理してディスプレイ１６の画面右下に小さく表示させる（ステップＳ１２２、図１参照）。図１では、やや暗い原画像が画像処理によって明るい画像に変換された様子が示されている。
【００６２】
図１の画面例によれば、ディスプレイ１６内の小画面ウインドウ７０に処理結果の画像が表示されているが、処理結果の表示方法はこの例に限定されず、上下２分割、左右２分割、表示画面の切り替えなど、種々の態様があり、複数の表示方法の中から所望の表示方法を選択できるように構成してもよい。
【００６３】
また、このとき、図１に示したように、ディスプレイ１６の画面最下に「さらに処理」のコマンドメニュー７１と、「送信ＯＫ」のコマンドメニュー７２が表示される。これらメニュー表示は、符号７３の操作ボタンに「さらに処理ボタン」の機能が割り当てられ、符号７４の操作ボタンに「送信ＯＫボタン」の機能が割り当てられたことを意味している。
【００６４】
送信者はディスプレイ１６の表示を確認し、表示された処理結果で良ければ、「送信ＯＫボタン」（操作ボタン７４）を押す。携帯電話機１のＣＰＵ３０は操作部２０からの入力を検出し、処理結果でＯＫか否かの判定を行う（図４のステップＳ１２４）。「送信ＯＫボタン」が押されると、その情報は携帯電話機１から画像処理サーバ４に送られる。画像処理サーバ４は携帯電話機１からのＯＫ情報（送信許可）を受けて画像処理を完了し（ステップＳ１２６）、メモリ５４に記憶しておいた処理結果画像を受信者側の携帯電話機２に送信する（ステップＳ１４０）。受信者側の携帯電話機２は、画像処理サーバ４から送られてきた画像を受信し（ステップＳ１４２）、この受信した画像をディスプレイに表示させる（ステップＳ１４４）。
【００６５】
その一方、ステップＳ１２２で表示された処理結果画像を確認した送信者がその処理結果に満足しない場合には、「さらに処理ボタン」（操作ボタン７３）を押して、パラメータ変更入力画面に移行し、パラメータの調整を行う。
【００６６】
すなわち、「さらに処理ボタン」が押された場合には、ステップＳ１２４においてＮＯ判定となり、ステップＳ１３０に進む。ステップＳ１３０では、前の処理で使用したパラメータを基準としてさらに処理パラメータを調整する操作が受け付けられる。例えば、明るさ補正やシャープネスについて、０，±１，±２という段階調整率が定義されており、ユーザは好みに応じて＋／−ボタン（十字ボタン２４の上下キーにて兼用）を操作してパラメータを入力することができる。前の処理で使用したパラメータ値が「＋１」であった場合には、その値に対してさらに「＋１」を加算して「＋２」に修正したり、「＋２」から−１調整を行って「＋１」に修正したりすることができる。
【００６７】
ステップＳ１３０においてパラメータの調整が行われると、その情報は画像処理サーバ４に送られる。画像処理サーバ４は、変更されたパラメータの情報を取得した後（ステップＳ１３２）、ステップＳ１１４に戻り、その変更されたパラメータに基づいて画像処理を実施する。このとき、画像処理サーバ４は、メモリ５４に保存してある処理後の画像を基本データとして、ユーザが設定したパラメータに合わせて処理を加える。処理後の変換画像はステップＳ１１８によって送信元の携帯電話機１に返され、ディスプレイ１６に表示される。
【００６８】
この作業（ステップＳ１１４〜Ｓ１３２）を繰り返すことで、送信者が意図する表現の画像を得ることができる。送信者がこれでよいと思える画像が得られた時点で「送信ＯＫボタン」を押して、処理を終了させる。こうして、画像処理サーバ４は、送信者の選択に応じて処理画像を送信先である受信側携帯電話機２に送信する。
【００６９】
〔第２の実施形態〕
次に本発明の第２の実施形態について説明する。
【００７０】
図５は第２の実施形態に係る画像処理システムの動作を示すフローチャートである。システムの構成は上記した第１の実施形態と類似するので説明は省略する。
【００７１】
図５に示したように、送信者側の携帯電話機１は、携帯オペレータに接続し、画像処理サーバ４に対して所定の通信プロトコル（例えば、ＴＣＰ）に従い画像を送信する（ステップＳ２１０）。画像送信後も画像処理サーバ４と携帯電話機１とのＴＣＰ接続を維持する。オペレータ側の画像処理サーバ４は、携帯電話機１から送られてきた画像（原画像）を受信し、サーバ内の画像処理装置に入力する（ステップＳ２１２）。画像処理サーバ４は、入力された処理前の原画像をメモリ５４に保存する一方（ステップＳ２１４）、入力された原画像について画像処理を実施する（ステップＳ２１６）。
【００７２】
処理結果の画像が生成されると、その結果画像はメモリ５４に記憶されるとともに（ステップＳ２１８）、維持していたＴＣＰ接続を利用して画像処理サーバ４から送信元の携帯電話機１に返送される（ステップＳ２２０）。
【００７３】
携帯電話機１は、画像処理サーバ４から返された処理結果画像を受信し（ステップＳ２２２）、その画像データを復元してディスプレイ１６に表示させる（ステップＳ２２４）。
【００７４】
送信者はディスプレイ１６の表示を確認し、表示された処理結果で良ければ、「送信ＯＫボタン」（操作ボタン７４）を押す。その一方、処理結果を見て、この画像に関しては処理を行いたくないと判断した場合には、「処理をしない」のコマンドメニュー（不図示）を選択する操作を行う。携帯電話機１のＣＰＵ３０は操作部２０からの入力を検出し、操作に応じた信号を画像処理サーバ４へ送信する（ステップＳ２２６）。
【００７５】
画像処理サーバ４は、携帯電話機１から受け取った信号を判断し（ステップＳ２２８）、指示に応じた処理を行う。すなわち、処理結果を採用する旨を示す「送信ＯＫ」のコマンド信号を受信した場合には、メモリ５４から処理結果画像を読み出し（ステップＳ２３０）、これを送信先へ送信する（ステップＳ２３４）。
【００７６】
一方、ステップＳ２２８において、処理前の原画像を採用する旨を示す「処理をしない」のコマンド信号を受信した場合には、メモリ５４に保存されている処理前の原画像を読み出し（ステップＳ２３２）、これを送信先へ送信する（ステップＳ２３４）。こうして、送信先への画像送信を実施して処理を終了する。
【００７７】
〔第３の実施形態〕
次に本発明の第３の実施形態について説明する。
【００７８】
図６は、本発明の第３の実施形態に係る画像処理システムの構成図である。図６中、図１と同一又は類似する部分には同一の符号を付し、その説明は省略する。このシステムは、２台のカメラ付き携帯電話機１、２どうしで互いに映像と音声を伝送し合いながらコミュニケーションを行うためのシステム（いわゆるテレビ電話システム）である。
【００７９】
携帯電話機１のカメラ部１２で撮影された映像は、画像処理サーバ４を経由して相手側の携帯電話機２に送られ、携帯電話機２のディスプレイ８０に表示される。同様に、携帯電話機２のカメラ部８２で撮影された映像は、携帯電話機１のディスプレイ１６に表示される。
【００８０】
画像処理サーバ４は、携帯電話機１、２間で送受される動画データの画像処理を行う動画像処理装置として機能する。テレビ電話などの分野では、通信のリアルタイム性が要求されるため、画質向上のための補正処理等の画像処理を迅速に行う必要がある。そのため、画像処理サーバ４は、ＭＰＥＧなどの圧縮技術でデジタル圧縮された動画像データ（圧縮動画像データという）を圧縮空間にて高速に画像処理することができる動画処理装置を備えている。
【００８１】
動画像業界のスタンダードとなりつつあるＭＰＥＧや、テレビ電話などで用いられるＩＴＵ−ＴＨ．２６１及びＩＴＵ−ＴＨ．２６３、携帯電話の動画像圧縮規格として採用されているＮａｎｃｙなどの圧縮方式によって圧縮された動画像データは、他のフレームのデータに依存しないデータにより形成されるイントラフレームと、他のフレームのデータに対する差分により形成されたインターフレームとから構成される。このような場合、イントラフレームに対して画質補正を行えば、イントラフレームに依存するインターフレームも補正されることになる。
【００８２】
例えば、ＭＰＥＧ形式の圧縮動画像データは、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類のフレームから構成される。Ｉフレームはイントラフレームであり、Ｐフレームは自身より前のフレームのデータのみに依存するインターフレーム、Ｂフレームは自身の前後のフレーム両方に依存するインターフレームである。
【００８３】
図７は、画像処理サーバ４に装備された動画像処理装置１００の構成を示すブロック図である。図示のように、動画像処理装置１００は、圧縮動画像データＧをイントラフレームＧ０とインターフレームＧ１とに分離するフレーム分離部１０２と、フレーム分離部１０２により得られたイントラフレームＧ０をデコードしてデコードイントラムレームＧ０１を得るデコード部１０４と、デコードイントラフレームＧ０１に対して補正処理その他の画像処理を行って処理済みデコードイントラフレームＧ０２を得る補正部１０６と、処理済みデコードイントラフレームＧ０２をエンコードして処理済みイントラフレームＧ０３を得るエンコード部１０８と、処理済みイントラフレームＧ０３及びインターフレームＧ１とを合成して処理済み動画像Ｇ′を得る合成部１１０と、を備えている。
【００８４】
かかる構成により、圧縮動画像データをイントラフレームとインターフレームとに分離し、イントラフレームのみに対してデコード、画像処理、及びエンコードを行い、処理済みのイントラフレームを得て、これら処理済みのイントラフレームと、非処理対象のインターフレームとを合成することによって処理済み圧縮動画像データを生成している。
【００８５】
圧縮動画像データの一部分のみに対してデコード、画像処理、エンコードを行うことになるので、処理時間の短縮を図ることができる。また、インターフレームについては、直接的に画像処理を施さないが、イントラフレームを補正すれば、これに依存するインターフレームに対しても間接的に処理を施したことになる。
【００８６】
なお、ＭＰＥＧ空間にて画像処理を行う方法は、図７で説明した方法に限定されない。例えば、圧縮動画像データを他のフレームに依存しないイントラフレーム（Ｉフレーム）と、他のフレームに依存する程度が低いインターフレーム（Ｐフレーム）と、他のフレームに依存する程度が高いインターフレーム（Ｂフレーム）とに分離し、ＩフレームとＰフレームのみに対してデコード、画像処理、エンコードを実施して処理済みのフレームを得て、これら処理済みのフレームとＢフレームとを合成することによって処理済みの圧縮動画像データを生成してもよい。
【００８７】
また、画像処理を行うためには、まずデコード手段により、補正対象部分をデコードする必要があるが、このとき画像処理を行うことができる程度のデコード処理のみを施すことが好ましい。動画像データの圧縮は段階的に行われることが通常であり、デコードする場合は、圧縮時と逆の手順で各段階の逆演算を行うことにより段階的にデコードする。例えば、ＭＰＥＧ圧縮動画像データをデコードする際は、圧縮動画像データを可変長復号化し、可変長復号化されたデータを動きベクトル、ＤＣＴ係数などに分けた後に、動き補償予測、ＤＣＴ変換の逆となるＩＤＣＴ変換などの手順を必要とする。その一方、画質補正の処理においてＤＣＴ係数の補正を行うことができるので、デコード手段はＩＤＣＴ変換を行わず、ＤＣＴ係数を画像処理手段（補正部）に供し、補正部によりＤＣＴ係数に対して処理を施すことが可能である。また、後にエンコードする場合、補正されたＤＣＴ係数を用い、新たにＤＣＴ係数を求める必要がないので、エンコードする時間の短縮化も達成できる。
【００８８】
さらにまた、次のような方法もある。ＭＰＥＧにより圧縮された画像データは、イントラフレームかインターフレームかなどを示すヘッダ情報以外に、フレームごとのＤＣＴ係数及び動きベクトルを含んでいる。このような圧縮動画像データをデコードする際、或いはデコード後に画質補正等の処理を行ってからエンコードする際にも、動きベクトルが必要である。動きベクトルは階調などの画質に影響をそれほど与えないものであるにもかかわらす、エンコード時に動きベクトルを求める演算量が莫大であることから、エンコードする際に新たに動きベクトルを求めず、デコード時にえられた動きベクトルをエンコードに用いて処理時間の短縮を図る態様もある。
【００８９】
次に、上記の如く構成された第３の実施形態に係る画像処理システムの動作について説明する。なお、ここでは、携帯電話機１を送信側、携帯電話機２を受信側として説明するが、本システムにおいて送信側と受信側の関係は入れ替え可能である。
【００９０】
図８は、第３の実施形態に係るシステムの動作を示すフローチャートである。まず、テレビ電話機能を備えた携帯電話機１を用いて通信相手と接続し、テレビ電話を開始する（ステップＳ３１０）。送信側の携帯電話機１は、画像処理サーバ４とのＴＣＰ接続を維持する。画像処理サーバ４は、既述のとおり、ＭＰＥＧ空間にて画像処理を高速に行うことができる動画像処理装置１００を備えており、送信側の携帯電話機１から送られてきた圧縮動画像データ動画像処理装置に取り込む（ステップＳ３１２）。
【００９１】
画像処理サーバ４は、画像処理を開始し（ステップＳ３１４）、処理画像を通信相手の携帯電話機２（受信側端末）に送信するとともに、送信元である送信側の携帯電話機１にも維持されたＴＣＰ接続を用いて処理結果の動画を送信する（ステップＳ３１６）。
【００９２】
通信相手の携帯電話機２は、画像処理サーバ４より送られた動画データを受信し（ステップＳ３１８）、これを復元処理してディスプレイ８０に表示させる（ステップＳ３２０）。
【００９３】
その一方、送信側の携帯電話機１は、画像処理サーバ４から送られてきた処理結果を受信し（ステップＳ３２２）、これを復元処理してディスプレイ１６の画面上に小さく表示させる（ステップＳ３２４、図６参照）。
【００９４】
図６に示した画面例によれば、ディスプレイ１６の画面右下に小さいウインドウ８４で（例えば、６分の１サイズで）処理画像を表示させている。これにより、送信者は、処理結果をリアルタイムで確認することができ、現在、相手側にどのような画像が送られているかを把握することができる。
【００９５】
なお、ディスプレイ１６の他の表示エリア（主表示部）には、通信相手の携帯電話機２から送られてくる相手の画像（動画像）が表示されており、相手の画像と、自分から相手に送っている画像とをディスプレイ１６上で同時に確認することができるようになっている。処理結果の表示方法はこの例に限定されず、上下２分割、左右２分割、表示画面の切り替えなど、種々の態様があり、複数の表示方法の中から所望の表示方法を選択できるように構成してもよい。
【００９６】
また、このとき、図６に示したように、ディスプレイ１６の画面左下に「さらに処理」のコマンドメニュー７１が表示される。このメニュー表示は、符号７３の操作ボタンに「さらに処理ボタン」の機能が割り当てられたことを意味している。
【００９７】
ディスプレイ１６に表示された処理結果を確認した送信者が、さらに処理内容を変更したいと判断した場合には、「さらに処理ボタン」（操作ボタン７３）を押す。「さらに処理ボタン」を押すと、図示のような各種パラメータのパラメータ値を設定するためのサブメニュー８６がディスプレイ１６に表示される。送信者は、このサブメニュー８６から所望の項目を選択してパラメータの調整を行う。
【００９８】
例えば、「明るくする」、「シャープにする」、「ちらつきを抑える」、「細くする」、「太くする」などの処理項目についてそれぞれ０，±１，±２という５段階の調整率が定義されており、ユーザは好みに応じて＋／−ボタン（十字ボタン２４の上下キーにて兼用）を操作してパラメータ値を指定することができる。また、「髪形を変える」という項目については、各種ヘアースタイルに対応した貼り付け合成用のパーツ画像が複数用意されており、その中から所望のタイプを選択することができるようになっている。
【００９９】
送信者は必要に応じて操作部２０から指示を入力する。携帯電話機１のＣＰＵ３０は操作部２０からの入力を検出し、入力された指示内容の判定に応じて処理を制御する（図８のステップＳ３２６）。「さらに処理ボタン」が押されていない場合には、現在の処理結果でＯＫであるものと判定される。もちろん、「これでＯＫ」であることを示すコマンドメニュー（不図示）を選択させ、そのメニューの選択に基づいて判定してもよい。
【０１００】
ステップＳ３２６において、処理内容を容認する旨の判定が得られた場合は、画像処理サーバ４において現在の処理パラメータの設定による処理が継続される（ステップＳ３２８）。
【０１０１】
その一方、処理結果が気に入らない場合、送信者は「さらに処理ボタン」を押して、パラメータの設定を行う（ステップＳ３３０）。ステップＳ３３０においてパラメータの調整が行われると、その情報は画像処理サーバ４に送られる。画像処理サーバ４は、変更されたパラメータの情報を取得した後、ステップＳ３１２に戻り、その変更されたパラメータに基づいて画像処理を実施する。
【０１０２】
処理後の変換画像は通信相手の携帯電話機２に送信されるとともに、送信元の携帯電話機１に返され、ディスプレイ１６に表示される（ステップＳ３１４〜Ｓ３２４）。
【０１０３】
この作業（ステップＳ３１２〜Ｓ３３０）を繰り返すことで、送信者は、手元のディスプレイ１６で処理画像を即座に確認しながら、自身の好みの画像になるまでパラメータ値を設定することができる。
【０１０４】
処理内容が決まれば、そのまま通話を維持する（ステップＳ３２８）。その後、通話が終了し、接続が切れると（ステップＳ３３２）、処理を終了する（ステップＳ３３４）。
【０１０５】
上述した各実施形態では、通信端末として携帯電話機を例示したが、本発明の適用範囲はこれに限定されず、ＰＤＡ、モバイルパソコンなど、種々の携帯端末についても本発明を適用することができる。
【０１０６】
【発明の効果】
以上説明したように本発明によれば、送信側端末から送出した画像を画像処理サーバによって画像処理した後、その処理結果を送信先へ提供するシステムにおいて、送信側端末と画像処理サーバとの通信接続を維持し、この維持していた接続を用いて処理結果を画像処理サーバから送信元の端末に返した後、送信側端末からの送信許可を得てから処理結果の画像を送信先へ提供するようにしたので、送信者は処理画像を送信先へ送信する前にその処理画像を確認することができ、処理結果を見てから送信許可、或いは処理パラメータの調整などの入力を行うことができる。
【０１０７】
本発明の他の態様によれば、処理前の原画像を画像処理サーバ内に記憶しておき、処理結果を確認した送信者がこの画像に関して処理を行いたくないと判断した場合に、その旨を示す指示を入力すると、処理結果の画像に代えて、処理前の原画像を送信先へ提供するようにしたので、処理結果の画像又は処理前の原画像の何れか好ましい画像を選択的に提供することが可能である。
【０１０８】
また、本発明のさらに他の態様によれば、いわゆるテレビ電話機能を使用する端末どうしの動画データの送受信において、画像処理サーバで処理された画像を相手側（受信者側）のみならず、送信元の端末にも表示させるようにしたので、送信者本人が処理結果を確認しながら通信を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理システムの構成図
【図２】図１に示した携帯電話機の構成を示すブロック図
【図３】図１に示した画像処理サーバの要部を示す機能ブロック図
【図４】本例の画像処理システムの動作を示すフローチャート
【図５】本発明の第２の実施形態に係る画像処理システムの動作を示すフローチャート
【図６】本発明の第３の実施形態に係る画像処理システムの構成図
【図７】図６に示した画像処理サーバに装備された動画像処理装置の構成を示すブロック図
【図８】本発明の第３の実施形態に係る画像処理システムの動作を示すフローチャート
【符号の説明】
１，２…携帯電話機、４…画像処理サーバ、６…ネットワーク、１２…カメラ部、１６…ディスプレイ、２０…操作部、２４…十字ボタン、３０…ＣＰＵ、３２…メモリ、４２…ＣＣＤ、５２…通信部、５３…制御部、５４…メモリ、５５…画像処理部、８０…ディスプレイ、８２…カメラ部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and an image processing system, and in particular, image processing suitable for realizing a desired image quality and recording time by correcting a still image or a moving image captured by a digital camera or a mobile phone with a camera. Regarding technology.
[0002]
[Prior art]
Recently, digital cameras, camera-equipped mobile phones, and the like have become widespread, and are used by many people as one of the easy photographing methods. According to the mobile phone with a camera function disclosed in Patent Document 1, when a moving image is captured from the camera unit, basic image processing such as white balance is performed on the image data in the image processing unit, After the frame rate conversion unit adjusts the set frame rate value, the color number conversion unit adjusts the set number of colors. Thereafter, the size conversion unit adjusts the image data input from the color number conversion unit to the set size value, and the image compression unit compresses the image data at a set compression rate by an image compression method such as JPEG. When all these processes are completed, the CPU stores the image data in the RAM and displays the screen on the LCD.
[0003]
[Patent Document 1]
JP 2002-271671 A
[0004]
[Problems to be solved by the invention]
However, in the past, mobile terminals often cannot handle cases where the image size and format differ, and as a means of solving this, image processing is performed on the server side, and optimal processing is performed according to the specifications of the destination terminal. Means for applying are known. Such a method enables complicated processing by performing processing on the server, but has a drawback that the sender cannot confirm the processing result.
[0005]
The present invention has been made in view of such circumstances, and is implemented in a server in an image transmission system in which an image transmitted from a transmission-side terminal is subjected to image processing by an image processing server and an image of a processing result is transmitted to the other side. It is an object of the present invention to provide an image processing method and system capable of confirming on the sender side in real time before sending the result of image processing to the other party or while sending the result to the other party.
[0006]
[Means for Solving the Problems]
In order to achieve the object, an image processing method according to the present invention includes a step of connecting a transmission side terminal to an image processing server via a communication line, and a step of transmitting an image from the transmission side terminal to the image processing server. A step of performing image processing on the image received from the transmission side terminal in the image processing server, and a step of maintaining a communication connection between the transmission side terminal and the image processing server during image processing by the image processing server; Storing the processing result image generated by the image processing in a storage device of the image processing server; transmitting the processing result image to the transmitting terminal using the maintained communication connection; A step of displaying the processing result image received from the image processing server on a display device of the transmitting terminal, and an instruction input from the operation unit of the transmitting terminal; A step of sending information corresponding to an instruction input from the operation unit to the image processing server; and an instruction indicating permission to transmit the processing result image from the operation unit of the transmission side terminal. Providing the stored processing result image from the image processing server to a transmission destination.
[0007]
According to the present invention, an original image (processed image) is sent from the transmission side terminal to the image processing server, and various image processing is performed in the image processing server. At this time, the communication connection between the transmission-side terminal and the image processing server is maintained, and the image processing server stores the image of the processing result in the storage device and uses the maintained communication connection to transmit To the terminal (sending terminal). The processing result image returned from the image processing server is displayed on the display device of the transmitting terminal. The sender confirms the image of the processing result displayed on the display device, and when it is determined to be OK, inputs a “transmission permission” instruction from the operation unit. The image processing server provides the processing result image to the transmission destination in response to the “transmission permission” instruction from the transmission side terminal.
[0008]
Thus, by performing image processing by the image processing server on the network, it is possible to perform complicated image processing (processing), and the sender himself / herself before transmitting the processing result image to the transmission destination. It can be confirmed immediately on the display device. This makes it possible to send an image of an expression intended by the sender to the other party.
[0009]
In addition, as a method of providing an image to a transmission destination, for example, a mode in which image data is directly transmitted to a receiving-side terminal that is a transmission destination, a mode in which the image data is attached to an email, and a processing result image is stored in a predetermined manner There is a mode in which it is stored in a place (for example, a dedicated browsing site set for each user) and its address information (for example, URL) is notified by e-mail or the like. In this case, the recipient can access the designated site and browse or download the processed image from there.
[0010]
When displaying the image of the processing result returned from the image processing server on the display device of the transmission side terminal, the mode of displaying the original image before processing and the converted image after processing (processing result image) at the same time or switching appropriately Is preferred. When displaying the original image before processing and the converted image after processing (processing result image) at the same time, the size of the display area of each image and the screen division form (upper and lower division, left and right division, picture-in-picture) It is also possible to appropriately set (small window).
[0011]
The contents of the image processing in the image processing server include, for example, brightness correction, sharpness (contour emphasis) adjustment, color correction, deformation, image composition, and the like. Adjustment values and other parameters are defined for each processing item, and image processing is performed based on the designated parameters.
[0012]
In addition to the above-described configuration, the image processing method according to an aspect of the present invention is configured such that when an instruction to change an image processing parameter is input from the operation unit when an instruction input from the operation unit is received, the image processing server Performing the image processing according to the changed parameter, storing the processing result image generated by the image processing reflecting the changed parameter setting in the storage device of the image processing server, and maintaining A step of transmitting the processing result image after the parameter change to the transmission side terminal using the communication connection, and the processing result image after the parameter change sent from the image processing server to the display device of the transmission side terminal And a step of displaying.
[0013]
That is, when the image of the processing result returned from the image processing server is confirmed on the display device, if the intended result is not obtained, the sender can perform the parameter adjustment operation. In this adjustment operation, the parameter is corrected, for example, an increase / decrease value (change amount) of the parameter is designated on the basis of the current processing result image. A desired condition can be easily set by adjusting the parameter based on the parameter according to the current setting.
[0014]
The image processing is performed again according to the parameters changed in this way, and the processing result image is returned to the transmitting terminal. Thereby, it is possible to set an appropriate parameter while confirming the processing result.
[0015]
According to another aspect of the present invention, a process of storing an unprocessed original image received from the transmission side terminal in a storage device of the image processing server, and displaying the processing result image on the display device, the transmission side When an instruction to adopt an unprocessed original image for the image is input from the operation unit of the terminal, the unprocessed original image stored in the storage device is provided from the image processing server to the transmission destination. And a step of performing.
[0016]
For example, when processing a photograph taken with tungsten light, Japanese people tend to prefer whitish images as taken with daylight white light, but Westerners tend to prefer yellowish images as they are. Therefore, when image processing is uniformly performed based on a certain parameter setting, a case where the original image before processing is preferable may occur.
[0017]
Therefore, in this aspect, when the image of the processing result returned from the image processing server is confirmed on the display device, when the intended result is not obtained, it is determined that the image processing is not desired for this image. In such a case, an operation for inputting an instruction to adopt the original image before processing can be performed. This instruction may be input by an operation of selecting one of the images before or after the processing, or may be input by an operation of canceling (cancelling) the image processing.
[0018]
When an operation for adopting the original image before processing is performed by the sender, the image processing server provides the original image before processing stored in the storage device to the transmission destination in response to the instruction. Thus, after confirming the processing result image, the processing result image or the original image before processing can be selectively sent to the transmission destination.
[0019]
In the image processing method according to still another aspect of the present invention, the transmission-side terminal and the reception-side terminal each have an imaging unit, and communicate compressed video data captured by the imaging unit of each terminal with each other. An image processing method applied to a communication system capable of transmitting and receiving using a line, establishing a communication connection between the transmission side terminal and the reception side terminal and starting delivery of compressed video data to each other A step of maintaining a communication connection between the image processing server connected to the communication line and the transmission side terminal, and a step of sending compressed moving image data from the transmission side terminal to the image processing server And a step of performing image processing on the compressed moving image data received from the transmission side terminal in the image processing server, and the processed compressed moving image data generated by the image processing as the image processing server. A step of transmitting from the processing server to the receiving terminal as a communication partner and transmitting the processed compressed video data to the transmitting terminal using the maintained communication connection; and the image processing server Restoring the processed compressed moving image data received from, and displaying the image on the display device of the transmitting terminal.
[0020]
That is, the present invention is a technique that can be applied to image processing in the transmission of moving image between terminals having a so-called videophone function, and the result of image processing performed in the image processing server is a terminal on the receiver side (receiving terminal). Not only on the display device of the transmission source terminal (transmission side terminal). Thereby, communication can be performed while the sender himself / herself confirms the result of the real-time processing performed in the image processing server on the display device of the terminal at hand.
[0021]
When the processing result image returned from the image processing server is displayed on the display device of the transmitting terminal, the processing result image (self-captured image) and the image sent from the partner (captured image of the partner) Are preferably switched at the same time or as necessary. When simultaneously displaying the captured image of the user and the captured image of the other party returned from the image processing server, the size of the display area of each image and the screen division form (vertical division, left and right division, picture It is also possible to appropriately set (small window by in-picture).
[0022]
In addition, when a moving image indicating the result after the processing is displayed on the display device, an input of an instruction to further change an image processing parameter is received, and information corresponding to the instruction input from the operation unit of the transmission side terminal To the image processing server, and when an instruction to change the image processing parameter is input from the operation unit of the transmission side terminal, executing image processing in the image processing server according to the changed parameter; The processing result compressed moving image data generated by the image processing reflecting the changed parameter setting is transmitted from the image processing server to the receiving terminal, and the maintained communication connection is used to transmit the compressed moving image data. A step of transmitting the compressed moving image data based on the processing result after the parameter change from the image processing server to the transmitting side terminal; Restore the compressed moving picture data by the processing results after the parameter change received from server, and displaying the image on the display device, embodiments comprising preferred.
[0023]
According to this aspect, it is possible to perform communication while changing the parameter setting as necessary and confirming the processing result in which the setting is reflected on the display device. The contents of the processing by the image processing server include, for example, making the face and body shape thinner / thick, changing the hairstyle (selecting a desired image from a plurality of compositing part images, and generating the original part image related to the selection) Addition of processing such as combining with an image increases entertainment.
[0024]
In order to provide a system that embodies the above method invention, an image processing system according to the present invention receives a transmission side terminal provided with a communication unit connected to a communication line, and the communication side received from the transmission side terminal via the communication line An image processing system comprising: an image processing server that processes image data; and a reception-side terminal that receives image data of a processing result generated by the image processing server via the communication line. A server for processing image data received from the transmission side terminal via the communication line, and connection maintenance control for maintaining communication connection with the transmission side terminal during image processing by the image processing unit; Means, storage means for storing the processing result image generated by the image processing means, and communication connection maintained by the connection maintenance control means. Processing result reply control means for sending the processing result image to the transmitting terminal, and transmission of the processing result image from the transmitting terminal after returning the processing result image to the transmitting terminal by the processing result reply control means. A processing result provision control means for providing the processing result image stored in the storage means to the reception side terminal when an instruction indicating permission is input, the transmission side terminal including the communication line; Communication control means for connecting to the image processing server via the image processing server and transmitting the image to the image processing server; display means for displaying the processing result image received from the image processing server; and the display means displayed on the display means. And an instruction input operation means for inputting an instruction indicating permission to transmit the processing result image.
[0025]
According to the image processing system of one aspect of the present invention, the transmission side terminal includes a parameter change operation unit for performing an operation of changing an image processing parameter, and the image processing server includes the parameter change operation unit. The image processing unit performs image processing according to the parameter changed by the step, stores the processing result image generated by the image processing reflecting the changed parameter setting in the storage unit, and maintains the maintained communication connection The processing result image after the parameter change is transmitted to the transmitting side terminal by using.
[0026]
According to another aspect of the present invention, the image processing server includes original image storage means for storing an original image before processing received from the transmitting terminal, and the transmitting terminal stores the image before processing. Selection operation means for inputting an instruction to adopt as an image for transmission, and after displaying the processing result image on the display means of the transmission side terminal, from the selection operation means before the processing When an instruction to adopt an original image is input, the unprocessed original image stored in the original image storage unit is provided from the image processing server to the receiving terminal.
[0027]
An image processing system according to still another aspect of the present invention includes an image processing server connected to a communication line, a transmission-side terminal capable of transmitting / receiving compressed moving image data to / from each other via the image processing server, and reception An image processing system configured to perform image processing on the compressed moving image data received from the transmission side terminal via the communication line, and the image processing system. A connection maintenance control unit that maintains a communication connection with the transmission side terminal during image processing by the unit, and transmits the compressed moving image data after processing generated by the image processing unit to the reception side terminal, and Processing result transmission control means for transmitting the processed compressed video data to the transmission side terminal using the communication connection maintained by the connection maintenance control means. The transmission-side terminal includes an imaging unit that converts an optical image into an electrical signal, a communication unit that connects to the reception-side terminal and the image processing server via the communication line, and compression of a video imaged by the imaging unit. Communication control means for transmitting moving image data to the image processing server according to a predetermined communication protocol, signal processing means for restoring compressed moving image data received from the image processing server, and moving image restored by the signal processing means Display means for displaying.
[0028]
In this case, the transmitting terminal further includes parameter change operation means for performing an operation of changing an image processing parameter, and the image processing server performs the image processing according to the parameter changed by the parameter change operation means. The image processing by the means is performed, the compressed moving image data generated by the image processing reflecting the changed parameter setting is transmitted to the receiving side terminal, and the communication connection maintained by the connection maintenance control means is established. There is an aspect in which the control is performed to transmit the compressed moving image data indicating the processing result after changing the parameter to the transmitting terminal.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0030]
[First Embodiment]
FIG. 1 is a configuration diagram of an image processing system according to the first embodiment of the present invention. As shown in the figure, this system includes a plurality of mobile phones 1 and 2 that function as communication terminals, and an image processing server 4 that relays communication between these terminals. 4 is connected via a network (communication line) 6. The network 6 is, for example, a wide area communication line network represented by the Internet, and includes various communication line networks such as a telephone line network, a mobile phone line network, and a dedicated line network regardless of wired or wireless.
[0031]
The mobile phone 1 is provided with a camera unit 12, an antenna 14, a display 16, an earpiece 17, a mouthpiece 18, and an operation unit 20. The operation unit 20 includes a dial button 21, a call button 22, a call disconnect / power button 23, a cross button 24, an execution button 25 and other various operation means. The operation unit 20 is not limited to a push-type switch member, and may be configured as a dial member, a lever switch, or the like.
[0032]
The display 16 is composed of a liquid crystal display capable of color display. Of course, other types of display devices such as organic EL may be applied. Although not explicitly shown in FIG. 1, the mobile phone 1 is provided with a speaker (denoted by reference numeral 27 in FIG. 2) for outputting sound during moving image reproduction and various sound effects, and sound during moving image shooting. A microphone (described as reference numeral 28 in FIG. 2) for capturing is provided.
[0033]
The camera unit 12 shown in FIG. 1 is fixed to a predetermined position of the casing 29 of the mobile phone 1, but a mode in which the camera unit can be pivoted so that the photographing direction can be freely changed is also possible. Moreover, a mode in which a plurality of camera units are mounted is also possible.
[0034]
FIG. 2 is a block diagram showing the configuration of the mobile phone 1. As shown in the figure, the cellular phone 1 is generally composed of a central processing unit (CPU) 30, a memory 32, a voice processing unit 34, a transmission / reception circuit 36, a speaker 37 of the earpiece 17, and a microphone 38 of the mouthpiece 18. It has the necessary components to realize the telephone function.
[0035]
The CPU 30 functions as a control unit that controls the operation of the entire mobile phone 1 according to a predetermined program, and also functions as an arithmetic device that performs various calculations. That is, the CPU 30 controls each circuit in the mobile phone 1 based on a command signal input from the operation unit 20, and performs communication control, photographing operation control, image processing control, display 16 display control, and memory 32 read / write control. And capacity management (including detection of free capacity).
[0036]
The CPU 30 is connected to the memory 32 via the bus 39. The memory 32 is a block including a non-volatile memory area in which a program executed by the CPU 30 and various data necessary for control are stored, and a volatile memory area used as a program development area and a calculation work area of the CPU 30 It is. The non-volatile memory area is used as a data storage area for a telephone directory and a call history, and also as a storage area for voice and images. Information on processing parameters in the image processing function of the present invention is stored in a nonvolatile memory area. The volatile memory area is also used as a temporary storage area for image data.
[0037]
The audio processing unit 34 is a means for processing or converting an audio signal in cooperation with the CPU 30. The audio processing unit 34 performs decoding processing of data received from the transmission / reception circuit 36 and encoding processing of data transmitted through the transmission / reception circuit 36, output signal generation processing to the speakers 27 and 37, and output from the microphones 28 and 38. Performs encoding processing of the input audio signal.
[0038]
When a communication connection with the communication partner is established in the call mode (mode using the telephone function), the voice input from the microphone 28 is converted into an electric signal and sent to the voice processing unit 34. The audio processing unit 34 converts the audio signal input from the microphone 38 into a digital signal (A / D conversion), performs necessary signal processing, and converts it into audio data of a predetermined format. The audio data (data for transmission) processed by the audio processing unit 34 is sent to the transmission / reception circuit 36 via the bus 39, converted into a predetermined transmission signal format, and then transmitted from the antenna 14.
[0039]
The signal received by the antenna 14 is demodulated by the transmission / reception circuit 36 and sent to the audio processing unit 34. The audio processing unit 34 converts the audio signal received from the transmission / reception circuit 36 into audio data in a predetermined format. The audio data (received data) generated by the audio processing unit 34 is converted into an analog audio signal (D / A conversion) and then sent to the speaker 37. Thus, the voice of the other party is audibly output from the speaker 37. Of course, the cellular phone 1 can transmit and receive various data such as image data, document data, and program data by using not only voice data but also an electronic mail function and an Internet browser function.
[0040]
Further, the cellular phone 1 includes a photographing lens 40 and a CCD image sensor (hereinafter referred to as CCD) 42, an analog processing unit 44 for processing an image signal obtained from the CCD 42, an A / D converter 45, an image. A processing unit 46 and a compression / decompression unit 47 are provided. In this example, a CCD is used as the image pickup element. However, the device is not limited to the CCD type, and other types of devices such as a CMOS type may be used.
[0041]
The light that has passed through the photographing lens 40 is focused on the light receiving surface of the CCD 42. A large number of photosensors (light receiving elements) are arranged in a plane on the light receiving surface of the CCD 42, and red (R), green (G), and blue (B) primary color filters are arranged in a predetermined arrangement corresponding to each photosensor. Arranged in structure. A color filter such as CMY can be used instead of the RGB color filter.
[0042]
The subject image formed on the light receiving surface of the CCD 42 is converted into a signal charge of an amount corresponding to the amount of incident light by each photosensor. The CCD 42 has an electronic shutter function that controls the charge accumulation time (shutter speed) of each photosensor according to the timing of the shutter gate pulse.
[0043]
The signal charges accumulated in each photosensor of the CCD 42 correspond to the signal charges on the basis of pulses (horizontal drive pulse φH, vertical drive pulse φV, overflow drain pulse) given from the timing generator (TG) 48 in accordance with instructions from the CPU 30. It is sequentially read out as a voltage signal (image signal). The image signal output from the CCD 42 is sent to the analog processing unit 44, and after necessary processing such as correlated double sampling (CDS) processing and gain adjustment, it is converted into a digital signal by the A / D converter 45. Is done. The digitized image data is sent to the image processing unit 46.
[0044]
The image processing unit 46 includes a synchronization circuit (a processing circuit that calculates the color of each point by interpolating a spatial shift of the color signal associated with the color filter array of the single CCD), a luminance / color difference signal generation circuit, and a gamma correction. The digital image signal processing means includes a circuit, a contour correction circuit, a white balance correction circuit, and the like, and processes an image signal while utilizing the memory 32 in accordance with a command from the CPU 30.
[0045]
The image processing unit 46 has been generated by performing predetermined processing such as white balance adjustment processing, gamma conversion processing, conversion processing to luminance signals (Y signals) and color difference signals (Cr, Cb signals) (YC processing). The image data is temporarily stored in the memory 32. Here, in the case where the image being shot is displayed on the display 16, the contents of the memory 32 are read out and sent to the display circuit 50, converted into a display signal format by the display circuit 50, and then supplied to the display 16. . As a result, the real-time video (through image) captured by the CCD 42 is displayed on the display 16, and the photographer can check the shooting angle of view (composition) from the display video on the display 16.
[0046]
When a photographing button on the operation unit 20 (for example, the execution button 25 is also used) is pressed, the CPU 30 detects this and performs a recording photographing operation. That is, exposure control of the CCD 42 and charge read-out control are performed in response to pressing of the photographing button. The image data for recording thus captured is subjected to YC processing and other predetermined signal processing in the image processing unit 46, and then sent to the compression / decompression unit 47, where it is compressed according to a predetermined compression format (for example, JPEG format). Is done. The compressed image data is stored in the image storage area of the memory 32.
[0047]
When the moving image shooting mode is selected, the recording operation starts when the shooting button is pressed, and then the moving image recording operation stops when the shooting button is pressed again. Note that the recording operation may be performed while the shooting button is continuously pressed, and the recording may be stopped by releasing the pressing.
[0048]
The sound at the time of moving image shooting is detected by the microphone 28, and the detection signal (audio signal) is converted into a predetermined signal format by the audio processing unit 34. The audio data is compressed together with the image data in the compression / decompression unit 47 according to a predetermined compression format (for example, MPEG format) and then recorded in the memory 32.
[0049]
At the time of image reproduction, image file data is read from the memory 32 in response to a user file selection operation or automatically. The compressed data read from the memory 32 is decompressed by the compression / decompression unit 47, converted into a display signal via the display circuit 50, and then output to the display. Thereby, the image content of the file is displayed on the display.
[0050]
The configuration of the mobile phone denoted by reference numeral 2 in FIG. 1 is the same as or similar to the configuration of the mobile phone 1 described above, and thus the description thereof is omitted.
[0051]
FIG. 3 is a functional block diagram showing the main part of the image processing server 4. The image processing server 4 includes a communication unit 52, a control unit 53, a memory 54, and an image processing unit 55. The communication unit 52 performs signal conversion and communication control for transmitting and receiving data according to a predetermined communication protocol (for example, TCP) between the mobile phones 1 and 2 connected via the network 6. That is, the communication unit 52 is a unit that functions as an input unit and an output unit for image data.
[0052]
The control unit 53 controls the operation of the entire server including the communication unit 52. The memory 54 stores image data and other data under the control of the control unit 53. The image processing unit 55 is a processing unit including an image unit that performs transformation, replacement, synthesis, correction, and other conversion processing on an input image (processed image) in accordance with set processing parameters.
[0053]
As shown in FIG. 3, the data of the original image (processed image) 60 sent from the mobile phone 1 is input to the image processing server 4 via the communication unit 52, and the image processing unit via the control unit 53. 55.
[0054]
The image processing unit 55 performs image processing on the original image based on the image processing parameter specified by the control unit 53, and generates a processing result image (converted image) reflecting the parameter. The processing contents include various items such as brightness correction, contour emphasis correction, color correction, and pasting image synthesis, and adjustment values and the like are defined for each processing.
[0055]
The processing result image 62 generated by the image processing unit 55 is stored in the memory 54 in the image processing server 4 and is transmitted to the transmission source mobile phone 1 via the communication unit 52. The processing result image 62 sent out from the image processing server 4 is received by the mobile phone 1, and after necessary restoration processing is performed in the mobile phone 1, the image content is displayed on the display 16. The sender can confirm the processing result image 62 on the display 16 and can change the image processing parameters as necessary.
[0056]
Parameter information 63 input from the mobile phone 1 is input to the control unit 53 via the communication unit 52. The control unit 53 corrects the processing content of the image processing unit 55 based on the changed parameter. The processing result reflecting the parameter change is returned to the mobile phone 1 and displayed on the display 16 of the mobile phone 1.
[0057]
After confirming the processing result, if the image is OK, the mobile phone 1 sends a signal (transmission permission signal) indicating that to the image processing server 4. When the image processing server 4 receives the transmission permission signal from the cellular phone 1, it transmits the processing result image 62 in the memory 54 to the designated transmission destination in response to the transmission permission signal.
[0058]
Next, the operation of the image processing system configured as described above will be described.
[0059]
FIG. 4 is a flowchart showing the operation of this system. The mobile phone 1 on the sender side is connected to the mobile operator and transmits an image (in this case, a still image) to the image processing server 4 (step S110). The image transmission method may include an aspect in which an image is attached to an e-mail and the image is uploaded to the image processing server 4. Note that the image transmitted from the mobile phone 1 is not limited to the image captured by the camera unit 12 but may be an image received from the outside by e-mail or the like.
[0060]
Even after image transmission, the TCP connection between the mobile phone 1 of the transmission source and the image processing server 4 is maintained. The image processing server 4 receives the image sent from the mobile phone 1, and stores the image (original image) in the memory 54 (step S112). Thereafter, the image processing server 4 sends the received image to the image processing unit 55 and performs image processing (step S114). In the course of image processing, receiving terminal information is acquired as necessary, and image size adjustment (resizing) and the number of colors are determined in accordance with the specifications of the receiving terminal (step S116). The terminal information on the receiving side may be transmitted from the mobile phone 1 or 2, or may be registered in advance by a procedure such as user registration.
[0061]
Thus, when the required image processing is performed in the image processing server 4 and an image of the processing result is generated, the result image is stored in the memory 54 and is also stored in the image processing server using the maintained TCP connection. 4 is returned to the source mobile phone 1 (step S118). The mobile phone 1 receives the processing result image returned from the image processing server 4 (step S120), restores the image data, and displays the image data in a small size in the lower right corner of the display 16 (see step S122, FIG. 1). . FIG. 1 shows a state where a slightly dark original image is converted into a bright image by image processing.
[0062]
According to the screen example of FIG. 1, the processing result image is displayed in the small screen window 70 in the display 16, but the display method of the processing result is not limited to this example. There are various modes such as display screen switching, and a desired display method may be selected from a plurality of display methods.
[0063]
At this time, as shown in FIG. 1, a command menu 71 for “further processing” and a command menu 72 for “send OK” are displayed at the bottom of the screen of the display 16. These menu displays mean that the function “further processing button” is assigned to the operation button 73 and the function “send OK button” is assigned to the operation button 74.
[0064]
The sender confirms the display on the display 16 and presses the “send OK button” (operation button 74) if the displayed processing result is acceptable. The CPU 30 of the mobile phone 1 detects an input from the operation unit 20, and determines whether or not the processing result is OK (step S124 in FIG. 4). When the “send OK button” is pressed, the information is sent from the mobile phone 1 to the image processing server 4. The image processing server 4 receives the OK information (transmission permission) from the cellular phone 1 and completes the image processing (step S126), and transmits the processing result image stored in the memory 54 to the cellular phone 2 on the receiver side. (Step S140). The mobile phone 2 on the receiver side receives the image sent from the image processing server 4 (step S142), and displays the received image on the display (step S144).
[0065]
On the other hand, if the sender who has confirmed the processing result image displayed in step S122 is not satisfied with the processing result, the user presses the “further processing button” (operation button 73) to move to the parameter change input screen. Make adjustments.
[0066]
That is, when the “further process button” is pressed, a NO determination is made in step S124, and the process proceeds to step S130. In step S130, an operation for further adjusting the processing parameters based on the parameters used in the previous processing is accepted. For example, a step adjustment rate of 0, ± 1, ± 2 is defined for brightness correction and sharpness, and the user operates the +/− button (also used with the up and down keys of the cross button 24) as desired. Parameters can be entered. If the parameter value used in the previous process is “+1”, add “+1” to the value to correct it to “+2”, or adjust −1 from “+2”. It can be modified to “+1”.
[0067]
When parameter adjustment is performed in step S130, the information is sent to the image processing server 4. After acquiring the changed parameter information (step S132), the image processing server 4 returns to step S114 and performs image processing based on the changed parameter. At this time, the image processing server 4 uses the processed image stored in the memory 54 as basic data and adds processing according to the parameters set by the user. The converted image after processing is returned to the transmission source mobile phone 1 in step S118 and displayed on the display 16.
[0068]
By repeating this operation (steps S114 to S132), an image of an expression intended by the sender can be obtained. When an image that the sender seems to be happy with is obtained, the “send OK button” is pressed to end the process. Thus, the image processing server 4 transmits the processed image to the receiving-side mobile phone 2 that is the transmission destination in accordance with the selection of the sender.
[0069]
[Second Embodiment]
Next, a second embodiment of the present invention will be described.
[0070]
FIG. 5 is a flowchart showing the operation of the image processing system according to the second embodiment. Since the system configuration is similar to that of the first embodiment described above, description thereof is omitted.
[0071]
As shown in FIG. 5, the mobile phone 1 on the sender side connects to the mobile operator and transmits an image to the image processing server 4 according to a predetermined communication protocol (for example, TCP) (step S210). Even after image transmission, the TCP connection between the image processing server 4 and the mobile phone 1 is maintained. The image processing server 4 on the operator side receives the image (original image) sent from the mobile phone 1 and inputs it to the image processing device in the server (step S212). The image processing server 4 stores the input original image before processing in the memory 54 (step S214), and performs image processing on the input original image (step S216).
[0072]
When the processing result image is generated, the result image is stored in the memory 54 (step S218), and is returned from the image processing server 4 to the transmission source mobile phone 1 using the maintained TCP connection. (Step S220).
[0073]
The mobile phone 1 receives the processing result image returned from the image processing server 4 (step S222), restores the image data, and displays it on the display 16 (step S224).
[0074]
The sender confirms the display on the display 16 and presses the “send OK button” (operation button 74) if the displayed processing result is acceptable. On the other hand, if it is determined from the processing result that it is not desired to perform processing on this image, an operation of selecting a “do not process” command menu (not shown) is performed. The CPU 30 of the mobile phone 1 detects an input from the operation unit 20 and transmits a signal corresponding to the operation to the image processing server 4 (step S226).
[0075]
The image processing server 4 determines the signal received from the mobile phone 1 (step S228) and performs processing according to the instruction. That is, when the “transmission OK” command signal indicating that the processing result is adopted is received, the processing result image is read from the memory 54 (step S230) and transmitted to the transmission destination (step S234).
[0076]
On the other hand, if a “do not process” command signal indicating that the original image before processing is adopted is received in step S228, the original image before processing stored in the memory 54 is read (step S232). This is transmitted to the transmission destination (step S234). In this way, image transmission to the transmission destination is performed, and the process is terminated.
[0077]
[Third Embodiment]
Next, a third embodiment of the present invention will be described.
[0078]
FIG. 6 is a configuration diagram of an image processing system according to the third embodiment of the present invention. 6, parts that are the same as or similar to those in FIG. 1 are given the same reference numerals, and descriptions thereof are omitted. This system is a system (so-called videophone system) for performing communication while transmitting video and audio to and from each other between two camera-equipped mobile phones 1 and 2.
[0079]
Video captured by the camera unit 12 of the mobile phone 1 is sent to the mobile phone 2 on the other side via the image processing server 4 and displayed on the display 80 of the mobile phone 2. Similarly, an image taken by the camera unit 82 of the mobile phone 2 is displayed on the display 16 of the mobile phone 1.
[0080]
The image processing server 4 functions as a moving image processing apparatus that performs image processing of moving image data transmitted and received between the mobile phones 1 and 2. In a field such as a video phone, since real-time communication is required, it is necessary to quickly perform image processing such as correction processing for improving image quality. For this reason, the image processing server 4 includes a moving image processing apparatus capable of performing high-speed image processing on moving image data (referred to as compressed moving image data) digitally compressed by a compression technique such as MPEG in a compression space.
[0081]
MPEG, which is becoming a standard in the moving picture industry, and ITU-T H.264 used in videophones and the like. 261 and ITU-T H.264. 263, moving image data compressed by a compression method such as Nancy, which is adopted as a moving image compression standard for mobile phones, is an intra frame formed by data independent of the data of other frames, and data of other frames And an interframe formed by a difference with respect to. In such a case, if image quality correction is performed on an intra frame, an inter frame that depends on the intra frame is also corrected.
[0082]
For example, compressed moving image data in the MPEG format is composed of three types of frames: I frame, P frame, and B frame. The I frame is an intra frame, the P frame is an inter frame that depends only on the data of the previous frame, and the B frame is an inter frame that depends on both the frames before and after the I frame.
[0083]
FIG. 7 is a block diagram illustrating a configuration of the moving image processing apparatus 100 installed in the image processing server 4. As shown in the figure, the moving image processing apparatus 100 decodes the compressed moving image data G into an intra frame G0 and an inter frame G1, and decodes the intra frame G0 obtained by the frame separating unit 102. A decoding unit 104 that obtains a decoded intra frame G01, a correction unit 106 that performs a correction process or other image processing on the decoded intra frame G01 to obtain a processed decoded intra frame G02, and encodes the processed decoded intra frame G02 An encoding unit 108 that obtains a processed intra frame G03 and a synthesizing unit 110 that combines the processed intra frame G03 and the inter frame G1 to obtain a processed moving image G ′.
[0084]
With this configuration, the compressed moving image data is separated into an intra frame and an inter frame, and only the intra frame is decoded, image processed, and encoded to obtain a processed intra frame, and these processed intra frames are obtained. Then, the processed compressed moving image data is generated by combining the non-processing target interframe.
[0085]
Since only a part of the compressed moving image data is decoded, image processed, and encoded, the processing time can be shortened. Further, although the image processing is not directly performed on the inter frame, if the intra frame is corrected, the inter frame depending on the inter frame is indirectly processed.
[0086]
Note that the method of performing image processing in the MPEG space is not limited to the method described in FIG. For example, an intra frame (I frame) that does not depend on other frames for compressed video data, an inter frame (P frame) that does not depend on other frames, and an inter frame (P frame) that depends on other frames. B frame), and only the I frame and P frame are decoded, processed, and encoded to obtain processed frames, and the processed frames and B frames are combined. The compressed video data that has already been generated may be generated.
[0087]
In order to perform image processing, it is necessary to first decode the correction target portion by the decoding means. At this time, it is preferable to perform only decoding processing to the extent that image processing can be performed. The compression of moving image data is usually performed in stages. When decoding, moving picture data is decoded in stages by performing inverse operations at each stage in the reverse order of compression. For example, when MPEG compressed moving image data is decoded, the compressed moving image data is subjected to variable length decoding, the variable length decoded data is divided into motion vectors, DCT coefficients, etc., and then the inverse of motion compensated prediction and DCT conversion is performed. This requires a procedure such as IDCT conversion. On the other hand, since the DCT coefficient can be corrected in the image quality correction process, the decoding unit does not perform IDCT conversion, the DCT coefficient is supplied to the image processing unit (correction unit), and the correction unit processes the DCT coefficient. Can be applied. Further, when encoding later, the corrected DCT coefficient is used and there is no need to newly obtain a DCT coefficient, so that the encoding time can be shortened.
[0088]
Furthermore, there are the following methods. Image data compressed by MPEG includes a DCT coefficient and a motion vector for each frame in addition to header information indicating whether it is an intra frame or an inter frame. A motion vector is also required when decoding such compressed moving image data, or when encoding after performing processing such as image quality correction after decoding. Despite the fact that motion vectors do not significantly affect image quality such as gradation, the amount of computation for obtaining motion vectors during encoding is enormous, so decoding does not require new motion vectors when encoding. There is also an aspect in which the processing time is shortened by using the motion vector obtained at the time of encoding.
[0089]
Next, the operation of the image processing system according to the third embodiment configured as described above will be described. Here, the mobile phone 1 is described as the transmitting side, and the mobile phone 2 is described as the receiving side. However, in this system, the relationship between the transmitting side and the receiving side can be interchanged.
[0090]
FIG. 8 is a flowchart showing the operation of the system according to the third embodiment. First, a mobile phone 1 having a videophone function is used to connect to a communication partner and a videophone is started (step S310). The mobile phone 1 on the transmission side maintains a TCP connection with the image processing server 4. As described above, the image processing server 4 includes the moving image processing apparatus 100 capable of performing image processing at high speed in the MPEG space, and the compressed moving image data moving image transmitted from the transmitting-side mobile phone 1. The image is taken into the image processing apparatus (step S312).
[0091]
The image processing server 4 starts image processing (step S314), transmits the processed image to the mobile phone 2 (reception side terminal) as the communication partner, and is also maintained by the mobile phone 1 on the transmission side as the transmission source. The moving image of the processing result is transmitted using the TCP connection (step S316).
[0092]
The mobile phone 2 of the communication partner receives the moving image data sent from the image processing server 4 (step S318), restores it, and displays it on the display 80 (step S320).
[0093]
On the other hand, the transmitting-side mobile phone 1 receives the processing result sent from the image processing server 4 (step S322), restores it, and displays it on the screen of the display 16 (step S324, FIG. 6).
[0094]
According to the screen example shown in FIG. 6, the processed image is displayed in a small window 84 (for example, with a 1/6 size) at the lower right of the screen of the display 16. Thereby, the sender can confirm the processing result in real time, and can grasp what kind of image is currently sent to the other party.
[0095]
In the other display area (main display section) of the display 16, an image (moving image) of the other party sent from the mobile phone 2 of the other party of communication is displayed. The image being sent can be simultaneously confirmed on the display 16. The display method of the processing result is not limited to this example, and there are various modes such as splitting up and down, splitting left and right, switching display screens, and the like so that a desired display method can be selected from a plurality of display methods. May be.
[0096]
At this time, as shown in FIG. 6, a “further processing” command menu 71 is displayed at the lower left of the screen of the display 16. This menu display means that the function of “further processing button” is assigned to the operation button 73.
[0097]
If the sender who has confirmed the processing result displayed on the display 16 determines that he / she wants to change the processing contents, he / she presses the “further processing button” (operation button 73). When the “further processing button” is pressed, a sub menu 86 for setting parameter values of various parameters as shown in the figure is displayed on the display 16. The sender selects a desired item from the submenu 86 and adjusts the parameters.
[0098]
For example, for the processing items such as “brighten”, “sharp”, “suppress flicker”, “thinner”, “thicken”, etc., five levels of adjustment rates of 0, ± 1, ± 2 are defined respectively. The user can specify the parameter value by operating the +/− button (also used with the up and down keys of the cross button 24) according to his / her preference. For the item “change hairstyle”, a plurality of part images for pasting synthesis corresponding to various hair styles are prepared, and a desired type can be selected from them.
[0099]
The sender inputs an instruction from the operation unit 20 as necessary. The CPU 30 of the cellular phone 1 detects an input from the operation unit 20 and controls the process according to the determination of the input instruction content (step S326 in FIG. 8). When the “further processing button” is not pressed, it is determined that the current processing result is OK. Of course, a command menu (not shown) indicating that “this is OK” may be selected, and the determination may be made based on the selection of the menu.
[0100]
If it is determined in step S326 that the processing content is acceptable, the processing by the current processing parameter setting is continued in the image processing server 4 (step S328).
[0101]
On the other hand, if the processing result is not satisfactory, the sender presses the “further processing button” to set parameters (step S330). When parameter adjustment is performed in step S330, the information is sent to the image processing server 4. After acquiring the changed parameter information, the image processing server 4 returns to step S312 and performs image processing based on the changed parameter.
[0102]
The converted image after processing is transmitted to the mobile phone 2 of the communication partner and is returned to the mobile phone 1 of the transmission source and displayed on the display 16 (steps S314 to S324).
[0103]
By repeating this operation (steps S312 to S330), the sender can set parameter values until he / she likes his / her favorite image while immediately confirming the processed image on the display 16 at hand.
[0104]
If the processing content is determined, the call is maintained as it is (step S328). Thereafter, when the call is finished and the connection is disconnected (step S332), the process is finished (step S334).
[0105]
In each of the above-described embodiments, a mobile phone is exemplified as a communication terminal. However, the scope of application of the present invention is not limited to this, and the present invention can also be applied to various mobile terminals such as a PDA and a mobile personal computer.
[0106]
【The invention's effect】
As described above, according to the present invention, communication between a transmission side terminal and an image processing server is performed in a system in which an image sent from a transmission side terminal is subjected to image processing by an image processing server and the processing result is provided to a transmission destination. After maintaining the connection and returning the processing result from the image processing server to the transmission source terminal using the maintained connection, the processing result image is provided to the transmission destination after obtaining the transmission permission from the transmission side terminal. As a result, the sender can confirm the processed image before transmitting the processed image to the transmission destination, and can input transmission permission or adjustment of the processing parameter after seeing the processing result. it can.
[0107]
According to another aspect of the present invention, the original image before processing is stored in the image processing server, and when the sender who has confirmed the processing result determines that he / she does not want to perform processing on this image, this is the case. Is input, instead of the image of the processing result, the original image before processing is provided to the transmission destination. Therefore, either the image of the processing result or the original image before processing is selectively selected. It is possible to provide.
[0108]
According to still another aspect of the present invention, in transmission / reception of moving image data between terminals using a so-called videophone function, an image processed by the image processing server is transmitted not only on the partner side (receiver side) but also on the other side. Since it is also displayed on the original terminal, the sender can communicate while checking the processing result.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image processing system according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing the configuration of the mobile phone shown in FIG.
3 is a functional block diagram showing the main part of the image processing server shown in FIG.
FIG. 4 is a flowchart showing the operation of the image processing system of this example.
FIG. 5 is a flowchart showing the operation of the image processing system according to the second embodiment of the present invention.
FIG. 6 is a configuration diagram of an image processing system according to a third embodiment of the present invention.
7 is a block diagram showing a configuration of a moving image processing apparatus installed in the image processing server shown in FIG. 6;
FIG. 8 is a flowchart showing the operation of the image processing system according to the third embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1, 2 ... Mobile phone, 4 ... Image processing server, 6 ... Network, 12 ... Camera part, 16 ... Display, 20 ... Operation part, 24 ... Cross button, 30 ... CPU, 32 ... Memory, 42 ... CCD, 52 ... Communication unit 53... Control unit 54 54 Memory 55 Image processing unit 80 Display 82 Camera unit

Claims

Connecting from the sending terminal to the image processing server via a communication line;
Transmitting an image from the transmitting terminal to the image processing server;
Processing the image received from the transmitting terminal in the image processing server;
Maintaining a communication connection between the transmitting terminal and the image processing server during image processing by the image processing server;
Storing the processing result image generated by the image processing in a storage device of the image processing server;
Transmitting the processing result image to the transmitting terminal using the maintained communication connection;
Displaying the processing result image received from the image processing server on a display device of the transmitting terminal;
Receiving an instruction input from the operation unit of the transmission side terminal, and sending information corresponding to the instruction input from the operation unit to the image processing server;
A step of providing the processing result image stored in the storage device from the image processing server to a transmission destination when an instruction indicating permission to transmit the processing result image is input from the operation unit of the transmission side terminal;
An image processing method comprising:

When an instruction to change an image processing parameter is input from the operation unit at the time of receiving an instruction input from the operation unit, the image processing server performs image processing according to the changed parameter;
Storing the processing result image generated by the image processing reflecting the changed parameter setting in a storage device of the image processing server;
Transmitting the processing result image after the parameter change to the transmitting terminal using the maintained communication connection;
Displaying the processing result image after the parameter change sent from the image processing server on a display device of the transmitting terminal;
The image processing method according to claim 1, further comprising:

Storing an unprocessed original image received from the transmitting terminal in a storage device of the image processing server;
After the processing result image is displayed on the display device, when an instruction to adopt an image before processing is input from the operation unit of the transmitting terminal, the processing stored in the storage device Providing a previous original image from the image processing server to the destination;
The image processing method according to claim 1, further comprising:

The transmission-side terminal and the reception-side terminal each have an imaging unit, and are applied to a communication system that can transmit and receive compressed moving image data of video captured by the imaging unit of each terminal using a communication line. An image processing method comprising:
Establishing a communication connection between the transmitting terminal and the receiving terminal, and starting delivery of compressed video data to each other;
Maintaining a communication connection between the image processing server connected to the communication line and the transmitting terminal;
Sending compressed video data from the transmitting terminal to the image processing server;
Processing the compressed moving image data received from the transmission side terminal in the image processing server;
The compressed moving image data after processing generated by the image processing is transmitted from the image processing server to the receiving terminal as a communication partner, and the compressed moving image after processing is transmitted using the maintained communication connection. Transmitting image data to the transmitting terminal;
Restoring the processed compressed video data received from the image processing server and displaying the image on the display device of the transmitting terminal;
An image processing method comprising:

When a moving image indicating the result after the processing is displayed on the display device, an input of an instruction to further change an image processing parameter is received, and information according to the instruction input from the operation unit of the transmission side terminal is received. Sending to the image processing server;
When an instruction to change the image processing parameter is input from the operation unit of the transmission side terminal, the step of executing image processing in the image processing server according to the changed parameter;
The processing result compressed moving image data generated by the image processing reflecting the changed parameter setting is transmitted from the image processing server to the receiving terminal, and the maintained communication connection is used to transmit the compressed moving image data. A step of transmitting the compressed moving image data based on the processing result after the parameter change from the image processing server to the transmitting terminal;
Restoring compressed moving image data based on the processing result after the parameter change received from the image processing server, and displaying the image on the display device;
The image processing method according to claim 4, further comprising:

A transmission side terminal provided with a communication means for connecting to a communication line, an image processing server for processing image data received from the transmission side terminal via the communication line, and an image of a processing result generated by the image processing server An image processing system comprising: a receiving terminal that receives data via the communication line;
The image processing server includes image processing means for processing image data received from the transmission side terminal via the communication line;
Connection maintenance control means for maintaining a communication connection with the transmission side terminal during image processing by the image processing means;
Storage means for storing the processing result image generated by the image processing means;
Processing result reply control means for transmitting the processing result image to the transmitting terminal using the communication connection maintained by the connection maintenance control means;
When an instruction indicating permission to transmit the processing result image is input from the transmission side terminal after the processing result image is returned to the transmission side terminal by the processing result reply control unit, the storage unit stores the storage result. Processing result provision control means for providing a processing result image to the receiving terminal;
With
The transmission side terminal is connected to the image processing server via the communication line, and communication control means for transmitting an image to the image processing server;
Display means for displaying the processing result image received from the image processing server;
Instruction input operation means for inputting an instruction indicating permission to transmit the processing result image displayed on the display means;
An image processing system comprising:

The transmission side terminal has a parameter change operation means for performing an operation of changing an image processing parameter,
The image processing server performs image processing by the image processing unit in accordance with the parameter changed by the parameter changing operation unit, and a processing result image generated by image processing reflecting the changed parameter setting is stored in the storage unit The image processing system according to claim 6, wherein the processing result image after the parameter change is transmitted to the transmission side terminal using the communication connection stored and maintained.

The image processing server comprises original image storage means for storing an original image before processing received from the transmission side terminal,
The transmission side terminal includes a selection operation means for inputting an instruction to adopt the image before processing as an image for transmission,
After the processing result image is displayed on the display unit of the transmission side terminal, when an instruction to adopt the original image before the processing is input from the selection operation unit, the instruction is stored in the original image storage unit. The image processing system according to claim 6, wherein the original image before processing is provided from the image processing server to the receiving terminal.

An image processing system comprising: an image processing server connected to a communication line; and a transmission side terminal and a reception side terminal capable of transmitting / receiving compressed moving image data to / from each other via the image processing server,
The image processing server, image processing means for image processing the compressed moving image data received from the transmission side terminal via the communication line;
Connection maintenance control means for maintaining a communication connection with the transmission side terminal during image processing by the image processing means;
The compressed moving image data after processing generated by the image processing means is transmitted to the receiving side terminal, and the compressed moving image data after processing is transmitted using the communication connection maintained by the connection maintenance control means. Processing result transmission control means for transmitting to the transmission side terminal;
With
The transmitting terminal includes an imaging unit that converts an optical image into an electrical signal;
Communication means for connecting to the receiving terminal and the image processing server via the communication line;
Communication control means for transmitting compressed moving image data of the video imaged by the imaging means to the image processing server;
Signal processing means for restoring compressed video data received from the image processing server;
Display means for displaying the moving image restored by the signal processing means;
An image processing system comprising:

The transmission side terminal has a parameter change operation means for performing an operation of changing an image processing parameter,
The image processing server performs image processing by the image processing unit according to the parameter changed by the parameter change operation unit, and receives the compressed moving image data generated by image processing reflecting the changed parameter setting And transmitting the compressed moving image data indicating the processing result after the parameter change to the transmitting terminal using the communication connection maintained by the connection maintaining control means. The image processing system according to claim 9.

A communication means for communicating with a transmitting terminal and a receiving terminal via a communication line;
Image processing means for processing image data received from the transmitting terminal via the communication line;
Connection maintenance control means for maintaining a communication connection with the transmission side terminal during image processing by the image processing means;
Storage means for storing the processing result image generated by the image processing means;
Processing result reply control means for transmitting the processing result image to the transmitting terminal using the communication connection maintained by the connection maintenance control means;
When an instruction indicating permission to transmit the processing result image is input from the transmission side terminal after the processing result image is returned to the transmission side terminal by the processing result reply control unit, the instruction is stored in the storage unit. Processing result provision control means for providing the processing result image to the receiving terminal;
An image processing server comprising:

When an instruction to change the setting of image processing parameters is input from the transmission side terminal after returning the processing result image to the transmission side terminal, image processing by the image processing unit is performed according to the changed parameter. The processing result image generated by the image processing reflecting the changed parameter setting is stored in the storage unit, and the processed result image after the parameter change is transmitted using the maintained communication connection. The image processing server according to claim 11, wherein the image processing server transmits the image to a side terminal.

Comprising original image storage means for storing an original image before processing received from the transmission side terminal;
When an instruction to adopt the original image before processing as an image for transmission is input from the transmission side terminal after returning the processing result image to the transmission side terminal by the processing result reply control unit, 12. The image processing server according to claim 11, wherein the original image stored in the original image storage means is provided to the receiving-side terminal.

A communication means for communicating with a transmitting terminal and a receiving terminal via a communication line;
Image processing means for image processing the compressed moving image data received from the transmission side terminal via the communication line;
Connection maintenance control means for maintaining a communication connection with the transmission side terminal during image processing by the image processing means;
The processed compressed video data generated by the image processing means is transmitted to the receiving terminal, and the compressed video data after the processing is transmitted using the communication connection maintained by the connection maintenance control means. Processing result transmission control means for transmitting to the transmission side terminal;
An image processing server comprising:

When an instruction to change the setting of the image processing parameter is input from the transmission side terminal after providing the processed compressed video data to the transmission side terminal, the image processing unit performs the processing according to the changed parameter. Performs image processing, transmits the compressed moving image data generated by the image processing reflecting the changed parameter setting to the receiving side terminal, and uses the communication connection maintained by the connection maintenance control means 15. The image processing server according to claim 14, wherein control is performed to transmit compressed moving image data indicating a processing result after the parameter change to the transmission side terminal.

A communication means for connecting to a communication line;
Communication control means for transmitting an image to an image processing server connected to the communication line;
Connection maintenance control means for maintaining a communication connection with the image processing server when the image processing server performs image processing of the image;
Display means for displaying a processing result image after image processing received from the image processing server;
Instruction input operation means for inputting an instruction indicating permission to transmit the processing result image displayed on the display means;
A communication terminal comprising:

And a parameter changing operation unit for performing an operation for changing the image processing parameter. When an instruction to change the image processing parameter is input by the parameter changing operation unit, image processing by the image processing server is performed according to the changed parameter. The communication terminal according to claim 16, wherein an image of a processing result generated by image processing reflecting the changed parameter setting is displayed on the display means.

A selection operation means for inputting an instruction to adopt the original image before processing as an image for transmission after displaying the processing result image on the display means;
When an instruction to adopt the unprocessed original image is input from the selection operation unit, the unprocessed original image stored in the original image storage unit in the image processing server is transmitted from the image processing server. A communication terminal provided to the receiving terminal.

Imaging means for converting an optical image into an electrical signal;
A communication means for connecting to a communication partner terminal and an image processing server via a communication line;
Communication control means for transmitting compressed moving image data of the video imaged by the imaging means to the image processing server;
Connection maintenance control means for maintaining communication connection with the image processing server when image processing of the compressed moving image data is performed by the image processing server;
Signal processing means for restoring the compressed moving image data after image processing sent back from the image processing server and the compressed moving image data of the other side sent from the terminal of the communicating party;
Display means for displaying the processing result image on the transmission side restored by the signal processing means and the image on the other side;
A communication terminal comprising:

And a parameter changing operation unit for performing an operation for changing the image processing parameter. When an instruction to change the image processing parameter is input by the parameter changing operation unit, image processing by the image processing server is performed according to the changed parameter. 20. The communication terminal according to claim 19, wherein a moving image showing an image processing result reflecting the changed parameter setting is displayed on the display means.