JP2004328318A - カメラ付携帯端末用の画像合成システム - Google Patents
カメラ付携帯端末用の画像合成システム Download PDFInfo
- Publication number
- JP2004328318A JP2004328318A JP2003119436A JP2003119436A JP2004328318A JP 2004328318 A JP2004328318 A JP 2004328318A JP 2003119436 A JP2003119436 A JP 2003119436A JP 2003119436 A JP2003119436 A JP 2003119436A JP 2004328318 A JP2004328318 A JP 2004328318A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- cutout
- area
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
【課題】マンマシンインターフェイスが貧弱なカメラ付携帯端末でも、利用者の意図が充分反映される切り抜き処理が可能となるカメラ付携帯端末用の画像合成システムの提供。
【解決手段】利用者がカメラ付携帯電話機２を操作して複数の指定ポイントを指定すると、指定されたポイントについての指定ポイントデータを生成してサーバー３へ送信する指定ポイントデータ生成手段２４をカメラ付携帯電話機２に設け、サーバー３側で、切り抜き部の領域を再構築するにあたり、利用者が指定した指定ポイントを直線で相互に結び、折れ線上の領域を形成するようにする。これにより、容易な操作で利用者が意図する切り抜き部を生成できるようにする。
【選択図】 図２
【解決手段】利用者がカメラ付携帯電話機２を操作して複数の指定ポイントを指定すると、指定されたポイントについての指定ポイントデータを生成してサーバー３へ送信する指定ポイントデータ生成手段２４をカメラ付携帯電話機２に設け、サーバー３側で、切り抜き部の領域を再構築するにあたり、利用者が指定した指定ポイントを直線で相互に結び、折れ線上の領域を形成するようにする。これにより、容易な操作で利用者が意図する切り抜き部を生成できるようにする。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラが内蔵されたカメラ付携帯端末で撮影した画像を一部を切り抜いて他の画像に貼り付ける等の画像合成を行うカメラ付携帯端末用の画像合成システムに関する。
【０００２】
【従来の技術】
従来から、携帯電話やＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ Ｐｈｏｎｅ−ｓｙｓｔｅｍ）等の移動体通信を行うための携帯端末が多用されている。
このような携帯端末は、通話を行うにあたり、ケーブルやワイヤを全く必要とせず、通話サービス可能なエリア内であれば、屋外及び屋内を問わず通話が可能となっているうえ、インターネットに接続すれば、様々な情報の交換が可能な携帯端末としても利用できる。
【０００３】
また、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ ）やハンドヘルドコンピュータ等の小型情報端末装置も広く利用されている。
ここで、携帯電話やＰＨＳ等の通信網に接続するための通信インターフェイスを小型情報端末装置に設ければ、ケーブルやワイヤによる接続が全く行えない場所でも通信可能となるので、小型情報端末装置も、屋外及び屋内を問わずに通信が行え、且つ、インターネットへの接続により、様々な情報の交換が可能な携帯端末として利用することができる。
【０００４】
さらに、携帯電話、ＰＨＳ、ＰＤＡ及びハンドヘルドコンピュータ等の携帯端末に、デジタルカメラを設けたカメラ付携帯端末も広く利用されている。
このようなカメラ付携帯端末を利用すれば、通話又は通信を行っている際に、通話又は通信の相手に現在自分が見ているものをリアルタイムで送信することができ、音声及び文章だけでなく、そのときの状況を視覚イメージで伝達することもできる。
【０００５】
ここで、インターネットサーバーとして利用される情報処理装置として、利用者がカメラ付携帯端末で撮影した画像を、当該装置に用意しておいた背景画像に合成する画像合成装置が知られている（例えば、特許文献１参照）。
具体的に説明すると、画像合成装置は、利用者がカメラ付携帯端末で撮影した画像を受信すると、予め設定された条件等に基づいて、受信した画像の一部分、例えば、人物の頭部を認識して自動的に切り出した後、切り出した部分を、予め選択しておいた背景画像に貼り付けるものとなっている。
これにより、処理能力が低いうえ、マンマシンインターフェイスが貧弱なカメラ付携帯端末でも、現実にはありえない仮想的な合成画像を作成することができ、カメラ付携帯端末による楽しみを増やすことができる。
【０００６】
【特許文献１】
特開２００２−１１１９９８号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、予め設定された条件等に基づいて、画像合成装置が画像の一部を自動的に切り出すようにしたので、利用者が自由な発想で画像を切り抜くことを望んでも、利用者の意図通りに切り出し処理が行われないことがあり、作成可能な合成画像の範囲が制限される。このため、処理能力が低いうえ、マンマシンインターフェイスが貧弱なカメラ付携帯端末でも、利用者の意図通りに切り抜き処理が行えるカメラ付携帯端末用の画像合成システムが要望されている。
【０００８】
本発明は、上記した従来の技術の有する問題点に鑑みてなされたものであり、その目的とするところは、マンマシンインターフェイスが貧弱なカメラ付携帯端末でも、利用者の意図が充分反映される切り抜き処理が可能となるカメラ付携帯端末用の画像合成システムを提供するにある。
【０００９】
【課題を解決するための手段】
各請求項にそれぞれ記載された各発明は、上記した各目的を達成するためになされたものであり、各発明の特徴点を図面に示した発明の実施の形態を用いて、以下に説明する。
なお、符号は、発明の実施の形態において用いた符号を示したが、これにより、本発明の技術的範囲は限定されるものではない。
【００１０】
（請求項１）
（特徴点）
請求項１記載の発明は、次の点を特徴とする。
すなわち、請求項１記載の発明は、デジタルカメラが内蔵されたカメラ付携帯端末（２）で撮影した画像を、デジタル通信網（４）を介して当該カメラ付携帯端末（２）から画像処理装置（３）へ送信し、画像処理装置（３）で前記画像の一部を切り抜いて画像合成を行うカメラ付携帯端末用の画像合成システム（１）であって、前記カメラ付携帯端末（２）には、その表示画面に前記画像とともに操作案内を表示して、前記画像上における任意の指定ポイントを３点以上、利用者に指定させるポイント指定案内手段（２３）と、前記利用者によって指定された前記指定ポイントの各々の座標に、前記利用者が各指定ポイントを指定した順番を示す指定順位番号を付加した指定ポイントデータを生成して前記画像処理装置（３）へ送信する指定ポイントデータ生成手段（２４）とが設けられ、前記画像処理装置（３）には、撮影した画像から切り抜くべき切り抜き部を当該画像から切り抜くために、前記指定ポイントデータから所定の領域を設定する領域設定手段（３１Ａ） が設けられ、前記領域設定手段（３１Ａ） は、前記指定ポイントデータの各々が示す座標のポイントを、当該指定順位番号が示す順番に従って順次直線で結ぶとともに、最後の指定順位番号が示すポイントと最初の指定順位番号が示すポイントとを直線で結んで閉じた輪郭を生成し、この輪郭を前記領域として設定するものであることを特徴とする。
【００１１】
（作用）
本発明では、カメラ付携帯端末（２）で撮影した画像の一部分を切り抜くにあたり、表示画面上に表示される画像に対して、切り抜きたい部分の輪郭線上に複数の指定ポイントを指定すると、指定された複数の指定ポイントが相互に結ばれ、切り抜きたい部分の輪郭が数十本の折れ線で近似され、利用者が意図するものにほぼ一致する切り抜き部が切り抜かれるようになる。
ここで、複数指定ポイントの指定は、切り抜きたい部分の輪郭線に沿ってカーソルを移動しながら、実行ボタンを適宜押していく等の操作で行えるので、マンマシンインターフェイスが貧弱なカメラ付携帯端末（２）でも容易且つ迅速に行うことができる。
しかも、複数の指定ポイントを指定し、切り抜きたい部分の輪郭を折れ線で近似するので、切り抜き部の領域設定を行うにあたり、指定ポイントの座標を認識して記憶すればよいので、含まれる多数のポイントをすべて記憶する必要のある曲線の認識とは異なり、切り抜きたい部分の設定に必要となる記憶容量が著しく小さくなる。
そのうえ、切り抜きたい部分の輪郭が数十本の折れ線で近似されるので、切り抜きたい部分の設定が比較的単純なプロセスで処理でき、当該設定処理を高速で行う必要がなくなる。
このため、処理能力が低いカメラ付携帯端末（２）でも、利用者の意図が充分反映された切り抜き処理が行えるようになる。
【００１２】
（請求項２）
（特徴点）
請求項２記載の発明は、前述した請求項１に記載の発明において、次の特徴点を備えているものである。
すなわち、請求項２記載の発明は、前記カメラ付携帯端末（２）に、利用者に切り抜き部の領域を設定するために指定ポイントを指定させる切り抜き部領域指定モードと、既に設定された切り抜き部の領域内部に中抜き部の領域を設定するために指定ポイントを指定させる中抜き部領域指定モードとが設けられ、前記画像処理装置（３）に、前記指定ポイントデータから前記切り抜き部の領域を設定する切り抜き部領域設定モードと、前記指定ポイントデータから前記中抜き部の領域を設定する中抜き部領域設定モードとを設け、前記切り抜き部領域設定モード及び前記中抜き部領域設定モードは、前記カメラ付携帯端末側で前記切り抜き部領域指定モード及び前記中抜き部領域指定モードの一方から他方へ切り換えられるのに応じて自動的に切り換えられ、前記領域設定手段（３１Ａ） は、前記切り抜き部領域指定モード時に、前記指定ポイントデータに基づいて前記切り抜き部を設定し、前記中抜き部領域指定モード時に、前記指定ポイントデータに基づいて前記中抜き部の領域を設定するものであることを特徴とする。
【００１３】
（作用）
本発明によれば、カメラ付携帯端末（２）側において、切り抜き部の領域設定と同様に、中抜き部の領域設定も指定ポイントを指定することで行うようにし、且つ、切り抜き部の領域指定を行う切り抜き部領域指定モードと、中抜き部の領域指定を行う中抜き部領域指定モードとを設け、切り抜き部の領域指定と中抜き部の領域指定とを時間的に別々に行うようにしたので、カメラ付携帯端末（２）側に設けたポイント指定案内手段（２３）で、切り抜き部の領域指定及び中抜き部の領域指定の両方が行え、カメラ付携帯端末（２）の構成が簡略化されるようになる。
一方、画像処理装置（３）側において、切り抜き部の領域設定と同様に、中抜き部の領域設定もカメラ付携帯端末（２）側で指定した指定ポイントに基づいて行うようにし、且つ、切り抜き部の領域設定を行う切り抜き部領域設定モードと、中抜き部の領域設定を行う中抜き部領域設定モードとを設け、切り抜き部の領域設定と中抜き部の領域設定とを時間的に別々に行うようにしたので、画像処理装置（３）側に設けた領域設定手段（３１Ａ） で、切り抜き部の領域設定及び中抜き部の領域設定の両方が行え、画像処理装置（３）の構成が簡略化されるようになる。
【００１４】
（請求項３）
（特徴点）
請求項３記載の発明は、前述した請求項１又は２に記載の発明において、次の特徴点を備えているものである。
すなわち、請求項３記載の発明は、前記画像処理装置（３）に、前記カメラ付携帯端末（２）で撮影した画像を、前記カメラ付携帯端末（２）から受信して蓄積する画像蓄積手段（３３）を設け、前記カメラ付携帯端末（２）に、前記画像処理装置（３）側の前記画像蓄積手段（３３）に蓄積された画像のなかから、切り抜きたい画像を利用者に選択させる選択案内手段（２５）と、利用者が選択した画像を前記画像処理装置（３）側の前記画像蓄積手段（３３）から受信して保持する画像保持手段（２６）とを設け、前記カメラ付携帯端末（２）の前記ポイント指定案内手段（２３）が、前記画像保持手段（２６）に保持された画像に対して、利用者による指定ポイントの指定を行わせるものとなっていることを特徴とする。
【００１５】
（作用）
本発明によれば、カメラ付携帯端末（２）側で指定ポイントの指定を行うべき画像は、画像処理装置（３）から送付されてきたものとなる。このため、カメラ付携帯端末（２）側で処理対象となる画像と、画像蓄積手段（３）側で処理対象となる画像とは、各座標における画素や画像ファイルサイズ等の要素がすべて完全に一致するようになる。
このため、カメラ付携帯端末（２）から画像処理装置（３）へは、利用者によって指定された各指定ポイントの座標とその指定順位番号とを含む指定ポイントデータを送信すればよく、著しく情報量の多い切り抜き部の画像データを送信する必要がなく、処理能力が低いカメラ付携帯端末（２）の負担が軽減される。
【００１６】
（請求項４）
（特徴点）
請求項４記載の発明は、前述した請求項３に記載の発明において、次の特徴点を備えているものである。
すなわち、請求項４記載の発明は、前記カメラ付携帯端末（２）の前記選択案内手段（２５）が、切り抜き対象となる加工用画像と、加工用画像から切り抜いた切り抜き部が貼り付けられる背景用画像との両方を選択することのできるものとされ、前記画像処理装置（３）に、前記背景用画像に対する前記加工用画像の座標変換を行うことにより、前記背景用画像に対して前記加工用画像を移動して、前記切り抜き部の合成位置を設定する合成位置設定手段（３１Ｂ） と、この合成位置設定手段（３１Ｂ） によって前記切り抜き部の合成位置が設定された前記加工用画像については、前記切り抜き部内の画像データを保存し、且つ、前記切り抜き部外の画像データを破棄し、前記背景用画像については、前記切り抜き部外の画像データを保存し、且つ、前記切り抜き部内の画像データを破棄することにより、加工用画像から切り抜いた切り抜き部を背景用画像に貼り付ける画像合成を行う画像貼り付け手段とを設けたことを特徴とする。
【００１７】
（作用）
本発明によれば、利用者は、画像蓄積手段（３３）に蓄積された画像のなかから、切り抜きたい加工用画像、及び、切り抜いた画像の一部である切り抜き部を貼り付けたい背景用画像の両方を自由に選べるようになり、様々な合成画像の作成が可能となる。また、画像蓄積手段（３３）に蓄積すれば、画像合成処理済みの画像を背景用画像として利用することができるうえ、加工用画像及び背景用画像として同じ画像を選択することもでき、例えば、ある人物が映っている画像を加工用画像及び背景用画像の両方に利用すれば、その人物の像を切り抜いて、その隣りに貼り付ければ、双子の人物を創出することが可能となる。
【００１８】
（請求項５）
（特徴点）
請求項５記載の発明は、前述した請求項４記載の発明において、次の特徴点を備えているものである。
すなわち、請求項５記載の発明は、前記画像処理装置（３）に、前記カメラ付携帯端末（２）が受信できる画像ファイルサイズになるまで、合成画像の圧縮率変更を繰り返し行うことが可能とされ、圧縮率の変更により合成画像の画像ファイルサイズを調整する合成画像調整手段（３２Ａ） と、この合成画像調整手段（３２Ａ） で画像ファイルサイズが調整された合成画像を前記カメラ付携帯端末（２）へ送信する合成画像送信手段（３２Ｂ） とを設けたことを特徴とする。
【００１９】
（作用）
本発明によれば、画像処理装置（３）で処理した合成画像が、カメラ付携帯端末（２）で受信可能な所定ファイルサイズより大きくなっても、前述の所定ファイルサイズ以下となるまで、合成画像調整手段（３２Ａ） が合成画像の圧縮率変更処理を繰り返し行うので、画像処理装置（３）で処理した合成画像をカメラ付携帯端末（２）へ確実に送信できるようになる。
また、合成画像調整手段（３２Ａ） で圧縮率変更処理を行うにあたり、少しずつ段階的に圧縮率を高めていけば、カメラ付携帯端末（２）へ送信される合成画像のクオリティが必要以上に低くならない。これにより、可能な範囲で最高のクオリティを有する合成画像をカメラ付携帯端末（２）へ送信できるようになる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の一形態（以下、「実施形態」という。）を図面に基づき説明する。
（図面の説明）
図１ないし図３は、本実施形態を示すものであり、図１は、本実施形態に係る画像合成システム１を示す概略構成図、図２は、本実施形態に係るカメラ付携帯端末である携帯電話機２を示すブロック図、図３は、本実施形態に係る画像処理装置であるインターネットサーバー３（以下、単に「サーバー３」という。）を示すブロック図である。
【００２１】
（画像合成システム１）
図１において、画像合成システム１は、カメラ付携帯電話機２及びカメラ付ＰＤＡ装置２Ａ、並びに、図示しないＰＨＳ及びハンドヘルドコンピュータ等の不特定多数のカメラ付携帯端末と、これらのカメラ付携帯端末で撮影した画像の画像処理を行うサーバー３とを含んで構成されたものである。
これらのカメラ付携帯端末とサーバー３とは、携帯電話通信網等のデジタル式無線通信網とインターネット４とを含むデジタル通信網を介して相互に接続可能となっている。これにより、各カメラ付携帯端末で撮影された画像は、当該カメラ付携帯端末から無線信号となって基地局中継機５へ伝達されるようになっている。基地局中継機５に到達した画像は、当該基地局中継機５で有線信号に変換され、さらに、インターネット４を経由してサーバー３まで伝送されるようになっている。なお、伝送又は保存する際における画像の圧縮伸張方式は、ＪＰＥＧ方式を採用することができる。
【００２２】
カメラ付携帯電話機２は、他の電話機と通話を行う通話機能だけでなく、撮影した画像を他の電話機へ送信する画像送信機能、他のカメラ付携帯電話機や端末装置から送信されてくる画像を受信する画像受信機能、及び、インターネット４の閲覧機能等を有している。
カメラ付携帯電話機２には、図２に示されるように、他の電話機との通話及びインターネット４の閲覧を行うための通信を制御する通信制御処理装置２０と、通話の変復調処理等を行う通話処理手段２１と、当該カメラ付携帯電話機２が有する液晶表示装置の画面に、そのカメラで撮影した画像等を表示するための処理及び制御を行う表示制御処理手段２２とが設けられている。
【００２３】
一方、サーバー３は、登録されたカメラ付携帯電話機２の利用者が、当該カメラ付携帯電話機２で撮影した画像を保存するとともに、保存した画像の自由閲覧を当該利用者のみに行わせるようにしたものである。また、サーバー３は、カメラ付携帯電話機２で撮影した画像の一部を切り抜いて他の画像等と合成する画像合成機能も有している。
サーバー３には、図３に示されるように、インターネット閲覧機能付の電話機やパーソナルコンピュータ等に、そのコンテンツを閲覧させるために通信を制御する通信制御処理装置３０と、カメラ付携帯電話機２が撮影した画像の合成処理を制御する合成処理制御手段３１と、生成した合成画像の送信処理等を行う画像送信処理手段３２と、多数の画像を蓄積することができる画像蓄積手段３３とが設けられている。
【００２４】
図２に戻って、カメラ付携帯電話機２の通話処理手段２１には、利用者の音声等をアナログ電気信号（以下、「アナログ信号」と略す。）に変化するマイクロフォン２１Ａ と、マイクロフォン２１Ａ からのアナログ信号をデジタル電気信号（以下、「デジタル信号」と略す。）に変調して通信制御処理装置２０へ送信する変調手段２１Ｂ と、通信制御処理装置２０からのデジタル信号をアナログ信号に復調する復調手段２１Ｃ と、復調手段２１Ｃ からのアナログ信号により駆動されるスピーカー２１Ｄ とが設けられている。
【００２５】
カメラ付携帯電話機２の表示制御処理手段２２には、画像の一部を切り抜く処理がサーバー３で行えるように、ポイント指定案内手段２３及び指定ポイントデータ生成手段２４が設けられている。
ポイント指定案内手段２３は、その液晶表示装置の表示画面に、そのカメラで撮影した画像とともに操作案内を表示して、当該画像上における任意の指定ポイントを３点以上、利用者に指定させるものである。
指定ポイントデータ生成手段２４は、利用者によって指定された指定ポイントの各々の座標に、利用者が各指定ポイントを指定した順番を示す指定順位番号を付加した指定ポイントデータを生成してサーバー３へ送信するものである。
【００２６】
また、表示制御処理手段２２には、切り抜き処理をする画像を利用者に選択させるための選択案内手段２５と、選択した画像について切り抜き部分を利用者に指定させるための画像保持手段２６とが設けられている。
選択案内手段２５は、液晶表示装置の表示画面に表示した案内画面を参照させて、サーバー３側の画像蓄積手段３３に蓄積された画像のなかから、切り抜きを行いたい画像を利用者に選択させるものである。
また、選択案内手段２５は、画像蓄積手段３３に蓄積された画像のなかから、切り抜き対象となる加工用画像だけでなく、加工用画像から切り抜いた切り抜き部が貼り付けられる背景用画像も選択することができるようになっている。
画像保持手段２６は、利用者が選択した画像をサーバー３側の画像蓄積手段３３から受信して保持するものである。前述のポイント指定案内手段２３は、画像保持手段２６に保持された画像を液晶表示装置の表示画面に表示させて、利用者に指定ポイントの指定を行わせるようになっている。
【００２７】
ここで、カメラ付携帯電話機２の表示制御処理手段２２には、利用者に切り抜き部の領域を設定するために指定ポイントを指定させる切り抜き部領域指定モードと、既に設定された切り抜き部の領域内部に中抜き部の領域を設定するために指定ポイントを指定させる中抜き部領域指定モードとが設けられている。
切り抜き部領域指定モードを選択すると、表示制御処理手段２２は、切り抜き用の案内画面を液晶表示装置の表示画面に表示し、この切り抜き用の案内画面を参照しながら、利用者が指定ポイントの指定操作を行うと、切り抜き用の指定ポイントデータがサーバー３へ送信されるようになっている。
一方、中抜き部領域指定モードを選択すると、選択案内手段２５は、中抜き用の案内画面を液晶表示装置の表示画面に表示し、この中抜き用の案内画面を参照しながら、利用者が指定ポイントの指定操作を行うと、中抜き用の指定ポイントデータがサーバー３へ送信されるようになっている。
【００２８】
この際、切り抜き部領域指定モードにおける指定ポイントの指定操作と、中抜き部領域指定モードにおける指定ポイントの指定操作とは、同様の手順で行えるようにするのが好ましい。
また、後者のモードでは、指定できる最大ポイント数を前者のモードよりも少なくすることができる。例えば、切り抜き部領域指定モードにおける指定ポイントの最大数を３０ポイントとした場合、中抜き部領域指定モードにおける指定ポイントの最大数を１０ポイントとすることができる。
さらに、中抜き部領域指定モードにおいては、一つの切り抜き部に対して、複数箇所、例えば、３箇所の中抜き部を指定できるようにすることが好ましい。
【００２９】
サーバー３の合成処理制御手段３１には、図３の如く、撮影した画像から切り抜くべき切り抜き部を当該画像から切り抜くために、カメラ付携帯電話機２から送信されてきた指定ポイントデータから所定の領域を設定する領域設定手段３１Ａ が設けられている。
この領域設定手段３１Ａ は、指定ポイントデータの各々が示す座標のポイントを、当該指定順位番号が示す順番に従って順次直線で結ぶとともに、最後の指定順位番号が示すポイントと最初の指定順位番号が示すポイントとを直線で結んで閉じた輪郭を生成し、この輪郭を切り抜き部の領域として設定するものとなっている。
【００３０】
また、合成処理制御手段３１には、領域設定手段３１Ａ により領域の設定がなされた切り抜き部の画像合成位置を設定する合成位置設定手段３１Ｂ と、切り抜き部を背景用画像に貼り付ける画像合成処理を行う画像貼り付け手段３１Ｃ とが設けられている。
合成位置設定手段３１Ｂ は、切り抜き部の領域設定が済んだ加工用画像の座標系を、背景用画像の座標系に対して移動する座標変換を行うことにより、切り抜き部の新しい背景となる背景用画像に対して加工用画像をずらして、切り抜き部の合成位置を設定するものである。
画像貼り付け手段３１Ｃ は、合成位置設定手段３１Ｂ によって切り抜き部の合成位置が設定された加工用画像については、切り抜き部内の画像データを保存し、且つ、切り抜き部外の画像データを破棄し、背景用画像については、切り抜き部外の画像データを保存し、且つ、切り抜き部内の画像データを破棄することにより、加工用画像から切り抜いた切り抜き部を背景用画像に貼り付ける画像合成を行うものである。
【００３１】
ここで、サーバー３の合成処理制御手段３１には、切り抜き部の領域を設定する切り抜き部領域設定モードと、既に設定された切り抜き部の領域内部に中抜き部を設定する中抜き部領域設定モードとが設けられている。
カメラ付携帯電話機２側で切り抜き部領域指定モードが選択されると、これに応じて、サーバー３の合成処理制御手段３１は、自動的に、切り抜き部の領域を設定する切り抜き部領域設定モードとなるように設定されている。
切り抜き部領域設定モードとなった合成処理制御手段３１は、カメラ付携帯電話機２から送信されてくる指定ポイントデータを、切り抜き用の指定ポイントデータとして受信し、この指定ポイントデータに基づいて切り抜き部の領域を設定するようになっている。
【００３２】
一方、カメラ付携帯電話機２側で中抜き部領域指定モードが選択されると、これに応じて、サーバー３の合成処理制御手段３１は、自動的に、中抜き部の領域を設定する中抜き部領域設定モードとなるように設定されている。
中抜き部領域設定モードとなった合成処理制御手段３１は、カメラ付携帯電話機２から送信されてくる指定ポイントデータを、中抜き用の指定ポイントデータとして受信し、この指定ポイントデータに基づいて、切り抜き部の領域内に中抜き部の領域を設定するようになっている。
そして、切り抜き部の領域内に中抜き部の領域が設定された加工用画像が画像貼り付け手段３１Ｃ に入力されると、画像貼り付け手段３１Ｃ は、切り抜き部の領域内において、中抜き部の領域外の画像データを保存し、且つ、中抜き部の領域内の画像データを破棄することにより、その内側の一部分を欠いた、換言すると、中抜きした切り抜き部を背景用画像に貼り付けるようになっている。
【００３３】
ここで、画像貼り付け手段３１Ｃ には、加工用画像から切り抜いた切り抜き部と、その背景となる背景用画像との境界となる部分から生じる違和感を軽減するために、境界部分からジャギー（ドット単位のギザギザ）を排除して、境界部分をスムースに見せるアンチエイリアス処理機能、撮影時の照明条件の差を緩和する、例えば、雨天時に撮影した加工用画像を晴天時に撮影した背景用画像に貼り付ける際に生じる光量差を緩和するレンダリング処理機能、及び、切り抜き部と背景用画像との境界部分において色彩が徐々に変化するように当該境界部分の色彩にぼかし処理を行うブレンディング処理機能を設けることが望ましい。
【００３４】
また、サーバー３には、加工用画像から切り抜いた切り抜き部を背景用画像に合成した合成画像をカメラ付携帯電話機２に送るために、合成画像調整手段３２Ａ 及び合成画像送信手段３２Ｂ とが設けられている。
合成画像調整手段３２Ａ は、圧縮率を変更することにより、合成処理制御手段３１から受信した合成画像の画像ファイルサイズを変更するものであり、カメラ付携帯電話機２が受信できる画像ファイルサイズ、例えば、９ｋＢｙｔｅ以下になるまで、合成画像の圧縮率変更を繰り返し行うように設定されている。また、合成画像調整手段３２Ａ は、圧縮率変更処理を行うにあたり、少しずつ段階的に圧縮率を高めていくものとなっている。
合成画像送信手段３２Ｂ は、合成画像調整手段３２Ａ で画像ファイルサイズが調整された合成画像をカメラ付携帯電話機２へ送信するために、合成画像の送信ファイルを生成するものである。
【００３５】
次に、本実施形態における画像合成動作について説明する。
画像合成システム１で画像合成を行うのに先立ち、サーバー３の画像蓄積手段３３に、利用者が加工用画像及び背景用画像のいずれにも利用できる様々な画像を予め蓄積しておく。
一方、利用者は、カメラ付携帯電話機２を利用して人物や景色等を撮影し、保存しておきたい画像や、後で画像合成を行いたい画像等を撮影したら、当該画像をサーバー３へ送信し、これらの画像を画像蓄積手段３３に蓄積する。
【００３６】
利用者がカメラ付携帯電話機２を操作して、選択案内手段２５を起動すると、画像合成処理が開始される。選択案内手段２５の起動により、液晶表示装置の画面に案内画面が表示され、利用者は、画像蓄積手段３３に蓄積された画像、例えば、自分が撮影した画像、及び、予め画像蓄積手段３３に蓄積されていた画像の中から、任意のものを加工用画像又は背景用画像として選択する。
【００３７】
ここで、加工用画像が選択されると、切り抜き部領域指定モードとなったポイント指定案内手段２３を起動することができる。利用者は、ポイント指定案内手段２３を起動し、液晶表示装置の画面に選択した加工用画像を見ながら、指定ポイントを指定し、これにより、サーバー３側で、切り抜き部の領域を設定できるようにする。
例えば、利用者が加工用画像として、図４に示すように、人物４０が撮影された画像４１を選択すると、液晶表示装置４２の画面４３に人物４０を含む画像４１が表示される。利用者は、画面４３に表示された人物４０を切り抜きたいので、人物４０の周辺部分に複数の指定ポイント、例えば、指定ポイントＰ０１〜Ｐ２１を指定していく。
含む画像４１当該は、ポイント指定案内手段２３を起動し、液晶表示装置の画面に選択した加工用画像を見ながら、指定ポイントを指定し、これにより、サーバー３側で、切り抜き部の領域を設定できるようにする。そして、切り抜き部の領域指定の完了後、切り抜き部の領域に係る指定ポイントデータがサーバー３へ送信される。
なお、切り抜き部の領域指定が完了すると、中抜き部領域指定モードへ移行可能となるので、必要に応じて、中抜き部の領域指定を行う。この中抜き部の領域指定が完了すると、中抜き部の領域に係る指定ポイントデータがサーバー３へ送信される。
【００３８】
切り抜き部の領域に係る指定ポイントデータを受信すると、サーバー３は、切り抜き部領域設定モードとなり、切り抜き部の領域設定を行う。すなわち、サーバー３の領域設定手段３１Ａ は、図４の如く、指定ポイントデータの各々が示す座標のポイントＰ０１〜Ｐ２１を、当該指定順位番号０１〜２１が示す順番に従って順次直線で結ぶとともに、最後の指定順位番号２１が示すポイントＰ２１と最初の指定順位番号０１が示すポイントＰ０１とを直線で結んで閉じた輪郭を生成し、この輪郭を切り抜き部４４の領域として設定する。
【００３９】
一方、中抜き部の領域に係る指定ポイントデータを受信すると、サーバー３は、中抜き部領域設定モードとなり、中抜き部の領域設定を行う。この中抜き部領域設定では、切り抜き部４４の領域設定と同様の動作が行われるので、中抜き部の領域を設定する動作についての説明は省略する。
【００４０】
ところで、前述した背景用画像として、例えば、図５に示すように、都会５０の夜景を撮影した画像５１が選択されたとする。このように背景用画像５１の選択が完了し、且つ、切り抜き部４４の領域設定と、必要な中抜き部の領域設定とが完了すると、合成位置設定手段３１Ｂ が起動され、これにより、背景用画像５１に対する加工用画像から切り抜いた切り抜き部４４の位置を設定する。ここでは、例えば、画像５１の幅方向の中心から右側へずらした位置に切り抜き部４４の位置が設定されたものとする。
【００４１】
背景用画像５１に対する切り抜き部４４の位置設定が完了すると、画像貼り付け手段３１Ｃ が起動され、図６に示すように、背景用画像５１に対して設定された位置に切り抜き部４４が貼り付けられ、これにより、合成画像６０が生成される。
そして、生成された合成画像６０は、カメラ付携帯電話機２が受信できるように、合成画像調整手段３２Ａ により画像ファイルサイズが調整され、この後、合成画像送信手段３２Ｂ を経由してカメラ付携帯電話機２へ送信される。カメラ付携帯電話機２に受信されると、本実施形態における画像合成動作が完了する。
【００４２】
このような本実施形態によれば、次のような効果を得ることができる。
すなわち、サーバー３に領域設定手段３１Ａ を設け、撮影した画像の一部分を切り抜くにあたり、利用者がカメラ付携帯電話機２を操作して指定した複数の指定ポイントを相互に結び、切り抜きたい部分の輪郭を数十本の折れ線で近似するようにしたので、利用者が意図するものにほぼ一致する切り抜き部４４を切り抜くことができる。
ここで、複数指定ポイントの指定は、切り抜きたい部分の輪郭線に沿ってカーソルを移動しながら、実行ボタンを適宜押していく等の操作で行えるので、マンマシンインターフェイスが貧弱なカメラ付携帯電話機２でも容易且つ迅速に行うことができる。
【００４３】
しかも、複数の指定ポイントを指定し、切り抜きたい部分の輪郭を折れ線で近似するので、切り抜き部４４の領域設定を行うにあたり、指定ポイントの座標を認識して記憶すればよいので、含まれる多数のポイントをすべて記憶する必要のある曲線の認識とは異なり、切り抜きたい部分の設定に必要となる記憶容量を著しく小さくできる。
【００４４】
そのうえ、切り抜きたい部分の輪郭が数十本の折れ線で近似されるので、切り抜きたい部分の設定が比較的単純なプロセスで処理でき、当該設定処理を高速で行う必要がなくなる。
このため、処理能力が低いカメラ付携帯電話機２でも、利用者の意図が充分反映された切り抜き処理を行うことができる。
【００４５】
また、カメラ付携帯電話機２側において、切り抜き部４４の領域設定と同様に、中抜き部の領域設定も指定ポイントを指定することで行うようにし、且つ、切り抜き部４４の領域指定を行う切り抜き部領域指定モードと、中抜き部の領域指定を行う中抜き部領域指定モードとを設け、切り抜き部の領域指定と中抜き部の領域指定とを時間的に別々に行うようにしたので、カメラ付携帯電話機２側に設けたポイント指定案内手段２３で、切り抜き部の領域指定及び中抜き部の領域指定の両方が行え、カメラ付携帯電話機２の構成を簡略化することができる。
そのうえ、サーバー３側において、切り抜き部の領域設定と同様に、中抜き部の領域設定もカメラ付携帯電話機２側で指定した指定ポイントに基づいて行うようにし、且つ、切り抜き部の領域設定を行う切り抜き部領域設定モードと、中抜き部の領域設定を行う中抜き部領域設定モードとを設け、切り抜き部４４の領域設定と中抜き部の領域設定とを時間的に別々に行うようにしたので、サーバー３側に設けた領域設定手段３１Ａ で、切り抜き部４４の領域設定及び中抜き部の領域設定の両方が行え、サーバー３の構成を簡略化することができる。
【００４６】
さらに、サーバー３に、カメラ付携帯電話機２で撮影した画像を、カメラ付携帯電話機２から受信して蓄積する画像蓄積手段３３を設け、カメラ付携帯電話機２側で指定ポイントの指定を行うべき画像を、サーバー３から送付するようにしたので、カメラ付携帯電話機２側で処理対象となる画像と、サーバー３側で処理対象となる画像とは、各座標における画素や画像ファイルサイズ等の要素がすべて完全に一致するようになる。
このため、カメラ付携帯電話機２からサーバー３へは、利用者によって指定された各指定ポイントの座標とその指定順位番号とを含む指定ポイントデータを送信すればよく、著しく情報量の多い切り抜き部４４の画像データを送信する必要がなく、処理能力が低いカメラ付携帯電話機２の負担を軽減することができる。
【００４７】
また、カメラ付携帯電話機２に選択案内手段２５を設け、この選択案内手段２５により、サーバー３側の画像蓄積手段３３に蓄積された画像のなかから、切り抜き対象となる加工用画像と、加工用画像から切り抜いた切り抜き部が貼り付けられる背景用画像との両方を選択できるようにしたので、様々な合成画像を作成することができる。また、画像蓄積手段３３に蓄積すれば、画像合成処理済みの画像を背景用画像として利用することができるうえ、加工用画像及び背景用画像として同じ画像を選択することもでき、例えば、ある人物が映っている画像を加工用画像及び背景用画像の両方に利用すれば、その人物の像を切り抜いて、その隣りに貼り付ければ、双子の人物を創出することができ、合成画像に様々な演出を施すことができる。
【００４８】
さらに、サーバー３に、カメラ付携帯電話機２が受信できる画像ファイルサイズになるまで、合成画像の圧縮率変更を繰り返し行うことが可能とされ、圧縮率の変更により合成画像の画像ファイルサイズを調整する合成画像調整手段３２Ａ と、この合成画像調整手段３２Ａ で画像ファイルサイズが調整された合成画像をカメラ付携帯電話機２へ送信する合成画像送信手段３２Ｂ とを設け、サーバー３で処理した合成画像６０が、カメラ付携帯電話機２で受信不可能な大きさになっても、前述の所定ファイルサイズ以下となるまで、合成画像調整手段３２Ａ が合成画像の圧縮率変更処理を繰り返し行うので、サーバー３で処理した合成画像６０をカメラ付携帯電話機２へ確実に送信することができる。
また、合成画像調整手段３２Ａ で圧縮率変更処理を行うにあたり、少しずつ段階的に圧縮率を高めていくようにしたので、カメラ付携帯電話機２へ送信される合成画像６０のクオリティが必要以上に低くならない。これにより、可能な範囲で最高のクオリティを有する合成画像６０をカメラ付携帯電話機２へ送信することができる。
【００４９】
なお、本発明は、前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲における変形及び改良などをも含むものである。
例えば、カメラ付携帯端末としては、カメラ付携帯電話機に限らず、デジタルカメラを備えるとともに、デジタル通信網を介して画像処理装置と通信可能となったＰＨＳ、ＰＤＡ及びハンドヘルドコンピュータでもよい。
【００５０】
【発明の効果】
本発明は、以上のように構成されているので、以下に記載されるような効果を奏する。
（請求項１の効果）
請求項１記載の発明によれば、次のような効果を奏する。
すなわち、請求項１記載の発明によれば、カメラ付携帯端末で撮影した画像の一部分を切り抜くにあたり、表示画面上に表示される画像に対して、切り抜きたい部分の輪郭線上に複数の指定ポイントを指定すると、指定された複数の指定ポイントが相互に結ばれ、切り抜きたい部分の輪郭が数十本の折れ線で近似され、利用者が意図するものにほぼ一致する切り抜き部が切り抜かれるようになる。
ここで、複数指定ポイントの指定は、切り抜きたい部分の輪郭線に沿ってカーソルを移動しながら、実行ボタンを適宜押していく等の操作で行えるので、マンマシンインターフェイスが貧弱なカメラ付携帯端末でも、切り抜き部分の指定を容易且つ迅速に行うことができる。
しかも、複数の指定ポイントを指定し、切り抜きたい部分の輪郭を折れ線で近似するので、切り抜き部の領域設定を行うにあたり、指定ポイントの座標を認識して記憶すればよいので、含まれる多数のポイントをすべて記憶する必要のある曲線の認識とは異なり、切り抜きたい部分の設定に必要となる記憶容量が著しく小さくできる。
そのうえ、切り抜きたい部分の輪郭が数十本の折れ線で近似されるので、切り抜きたい部分の設定が比較的単純なプロセスで処理でき、当該設定処理を高速で行う必要がなくなる。
このため、処理能力が低いカメラ付携帯端末でも、利用者の意図が充分反映された切り抜き処理が行えるようになる。
【００５１】
（請求項２の効果）
請求項２記載の発明によれば、上記した請求項１記載の発明の効果に加え、次のような効果を奏する。
すなわち、請求項２記載の発明によれば、カメラ付携帯端末側において、切り抜き部の領域設定と同様に、中抜き部の領域設定も指定ポイントを指定することで行うようにし、且つ、切り抜き部の領域指定を行う切り抜き部領域指定モードと、中抜き部の領域指定を行う中抜き部領域指定モードとを設け、切り抜き部の領域指定と中抜き部の領域指定とを時間的に別々に行うようにしたので、カメラ付携帯端末側に設けたポイント指定案内手段で、切り抜き部の領域指定及び中抜き部の領域指定の両方が行え、カメラ付携帯端末の構成を簡略化することができる。
一方、画像処理装置側において、切り抜き部の領域設定と同様に、中抜き部の領域設定もカメラ付携帯端末側で指定した指定ポイントに基づいて行うようにし、且つ、切り抜き部の領域設定を行う切り抜き部領域設定モードと、中抜き部の領域設定を行う中抜き部領域設定モードとを設け、切り抜き部の領域設定と中抜き部の領域設定とを時間的に別々に行うようにしたので、画像処理装置側に設けた領域設定手段で、切り抜き部の領域設定及び中抜き部の領域設定の両方が行え、画像処理装置の構成を簡略化することができる。
【００５２】
（請求項３の効果）
請求項３記載の発明によれば、上記した請求項１又は２記載の発明の効果に加え、次のような効果を奏する。
すなわち、請求項３記載の発明によれば、カメラ付携帯端末側で指定ポイントの指定を行うべき画像は、画像処理装置から送付されてきたものとなる。このため、カメラ付携帯端末側で処理対象となる画像と、画像蓄積手段側で処理対象となる画像とは、各座標における画素や画像ファイルサイズ等の要素がすべて完全に一致するようになる。
このため、カメラ付携帯端末から画像処理装置へは、利用者によって指定された各指定ポイントの座標とその指定順位番号とを含む指定ポイントデータを送信すればよく、著しく情報量の多い切り抜き部の画像データを送信する必要がなく、処理能力が低いカメラ付携帯端末の負担を軽減することができる。
【００５３】
（請求項４の効果）
請求項４記載の発明によれば、上記した請求項３記載の発明の効果に加え、次のような効果を奏する。
すなわち、請求項４記載の発明によれば、利用者は、画像蓄積手段に蓄積された画像のなかから、切り抜きたい加工用画像、及び、切り抜いた画像の一部である切り抜き部を貼り付けたい背景用画像の両方を自由に選べるようになり、様々な合成画像の作成が可能となる。画像蓄積手段に蓄積すれば、画像合成処理済みの画像を背景用画像として利用することができるうえ、加工用画像及び背景用画像として同じ画像を選択することもできる。例えば、ある人物が映っている画像を加工用画像及び背景用画像の両方に利用すれば、その人物の像を切り抜いて、その隣りに貼り付ければ、双子の人物を創出することができ、様々な演出を実現することができる。
【００５４】
（請求項５の効果）
請求項５記載の発明によれば、上記した請求項４記載の発明の効果に加え、次のような効果を奏する。
すなわち、請求項５記載の発明によれば、画像処理装置で処理した合成画像が、カメラ付携帯端末で受信可能な所定ファイルサイズより大きくなっても、前述の所定ファイルサイズ以下となるまで、合成画像調整手段が合成画像の圧縮率変更処理を繰り返し行うので、画像処理装置で処理した合成画像をカメラ付携帯端末へ確実に送信することができる。
また、合成画像調整手段で圧縮率変更処理を行うにあたり、少しずつ段階的に圧縮率を高めていけば、カメラ付携帯端末へ送信される合成画像のクオリティが必要以上に低くならない。これにより、可能な範囲で最高のクオリティを有する合成画像をカメラ付携帯端末へ送信することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像合成システムを示す模式図である。
【図２】前記実施形態に係るカメラ付携帯端末を示すブロック図である。
【図３】前記実施形態に係る画像処理装置を示すブロック図である。
【図４】前記実施形態の指定ポイントの指定動作を説明する図である。
【図５】前記実施形態に係る背景用画像の一例を示す図である。
【図６】前記実施形態に係る合成画像の一例を示す図である。
【符号の説明】
１ 画像合成システム ２ カメラ付携帯電話機
２Ａ カメラ付ＰＤＡ装置 ３ インターネットサーバー
４ インターネット ５ 基地局中継機
２０ 通信制御処理装置 ２１ 通話処理手段
２１Ａ マイクロフォン ２１Ｂ 変調手段
２１Ｃ 復調手段 ２１Ｄ スピーカー
２２ 表示制御処理手段 ２３ ポイント指定案内手段
２４ 指定ポイントデータ生成手段 ２５ 選択案内手段
２６ 画像保持手段 ３０ 通信制御処理装置
３１ 合成処理制御手段 ３１Ａ 領域設定手段
３１Ｂ 合成位置設定手段 ３１Ｃ 画像貼り付け手段
３２ 画像送信処理手段 ３２Ａ 合成画像調整手段
３２Ｂ 合成画像送信手段 ３３ 画像蓄積手段
４０ 人物 ４１ 画像
４２ 液晶表示装置 ４３ 画面
４４ 切り抜き部 ５０ 都会
５１ 背景用画像 ６０ 合成画像
【発明の属する技術分野】
本発明は、デジタルカメラが内蔵されたカメラ付携帯端末で撮影した画像を一部を切り抜いて他の画像に貼り付ける等の画像合成を行うカメラ付携帯端末用の画像合成システムに関する。
【０００２】
【従来の技術】
従来から、携帯電話やＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ Ｐｈｏｎｅ−ｓｙｓｔｅｍ）等の移動体通信を行うための携帯端末が多用されている。
このような携帯端末は、通話を行うにあたり、ケーブルやワイヤを全く必要とせず、通話サービス可能なエリア内であれば、屋外及び屋内を問わず通話が可能となっているうえ、インターネットに接続すれば、様々な情報の交換が可能な携帯端末としても利用できる。
【０００３】
また、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ ）やハンドヘルドコンピュータ等の小型情報端末装置も広く利用されている。
ここで、携帯電話やＰＨＳ等の通信網に接続するための通信インターフェイスを小型情報端末装置に設ければ、ケーブルやワイヤによる接続が全く行えない場所でも通信可能となるので、小型情報端末装置も、屋外及び屋内を問わずに通信が行え、且つ、インターネットへの接続により、様々な情報の交換が可能な携帯端末として利用することができる。
【０００４】
さらに、携帯電話、ＰＨＳ、ＰＤＡ及びハンドヘルドコンピュータ等の携帯端末に、デジタルカメラを設けたカメラ付携帯端末も広く利用されている。
このようなカメラ付携帯端末を利用すれば、通話又は通信を行っている際に、通話又は通信の相手に現在自分が見ているものをリアルタイムで送信することができ、音声及び文章だけでなく、そのときの状況を視覚イメージで伝達することもできる。
【０００５】
ここで、インターネットサーバーとして利用される情報処理装置として、利用者がカメラ付携帯端末で撮影した画像を、当該装置に用意しておいた背景画像に合成する画像合成装置が知られている（例えば、特許文献１参照）。
具体的に説明すると、画像合成装置は、利用者がカメラ付携帯端末で撮影した画像を受信すると、予め設定された条件等に基づいて、受信した画像の一部分、例えば、人物の頭部を認識して自動的に切り出した後、切り出した部分を、予め選択しておいた背景画像に貼り付けるものとなっている。
これにより、処理能力が低いうえ、マンマシンインターフェイスが貧弱なカメラ付携帯端末でも、現実にはありえない仮想的な合成画像を作成することができ、カメラ付携帯端末による楽しみを増やすことができる。
【０００６】
【特許文献１】
特開２００２−１１１９９８号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、予め設定された条件等に基づいて、画像合成装置が画像の一部を自動的に切り出すようにしたので、利用者が自由な発想で画像を切り抜くことを望んでも、利用者の意図通りに切り出し処理が行われないことがあり、作成可能な合成画像の範囲が制限される。このため、処理能力が低いうえ、マンマシンインターフェイスが貧弱なカメラ付携帯端末でも、利用者の意図通りに切り抜き処理が行えるカメラ付携帯端末用の画像合成システムが要望されている。
【０００８】
本発明は、上記した従来の技術の有する問題点に鑑みてなされたものであり、その目的とするところは、マンマシンインターフェイスが貧弱なカメラ付携帯端末でも、利用者の意図が充分反映される切り抜き処理が可能となるカメラ付携帯端末用の画像合成システムを提供するにある。
【０００９】
【課題を解決するための手段】
各請求項にそれぞれ記載された各発明は、上記した各目的を達成するためになされたものであり、各発明の特徴点を図面に示した発明の実施の形態を用いて、以下に説明する。
なお、符号は、発明の実施の形態において用いた符号を示したが、これにより、本発明の技術的範囲は限定されるものではない。
【００１０】
（請求項１）
（特徴点）
請求項１記載の発明は、次の点を特徴とする。
すなわち、請求項１記載の発明は、デジタルカメラが内蔵されたカメラ付携帯端末（２）で撮影した画像を、デジタル通信網（４）を介して当該カメラ付携帯端末（２）から画像処理装置（３）へ送信し、画像処理装置（３）で前記画像の一部を切り抜いて画像合成を行うカメラ付携帯端末用の画像合成システム（１）であって、前記カメラ付携帯端末（２）には、その表示画面に前記画像とともに操作案内を表示して、前記画像上における任意の指定ポイントを３点以上、利用者に指定させるポイント指定案内手段（２３）と、前記利用者によって指定された前記指定ポイントの各々の座標に、前記利用者が各指定ポイントを指定した順番を示す指定順位番号を付加した指定ポイントデータを生成して前記画像処理装置（３）へ送信する指定ポイントデータ生成手段（２４）とが設けられ、前記画像処理装置（３）には、撮影した画像から切り抜くべき切り抜き部を当該画像から切り抜くために、前記指定ポイントデータから所定の領域を設定する領域設定手段（３１Ａ） が設けられ、前記領域設定手段（３１Ａ） は、前記指定ポイントデータの各々が示す座標のポイントを、当該指定順位番号が示す順番に従って順次直線で結ぶとともに、最後の指定順位番号が示すポイントと最初の指定順位番号が示すポイントとを直線で結んで閉じた輪郭を生成し、この輪郭を前記領域として設定するものであることを特徴とする。
【００１１】
（作用）
本発明では、カメラ付携帯端末（２）で撮影した画像の一部分を切り抜くにあたり、表示画面上に表示される画像に対して、切り抜きたい部分の輪郭線上に複数の指定ポイントを指定すると、指定された複数の指定ポイントが相互に結ばれ、切り抜きたい部分の輪郭が数十本の折れ線で近似され、利用者が意図するものにほぼ一致する切り抜き部が切り抜かれるようになる。
ここで、複数指定ポイントの指定は、切り抜きたい部分の輪郭線に沿ってカーソルを移動しながら、実行ボタンを適宜押していく等の操作で行えるので、マンマシンインターフェイスが貧弱なカメラ付携帯端末（２）でも容易且つ迅速に行うことができる。
しかも、複数の指定ポイントを指定し、切り抜きたい部分の輪郭を折れ線で近似するので、切り抜き部の領域設定を行うにあたり、指定ポイントの座標を認識して記憶すればよいので、含まれる多数のポイントをすべて記憶する必要のある曲線の認識とは異なり、切り抜きたい部分の設定に必要となる記憶容量が著しく小さくなる。
そのうえ、切り抜きたい部分の輪郭が数十本の折れ線で近似されるので、切り抜きたい部分の設定が比較的単純なプロセスで処理でき、当該設定処理を高速で行う必要がなくなる。
このため、処理能力が低いカメラ付携帯端末（２）でも、利用者の意図が充分反映された切り抜き処理が行えるようになる。
【００１２】
（請求項２）
（特徴点）
請求項２記載の発明は、前述した請求項１に記載の発明において、次の特徴点を備えているものである。
すなわち、請求項２記載の発明は、前記カメラ付携帯端末（２）に、利用者に切り抜き部の領域を設定するために指定ポイントを指定させる切り抜き部領域指定モードと、既に設定された切り抜き部の領域内部に中抜き部の領域を設定するために指定ポイントを指定させる中抜き部領域指定モードとが設けられ、前記画像処理装置（３）に、前記指定ポイントデータから前記切り抜き部の領域を設定する切り抜き部領域設定モードと、前記指定ポイントデータから前記中抜き部の領域を設定する中抜き部領域設定モードとを設け、前記切り抜き部領域設定モード及び前記中抜き部領域設定モードは、前記カメラ付携帯端末側で前記切り抜き部領域指定モード及び前記中抜き部領域指定モードの一方から他方へ切り換えられるのに応じて自動的に切り換えられ、前記領域設定手段（３１Ａ） は、前記切り抜き部領域指定モード時に、前記指定ポイントデータに基づいて前記切り抜き部を設定し、前記中抜き部領域指定モード時に、前記指定ポイントデータに基づいて前記中抜き部の領域を設定するものであることを特徴とする。
【００１３】
（作用）
本発明によれば、カメラ付携帯端末（２）側において、切り抜き部の領域設定と同様に、中抜き部の領域設定も指定ポイントを指定することで行うようにし、且つ、切り抜き部の領域指定を行う切り抜き部領域指定モードと、中抜き部の領域指定を行う中抜き部領域指定モードとを設け、切り抜き部の領域指定と中抜き部の領域指定とを時間的に別々に行うようにしたので、カメラ付携帯端末（２）側に設けたポイント指定案内手段（２３）で、切り抜き部の領域指定及び中抜き部の領域指定の両方が行え、カメラ付携帯端末（２）の構成が簡略化されるようになる。
一方、画像処理装置（３）側において、切り抜き部の領域設定と同様に、中抜き部の領域設定もカメラ付携帯端末（２）側で指定した指定ポイントに基づいて行うようにし、且つ、切り抜き部の領域設定を行う切り抜き部領域設定モードと、中抜き部の領域設定を行う中抜き部領域設定モードとを設け、切り抜き部の領域設定と中抜き部の領域設定とを時間的に別々に行うようにしたので、画像処理装置（３）側に設けた領域設定手段（３１Ａ） で、切り抜き部の領域設定及び中抜き部の領域設定の両方が行え、画像処理装置（３）の構成が簡略化されるようになる。
【００１４】
（請求項３）
（特徴点）
請求項３記載の発明は、前述した請求項１又は２に記載の発明において、次の特徴点を備えているものである。
すなわち、請求項３記載の発明は、前記画像処理装置（３）に、前記カメラ付携帯端末（２）で撮影した画像を、前記カメラ付携帯端末（２）から受信して蓄積する画像蓄積手段（３３）を設け、前記カメラ付携帯端末（２）に、前記画像処理装置（３）側の前記画像蓄積手段（３３）に蓄積された画像のなかから、切り抜きたい画像を利用者に選択させる選択案内手段（２５）と、利用者が選択した画像を前記画像処理装置（３）側の前記画像蓄積手段（３３）から受信して保持する画像保持手段（２６）とを設け、前記カメラ付携帯端末（２）の前記ポイント指定案内手段（２３）が、前記画像保持手段（２６）に保持された画像に対して、利用者による指定ポイントの指定を行わせるものとなっていることを特徴とする。
【００１５】
（作用）
本発明によれば、カメラ付携帯端末（２）側で指定ポイントの指定を行うべき画像は、画像処理装置（３）から送付されてきたものとなる。このため、カメラ付携帯端末（２）側で処理対象となる画像と、画像蓄積手段（３）側で処理対象となる画像とは、各座標における画素や画像ファイルサイズ等の要素がすべて完全に一致するようになる。
このため、カメラ付携帯端末（２）から画像処理装置（３）へは、利用者によって指定された各指定ポイントの座標とその指定順位番号とを含む指定ポイントデータを送信すればよく、著しく情報量の多い切り抜き部の画像データを送信する必要がなく、処理能力が低いカメラ付携帯端末（２）の負担が軽減される。
【００１６】
（請求項４）
（特徴点）
請求項４記載の発明は、前述した請求項３に記載の発明において、次の特徴点を備えているものである。
すなわち、請求項４記載の発明は、前記カメラ付携帯端末（２）の前記選択案内手段（２５）が、切り抜き対象となる加工用画像と、加工用画像から切り抜いた切り抜き部が貼り付けられる背景用画像との両方を選択することのできるものとされ、前記画像処理装置（３）に、前記背景用画像に対する前記加工用画像の座標変換を行うことにより、前記背景用画像に対して前記加工用画像を移動して、前記切り抜き部の合成位置を設定する合成位置設定手段（３１Ｂ） と、この合成位置設定手段（３１Ｂ） によって前記切り抜き部の合成位置が設定された前記加工用画像については、前記切り抜き部内の画像データを保存し、且つ、前記切り抜き部外の画像データを破棄し、前記背景用画像については、前記切り抜き部外の画像データを保存し、且つ、前記切り抜き部内の画像データを破棄することにより、加工用画像から切り抜いた切り抜き部を背景用画像に貼り付ける画像合成を行う画像貼り付け手段とを設けたことを特徴とする。
【００１７】
（作用）
本発明によれば、利用者は、画像蓄積手段（３３）に蓄積された画像のなかから、切り抜きたい加工用画像、及び、切り抜いた画像の一部である切り抜き部を貼り付けたい背景用画像の両方を自由に選べるようになり、様々な合成画像の作成が可能となる。また、画像蓄積手段（３３）に蓄積すれば、画像合成処理済みの画像を背景用画像として利用することができるうえ、加工用画像及び背景用画像として同じ画像を選択することもでき、例えば、ある人物が映っている画像を加工用画像及び背景用画像の両方に利用すれば、その人物の像を切り抜いて、その隣りに貼り付ければ、双子の人物を創出することが可能となる。
【００１８】
（請求項５）
（特徴点）
請求項５記載の発明は、前述した請求項４記載の発明において、次の特徴点を備えているものである。
すなわち、請求項５記載の発明は、前記画像処理装置（３）に、前記カメラ付携帯端末（２）が受信できる画像ファイルサイズになるまで、合成画像の圧縮率変更を繰り返し行うことが可能とされ、圧縮率の変更により合成画像の画像ファイルサイズを調整する合成画像調整手段（３２Ａ） と、この合成画像調整手段（３２Ａ） で画像ファイルサイズが調整された合成画像を前記カメラ付携帯端末（２）へ送信する合成画像送信手段（３２Ｂ） とを設けたことを特徴とする。
【００１９】
（作用）
本発明によれば、画像処理装置（３）で処理した合成画像が、カメラ付携帯端末（２）で受信可能な所定ファイルサイズより大きくなっても、前述の所定ファイルサイズ以下となるまで、合成画像調整手段（３２Ａ） が合成画像の圧縮率変更処理を繰り返し行うので、画像処理装置（３）で処理した合成画像をカメラ付携帯端末（２）へ確実に送信できるようになる。
また、合成画像調整手段（３２Ａ） で圧縮率変更処理を行うにあたり、少しずつ段階的に圧縮率を高めていけば、カメラ付携帯端末（２）へ送信される合成画像のクオリティが必要以上に低くならない。これにより、可能な範囲で最高のクオリティを有する合成画像をカメラ付携帯端末（２）へ送信できるようになる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の一形態（以下、「実施形態」という。）を図面に基づき説明する。
（図面の説明）
図１ないし図３は、本実施形態を示すものであり、図１は、本実施形態に係る画像合成システム１を示す概略構成図、図２は、本実施形態に係るカメラ付携帯端末である携帯電話機２を示すブロック図、図３は、本実施形態に係る画像処理装置であるインターネットサーバー３（以下、単に「サーバー３」という。）を示すブロック図である。
【００２１】
（画像合成システム１）
図１において、画像合成システム１は、カメラ付携帯電話機２及びカメラ付ＰＤＡ装置２Ａ、並びに、図示しないＰＨＳ及びハンドヘルドコンピュータ等の不特定多数のカメラ付携帯端末と、これらのカメラ付携帯端末で撮影した画像の画像処理を行うサーバー３とを含んで構成されたものである。
これらのカメラ付携帯端末とサーバー３とは、携帯電話通信網等のデジタル式無線通信網とインターネット４とを含むデジタル通信網を介して相互に接続可能となっている。これにより、各カメラ付携帯端末で撮影された画像は、当該カメラ付携帯端末から無線信号となって基地局中継機５へ伝達されるようになっている。基地局中継機５に到達した画像は、当該基地局中継機５で有線信号に変換され、さらに、インターネット４を経由してサーバー３まで伝送されるようになっている。なお、伝送又は保存する際における画像の圧縮伸張方式は、ＪＰＥＧ方式を採用することができる。
【００２２】
カメラ付携帯電話機２は、他の電話機と通話を行う通話機能だけでなく、撮影した画像を他の電話機へ送信する画像送信機能、他のカメラ付携帯電話機や端末装置から送信されてくる画像を受信する画像受信機能、及び、インターネット４の閲覧機能等を有している。
カメラ付携帯電話機２には、図２に示されるように、他の電話機との通話及びインターネット４の閲覧を行うための通信を制御する通信制御処理装置２０と、通話の変復調処理等を行う通話処理手段２１と、当該カメラ付携帯電話機２が有する液晶表示装置の画面に、そのカメラで撮影した画像等を表示するための処理及び制御を行う表示制御処理手段２２とが設けられている。
【００２３】
一方、サーバー３は、登録されたカメラ付携帯電話機２の利用者が、当該カメラ付携帯電話機２で撮影した画像を保存するとともに、保存した画像の自由閲覧を当該利用者のみに行わせるようにしたものである。また、サーバー３は、カメラ付携帯電話機２で撮影した画像の一部を切り抜いて他の画像等と合成する画像合成機能も有している。
サーバー３には、図３に示されるように、インターネット閲覧機能付の電話機やパーソナルコンピュータ等に、そのコンテンツを閲覧させるために通信を制御する通信制御処理装置３０と、カメラ付携帯電話機２が撮影した画像の合成処理を制御する合成処理制御手段３１と、生成した合成画像の送信処理等を行う画像送信処理手段３２と、多数の画像を蓄積することができる画像蓄積手段３３とが設けられている。
【００２４】
図２に戻って、カメラ付携帯電話機２の通話処理手段２１には、利用者の音声等をアナログ電気信号（以下、「アナログ信号」と略す。）に変化するマイクロフォン２１Ａ と、マイクロフォン２１Ａ からのアナログ信号をデジタル電気信号（以下、「デジタル信号」と略す。）に変調して通信制御処理装置２０へ送信する変調手段２１Ｂ と、通信制御処理装置２０からのデジタル信号をアナログ信号に復調する復調手段２１Ｃ と、復調手段２１Ｃ からのアナログ信号により駆動されるスピーカー２１Ｄ とが設けられている。
【００２５】
カメラ付携帯電話機２の表示制御処理手段２２には、画像の一部を切り抜く処理がサーバー３で行えるように、ポイント指定案内手段２３及び指定ポイントデータ生成手段２４が設けられている。
ポイント指定案内手段２３は、その液晶表示装置の表示画面に、そのカメラで撮影した画像とともに操作案内を表示して、当該画像上における任意の指定ポイントを３点以上、利用者に指定させるものである。
指定ポイントデータ生成手段２４は、利用者によって指定された指定ポイントの各々の座標に、利用者が各指定ポイントを指定した順番を示す指定順位番号を付加した指定ポイントデータを生成してサーバー３へ送信するものである。
【００２６】
また、表示制御処理手段２２には、切り抜き処理をする画像を利用者に選択させるための選択案内手段２５と、選択した画像について切り抜き部分を利用者に指定させるための画像保持手段２６とが設けられている。
選択案内手段２５は、液晶表示装置の表示画面に表示した案内画面を参照させて、サーバー３側の画像蓄積手段３３に蓄積された画像のなかから、切り抜きを行いたい画像を利用者に選択させるものである。
また、選択案内手段２５は、画像蓄積手段３３に蓄積された画像のなかから、切り抜き対象となる加工用画像だけでなく、加工用画像から切り抜いた切り抜き部が貼り付けられる背景用画像も選択することができるようになっている。
画像保持手段２６は、利用者が選択した画像をサーバー３側の画像蓄積手段３３から受信して保持するものである。前述のポイント指定案内手段２３は、画像保持手段２６に保持された画像を液晶表示装置の表示画面に表示させて、利用者に指定ポイントの指定を行わせるようになっている。
【００２７】
ここで、カメラ付携帯電話機２の表示制御処理手段２２には、利用者に切り抜き部の領域を設定するために指定ポイントを指定させる切り抜き部領域指定モードと、既に設定された切り抜き部の領域内部に中抜き部の領域を設定するために指定ポイントを指定させる中抜き部領域指定モードとが設けられている。
切り抜き部領域指定モードを選択すると、表示制御処理手段２２は、切り抜き用の案内画面を液晶表示装置の表示画面に表示し、この切り抜き用の案内画面を参照しながら、利用者が指定ポイントの指定操作を行うと、切り抜き用の指定ポイントデータがサーバー３へ送信されるようになっている。
一方、中抜き部領域指定モードを選択すると、選択案内手段２５は、中抜き用の案内画面を液晶表示装置の表示画面に表示し、この中抜き用の案内画面を参照しながら、利用者が指定ポイントの指定操作を行うと、中抜き用の指定ポイントデータがサーバー３へ送信されるようになっている。
【００２８】
この際、切り抜き部領域指定モードにおける指定ポイントの指定操作と、中抜き部領域指定モードにおける指定ポイントの指定操作とは、同様の手順で行えるようにするのが好ましい。
また、後者のモードでは、指定できる最大ポイント数を前者のモードよりも少なくすることができる。例えば、切り抜き部領域指定モードにおける指定ポイントの最大数を３０ポイントとした場合、中抜き部領域指定モードにおける指定ポイントの最大数を１０ポイントとすることができる。
さらに、中抜き部領域指定モードにおいては、一つの切り抜き部に対して、複数箇所、例えば、３箇所の中抜き部を指定できるようにすることが好ましい。
【００２９】
サーバー３の合成処理制御手段３１には、図３の如く、撮影した画像から切り抜くべき切り抜き部を当該画像から切り抜くために、カメラ付携帯電話機２から送信されてきた指定ポイントデータから所定の領域を設定する領域設定手段３１Ａ が設けられている。
この領域設定手段３１Ａ は、指定ポイントデータの各々が示す座標のポイントを、当該指定順位番号が示す順番に従って順次直線で結ぶとともに、最後の指定順位番号が示すポイントと最初の指定順位番号が示すポイントとを直線で結んで閉じた輪郭を生成し、この輪郭を切り抜き部の領域として設定するものとなっている。
【００３０】
また、合成処理制御手段３１には、領域設定手段３１Ａ により領域の設定がなされた切り抜き部の画像合成位置を設定する合成位置設定手段３１Ｂ と、切り抜き部を背景用画像に貼り付ける画像合成処理を行う画像貼り付け手段３１Ｃ とが設けられている。
合成位置設定手段３１Ｂ は、切り抜き部の領域設定が済んだ加工用画像の座標系を、背景用画像の座標系に対して移動する座標変換を行うことにより、切り抜き部の新しい背景となる背景用画像に対して加工用画像をずらして、切り抜き部の合成位置を設定するものである。
画像貼り付け手段３１Ｃ は、合成位置設定手段３１Ｂ によって切り抜き部の合成位置が設定された加工用画像については、切り抜き部内の画像データを保存し、且つ、切り抜き部外の画像データを破棄し、背景用画像については、切り抜き部外の画像データを保存し、且つ、切り抜き部内の画像データを破棄することにより、加工用画像から切り抜いた切り抜き部を背景用画像に貼り付ける画像合成を行うものである。
【００３１】
ここで、サーバー３の合成処理制御手段３１には、切り抜き部の領域を設定する切り抜き部領域設定モードと、既に設定された切り抜き部の領域内部に中抜き部を設定する中抜き部領域設定モードとが設けられている。
カメラ付携帯電話機２側で切り抜き部領域指定モードが選択されると、これに応じて、サーバー３の合成処理制御手段３１は、自動的に、切り抜き部の領域を設定する切り抜き部領域設定モードとなるように設定されている。
切り抜き部領域設定モードとなった合成処理制御手段３１は、カメラ付携帯電話機２から送信されてくる指定ポイントデータを、切り抜き用の指定ポイントデータとして受信し、この指定ポイントデータに基づいて切り抜き部の領域を設定するようになっている。
【００３２】
一方、カメラ付携帯電話機２側で中抜き部領域指定モードが選択されると、これに応じて、サーバー３の合成処理制御手段３１は、自動的に、中抜き部の領域を設定する中抜き部領域設定モードとなるように設定されている。
中抜き部領域設定モードとなった合成処理制御手段３１は、カメラ付携帯電話機２から送信されてくる指定ポイントデータを、中抜き用の指定ポイントデータとして受信し、この指定ポイントデータに基づいて、切り抜き部の領域内に中抜き部の領域を設定するようになっている。
そして、切り抜き部の領域内に中抜き部の領域が設定された加工用画像が画像貼り付け手段３１Ｃ に入力されると、画像貼り付け手段３１Ｃ は、切り抜き部の領域内において、中抜き部の領域外の画像データを保存し、且つ、中抜き部の領域内の画像データを破棄することにより、その内側の一部分を欠いた、換言すると、中抜きした切り抜き部を背景用画像に貼り付けるようになっている。
【００３３】
ここで、画像貼り付け手段３１Ｃ には、加工用画像から切り抜いた切り抜き部と、その背景となる背景用画像との境界となる部分から生じる違和感を軽減するために、境界部分からジャギー（ドット単位のギザギザ）を排除して、境界部分をスムースに見せるアンチエイリアス処理機能、撮影時の照明条件の差を緩和する、例えば、雨天時に撮影した加工用画像を晴天時に撮影した背景用画像に貼り付ける際に生じる光量差を緩和するレンダリング処理機能、及び、切り抜き部と背景用画像との境界部分において色彩が徐々に変化するように当該境界部分の色彩にぼかし処理を行うブレンディング処理機能を設けることが望ましい。
【００３４】
また、サーバー３には、加工用画像から切り抜いた切り抜き部を背景用画像に合成した合成画像をカメラ付携帯電話機２に送るために、合成画像調整手段３２Ａ 及び合成画像送信手段３２Ｂ とが設けられている。
合成画像調整手段３２Ａ は、圧縮率を変更することにより、合成処理制御手段３１から受信した合成画像の画像ファイルサイズを変更するものであり、カメラ付携帯電話機２が受信できる画像ファイルサイズ、例えば、９ｋＢｙｔｅ以下になるまで、合成画像の圧縮率変更を繰り返し行うように設定されている。また、合成画像調整手段３２Ａ は、圧縮率変更処理を行うにあたり、少しずつ段階的に圧縮率を高めていくものとなっている。
合成画像送信手段３２Ｂ は、合成画像調整手段３２Ａ で画像ファイルサイズが調整された合成画像をカメラ付携帯電話機２へ送信するために、合成画像の送信ファイルを生成するものである。
【００３５】
次に、本実施形態における画像合成動作について説明する。
画像合成システム１で画像合成を行うのに先立ち、サーバー３の画像蓄積手段３３に、利用者が加工用画像及び背景用画像のいずれにも利用できる様々な画像を予め蓄積しておく。
一方、利用者は、カメラ付携帯電話機２を利用して人物や景色等を撮影し、保存しておきたい画像や、後で画像合成を行いたい画像等を撮影したら、当該画像をサーバー３へ送信し、これらの画像を画像蓄積手段３３に蓄積する。
【００３６】
利用者がカメラ付携帯電話機２を操作して、選択案内手段２５を起動すると、画像合成処理が開始される。選択案内手段２５の起動により、液晶表示装置の画面に案内画面が表示され、利用者は、画像蓄積手段３３に蓄積された画像、例えば、自分が撮影した画像、及び、予め画像蓄積手段３３に蓄積されていた画像の中から、任意のものを加工用画像又は背景用画像として選択する。
【００３７】
ここで、加工用画像が選択されると、切り抜き部領域指定モードとなったポイント指定案内手段２３を起動することができる。利用者は、ポイント指定案内手段２３を起動し、液晶表示装置の画面に選択した加工用画像を見ながら、指定ポイントを指定し、これにより、サーバー３側で、切り抜き部の領域を設定できるようにする。
例えば、利用者が加工用画像として、図４に示すように、人物４０が撮影された画像４１を選択すると、液晶表示装置４２の画面４３に人物４０を含む画像４１が表示される。利用者は、画面４３に表示された人物４０を切り抜きたいので、人物４０の周辺部分に複数の指定ポイント、例えば、指定ポイントＰ０１〜Ｐ２１を指定していく。
含む画像４１当該は、ポイント指定案内手段２３を起動し、液晶表示装置の画面に選択した加工用画像を見ながら、指定ポイントを指定し、これにより、サーバー３側で、切り抜き部の領域を設定できるようにする。そして、切り抜き部の領域指定の完了後、切り抜き部の領域に係る指定ポイントデータがサーバー３へ送信される。
なお、切り抜き部の領域指定が完了すると、中抜き部領域指定モードへ移行可能となるので、必要に応じて、中抜き部の領域指定を行う。この中抜き部の領域指定が完了すると、中抜き部の領域に係る指定ポイントデータがサーバー３へ送信される。
【００３８】
切り抜き部の領域に係る指定ポイントデータを受信すると、サーバー３は、切り抜き部領域設定モードとなり、切り抜き部の領域設定を行う。すなわち、サーバー３の領域設定手段３１Ａ は、図４の如く、指定ポイントデータの各々が示す座標のポイントＰ０１〜Ｐ２１を、当該指定順位番号０１〜２１が示す順番に従って順次直線で結ぶとともに、最後の指定順位番号２１が示すポイントＰ２１と最初の指定順位番号０１が示すポイントＰ０１とを直線で結んで閉じた輪郭を生成し、この輪郭を切り抜き部４４の領域として設定する。
【００３９】
一方、中抜き部の領域に係る指定ポイントデータを受信すると、サーバー３は、中抜き部領域設定モードとなり、中抜き部の領域設定を行う。この中抜き部領域設定では、切り抜き部４４の領域設定と同様の動作が行われるので、中抜き部の領域を設定する動作についての説明は省略する。
【００４０】
ところで、前述した背景用画像として、例えば、図５に示すように、都会５０の夜景を撮影した画像５１が選択されたとする。このように背景用画像５１の選択が完了し、且つ、切り抜き部４４の領域設定と、必要な中抜き部の領域設定とが完了すると、合成位置設定手段３１Ｂ が起動され、これにより、背景用画像５１に対する加工用画像から切り抜いた切り抜き部４４の位置を設定する。ここでは、例えば、画像５１の幅方向の中心から右側へずらした位置に切り抜き部４４の位置が設定されたものとする。
【００４１】
背景用画像５１に対する切り抜き部４４の位置設定が完了すると、画像貼り付け手段３１Ｃ が起動され、図６に示すように、背景用画像５１に対して設定された位置に切り抜き部４４が貼り付けられ、これにより、合成画像６０が生成される。
そして、生成された合成画像６０は、カメラ付携帯電話機２が受信できるように、合成画像調整手段３２Ａ により画像ファイルサイズが調整され、この後、合成画像送信手段３２Ｂ を経由してカメラ付携帯電話機２へ送信される。カメラ付携帯電話機２に受信されると、本実施形態における画像合成動作が完了する。
【００４２】
このような本実施形態によれば、次のような効果を得ることができる。
すなわち、サーバー３に領域設定手段３１Ａ を設け、撮影した画像の一部分を切り抜くにあたり、利用者がカメラ付携帯電話機２を操作して指定した複数の指定ポイントを相互に結び、切り抜きたい部分の輪郭を数十本の折れ線で近似するようにしたので、利用者が意図するものにほぼ一致する切り抜き部４４を切り抜くことができる。
ここで、複数指定ポイントの指定は、切り抜きたい部分の輪郭線に沿ってカーソルを移動しながら、実行ボタンを適宜押していく等の操作で行えるので、マンマシンインターフェイスが貧弱なカメラ付携帯電話機２でも容易且つ迅速に行うことができる。
【００４３】
しかも、複数の指定ポイントを指定し、切り抜きたい部分の輪郭を折れ線で近似するので、切り抜き部４４の領域設定を行うにあたり、指定ポイントの座標を認識して記憶すればよいので、含まれる多数のポイントをすべて記憶する必要のある曲線の認識とは異なり、切り抜きたい部分の設定に必要となる記憶容量を著しく小さくできる。
【００４４】
そのうえ、切り抜きたい部分の輪郭が数十本の折れ線で近似されるので、切り抜きたい部分の設定が比較的単純なプロセスで処理でき、当該設定処理を高速で行う必要がなくなる。
このため、処理能力が低いカメラ付携帯電話機２でも、利用者の意図が充分反映された切り抜き処理を行うことができる。
【００４５】
また、カメラ付携帯電話機２側において、切り抜き部４４の領域設定と同様に、中抜き部の領域設定も指定ポイントを指定することで行うようにし、且つ、切り抜き部４４の領域指定を行う切り抜き部領域指定モードと、中抜き部の領域指定を行う中抜き部領域指定モードとを設け、切り抜き部の領域指定と中抜き部の領域指定とを時間的に別々に行うようにしたので、カメラ付携帯電話機２側に設けたポイント指定案内手段２３で、切り抜き部の領域指定及び中抜き部の領域指定の両方が行え、カメラ付携帯電話機２の構成を簡略化することができる。
そのうえ、サーバー３側において、切り抜き部の領域設定と同様に、中抜き部の領域設定もカメラ付携帯電話機２側で指定した指定ポイントに基づいて行うようにし、且つ、切り抜き部の領域設定を行う切り抜き部領域設定モードと、中抜き部の領域設定を行う中抜き部領域設定モードとを設け、切り抜き部４４の領域設定と中抜き部の領域設定とを時間的に別々に行うようにしたので、サーバー３側に設けた領域設定手段３１Ａ で、切り抜き部４４の領域設定及び中抜き部の領域設定の両方が行え、サーバー３の構成を簡略化することができる。
【００４６】
さらに、サーバー３に、カメラ付携帯電話機２で撮影した画像を、カメラ付携帯電話機２から受信して蓄積する画像蓄積手段３３を設け、カメラ付携帯電話機２側で指定ポイントの指定を行うべき画像を、サーバー３から送付するようにしたので、カメラ付携帯電話機２側で処理対象となる画像と、サーバー３側で処理対象となる画像とは、各座標における画素や画像ファイルサイズ等の要素がすべて完全に一致するようになる。
このため、カメラ付携帯電話機２からサーバー３へは、利用者によって指定された各指定ポイントの座標とその指定順位番号とを含む指定ポイントデータを送信すればよく、著しく情報量の多い切り抜き部４４の画像データを送信する必要がなく、処理能力が低いカメラ付携帯電話機２の負担を軽減することができる。
【００４７】
また、カメラ付携帯電話機２に選択案内手段２５を設け、この選択案内手段２５により、サーバー３側の画像蓄積手段３３に蓄積された画像のなかから、切り抜き対象となる加工用画像と、加工用画像から切り抜いた切り抜き部が貼り付けられる背景用画像との両方を選択できるようにしたので、様々な合成画像を作成することができる。また、画像蓄積手段３３に蓄積すれば、画像合成処理済みの画像を背景用画像として利用することができるうえ、加工用画像及び背景用画像として同じ画像を選択することもでき、例えば、ある人物が映っている画像を加工用画像及び背景用画像の両方に利用すれば、その人物の像を切り抜いて、その隣りに貼り付ければ、双子の人物を創出することができ、合成画像に様々な演出を施すことができる。
【００４８】
さらに、サーバー３に、カメラ付携帯電話機２が受信できる画像ファイルサイズになるまで、合成画像の圧縮率変更を繰り返し行うことが可能とされ、圧縮率の変更により合成画像の画像ファイルサイズを調整する合成画像調整手段３２Ａ と、この合成画像調整手段３２Ａ で画像ファイルサイズが調整された合成画像をカメラ付携帯電話機２へ送信する合成画像送信手段３２Ｂ とを設け、サーバー３で処理した合成画像６０が、カメラ付携帯電話機２で受信不可能な大きさになっても、前述の所定ファイルサイズ以下となるまで、合成画像調整手段３２Ａ が合成画像の圧縮率変更処理を繰り返し行うので、サーバー３で処理した合成画像６０をカメラ付携帯電話機２へ確実に送信することができる。
また、合成画像調整手段３２Ａ で圧縮率変更処理を行うにあたり、少しずつ段階的に圧縮率を高めていくようにしたので、カメラ付携帯電話機２へ送信される合成画像６０のクオリティが必要以上に低くならない。これにより、可能な範囲で最高のクオリティを有する合成画像６０をカメラ付携帯電話機２へ送信することができる。
【００４９】
なお、本発明は、前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲における変形及び改良などをも含むものである。
例えば、カメラ付携帯端末としては、カメラ付携帯電話機に限らず、デジタルカメラを備えるとともに、デジタル通信網を介して画像処理装置と通信可能となったＰＨＳ、ＰＤＡ及びハンドヘルドコンピュータでもよい。
【００５０】
【発明の効果】
本発明は、以上のように構成されているので、以下に記載されるような効果を奏する。
（請求項１の効果）
請求項１記載の発明によれば、次のような効果を奏する。
すなわち、請求項１記載の発明によれば、カメラ付携帯端末で撮影した画像の一部分を切り抜くにあたり、表示画面上に表示される画像に対して、切り抜きたい部分の輪郭線上に複数の指定ポイントを指定すると、指定された複数の指定ポイントが相互に結ばれ、切り抜きたい部分の輪郭が数十本の折れ線で近似され、利用者が意図するものにほぼ一致する切り抜き部が切り抜かれるようになる。
ここで、複数指定ポイントの指定は、切り抜きたい部分の輪郭線に沿ってカーソルを移動しながら、実行ボタンを適宜押していく等の操作で行えるので、マンマシンインターフェイスが貧弱なカメラ付携帯端末でも、切り抜き部分の指定を容易且つ迅速に行うことができる。
しかも、複数の指定ポイントを指定し、切り抜きたい部分の輪郭を折れ線で近似するので、切り抜き部の領域設定を行うにあたり、指定ポイントの座標を認識して記憶すればよいので、含まれる多数のポイントをすべて記憶する必要のある曲線の認識とは異なり、切り抜きたい部分の設定に必要となる記憶容量が著しく小さくできる。
そのうえ、切り抜きたい部分の輪郭が数十本の折れ線で近似されるので、切り抜きたい部分の設定が比較的単純なプロセスで処理でき、当該設定処理を高速で行う必要がなくなる。
このため、処理能力が低いカメラ付携帯端末でも、利用者の意図が充分反映された切り抜き処理が行えるようになる。
【００５１】
（請求項２の効果）
請求項２記載の発明によれば、上記した請求項１記載の発明の効果に加え、次のような効果を奏する。
すなわち、請求項２記載の発明によれば、カメラ付携帯端末側において、切り抜き部の領域設定と同様に、中抜き部の領域設定も指定ポイントを指定することで行うようにし、且つ、切り抜き部の領域指定を行う切り抜き部領域指定モードと、中抜き部の領域指定を行う中抜き部領域指定モードとを設け、切り抜き部の領域指定と中抜き部の領域指定とを時間的に別々に行うようにしたので、カメラ付携帯端末側に設けたポイント指定案内手段で、切り抜き部の領域指定及び中抜き部の領域指定の両方が行え、カメラ付携帯端末の構成を簡略化することができる。
一方、画像処理装置側において、切り抜き部の領域設定と同様に、中抜き部の領域設定もカメラ付携帯端末側で指定した指定ポイントに基づいて行うようにし、且つ、切り抜き部の領域設定を行う切り抜き部領域設定モードと、中抜き部の領域設定を行う中抜き部領域設定モードとを設け、切り抜き部の領域設定と中抜き部の領域設定とを時間的に別々に行うようにしたので、画像処理装置側に設けた領域設定手段で、切り抜き部の領域設定及び中抜き部の領域設定の両方が行え、画像処理装置の構成を簡略化することができる。
【００５２】
（請求項３の効果）
請求項３記載の発明によれば、上記した請求項１又は２記載の発明の効果に加え、次のような効果を奏する。
すなわち、請求項３記載の発明によれば、カメラ付携帯端末側で指定ポイントの指定を行うべき画像は、画像処理装置から送付されてきたものとなる。このため、カメラ付携帯端末側で処理対象となる画像と、画像蓄積手段側で処理対象となる画像とは、各座標における画素や画像ファイルサイズ等の要素がすべて完全に一致するようになる。
このため、カメラ付携帯端末から画像処理装置へは、利用者によって指定された各指定ポイントの座標とその指定順位番号とを含む指定ポイントデータを送信すればよく、著しく情報量の多い切り抜き部の画像データを送信する必要がなく、処理能力が低いカメラ付携帯端末の負担を軽減することができる。
【００５３】
（請求項４の効果）
請求項４記載の発明によれば、上記した請求項３記載の発明の効果に加え、次のような効果を奏する。
すなわち、請求項４記載の発明によれば、利用者は、画像蓄積手段に蓄積された画像のなかから、切り抜きたい加工用画像、及び、切り抜いた画像の一部である切り抜き部を貼り付けたい背景用画像の両方を自由に選べるようになり、様々な合成画像の作成が可能となる。画像蓄積手段に蓄積すれば、画像合成処理済みの画像を背景用画像として利用することができるうえ、加工用画像及び背景用画像として同じ画像を選択することもできる。例えば、ある人物が映っている画像を加工用画像及び背景用画像の両方に利用すれば、その人物の像を切り抜いて、その隣りに貼り付ければ、双子の人物を創出することができ、様々な演出を実現することができる。
【００５４】
（請求項５の効果）
請求項５記載の発明によれば、上記した請求項４記載の発明の効果に加え、次のような効果を奏する。
すなわち、請求項５記載の発明によれば、画像処理装置で処理した合成画像が、カメラ付携帯端末で受信可能な所定ファイルサイズより大きくなっても、前述の所定ファイルサイズ以下となるまで、合成画像調整手段が合成画像の圧縮率変更処理を繰り返し行うので、画像処理装置で処理した合成画像をカメラ付携帯端末へ確実に送信することができる。
また、合成画像調整手段で圧縮率変更処理を行うにあたり、少しずつ段階的に圧縮率を高めていけば、カメラ付携帯端末へ送信される合成画像のクオリティが必要以上に低くならない。これにより、可能な範囲で最高のクオリティを有する合成画像をカメラ付携帯端末へ送信することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像合成システムを示す模式図である。
【図２】前記実施形態に係るカメラ付携帯端末を示すブロック図である。
【図３】前記実施形態に係る画像処理装置を示すブロック図である。
【図４】前記実施形態の指定ポイントの指定動作を説明する図である。
【図５】前記実施形態に係る背景用画像の一例を示す図である。
【図６】前記実施形態に係る合成画像の一例を示す図である。
【符号の説明】
１ 画像合成システム ２ カメラ付携帯電話機
２Ａ カメラ付ＰＤＡ装置 ３ インターネットサーバー
４ インターネット ５ 基地局中継機
２０ 通信制御処理装置 ２１ 通話処理手段
２１Ａ マイクロフォン ２１Ｂ 変調手段
２１Ｃ 復調手段 ２１Ｄ スピーカー
２２ 表示制御処理手段 ２３ ポイント指定案内手段
２４ 指定ポイントデータ生成手段 ２５ 選択案内手段
２６ 画像保持手段 ３０ 通信制御処理装置
３１ 合成処理制御手段 ３１Ａ 領域設定手段
３１Ｂ 合成位置設定手段 ３１Ｃ 画像貼り付け手段
３２ 画像送信処理手段 ３２Ａ 合成画像調整手段
３２Ｂ 合成画像送信手段 ３３ 画像蓄積手段
４０ 人物 ４１ 画像
４２ 液晶表示装置 ４３ 画面
４４ 切り抜き部 ５０ 都会
５１ 背景用画像 ６０ 合成画像
Claims (5)
- デジタルカメラが内蔵されたカメラ付携帯端末で撮影した画像を、デジタル通信網を介して当該カメラ付携帯端末から画像処理装置へ送信し、画像処理装置で前記画像の一部を切り抜いて画像合成を行うカメラ付携帯端末用の画像合成システムであって、
前記カメラ付携帯端末には、その表示画面に前記画像とともに操作案内を表示して、前記画像上における任意の指定ポイントを３点以上、利用者に指定させるポイント指定案内手段と、
前記利用者によって指定された前記指定ポイントの各々の座標に、前記利用者が各指定ポイントを指定した順番を示す指定順位番号を付加した指定ポイントデータを生成して前記画像処理装置へ送信する指定ポイントデータ生成手段とが設けられ、
前記画像処理装置には、撮影した画像から切り抜くべき切り抜き部を当該画像から切り抜くために、前記指定ポイントデータから所定の領域を設定する領域設定手段が設けられ、
前記領域設定手段は、前記指定ポイントデータの各々が示す座標のポイントを、当該指定順位番号が示す順番に従って順次直線で結ぶとともに、最後の指定順位番号が示すポイントと最初の指定順位番号が示すポイントとを直線で結んで閉じた輪郭を生成し、この輪郭を前記領域として設定するものであることを特徴とするカメラ付携帯端末用の画像合成システム。 - 前記カメラ付携帯端末には、利用者に切り抜き部の領域を設定するために指定ポイントを指定させる切り抜き部領域指定モードと、既に設定された切り抜き部の領域内部に中抜き部の領域を設定するために指定ポイントを指定させる中抜き部領域指定モードとが設けられ、
前記画像処理装置には、前記指定ポイントデータから前記切り抜き部の領域を設定する切り抜き部領域設定モードと、前記指定ポイントデータから前記中抜き部の領域を設定する中抜き部領域設定モードとが設けられ、
前記切り抜き部領域設定モード及び前記中抜き部領域設定モードは、前記カメラ付携帯端末側で前記切り抜き部領域指定モード及び前記中抜き部領域指定モードの一方から他方へ切り換えられるのに応じて自動的に切り換えられ、
前記領域設定手段は、前記切り抜き部領域指定モード時に、前記指定ポイントデータに基づいて前記切り抜き部の領域を設定し、前記中抜き部領域指定モード時に、前記指定ポイントデータに基づいて前記中抜き部の領域を設定するものであることを特徴とする請求項１記載のカメラ付携帯端末用の画像合成システム。 - 前記画像処理装置には、前記カメラ付携帯端末で撮影した画像を、前記カメラ付携帯端末から受信して蓄積する画像蓄積手段が設けられ、
前記カメラ付携帯端末には、前記画像処理装置側の前記画像蓄積手段に蓄積された画像のなかから、切り抜きたい画像を利用者に選択させる選択案内手段と、利用者が選択した画像を前記画像処理装置側の前記画像蓄積手段から受信して保持する画像保持手段とが設けられ、
前記カメラ付携帯端末の前記ポイント指定案内手段は、前記画像保持手段に保持された画像に対して、利用者による指定ポイントの指定を行わせるものであることを特徴とする請求項１又は２記載のカメラ付携帯端末用の画像合成システム。 - 前記カメラ付携帯端末の前記選択案内手段は、切り抜き対象となる加工用画像と、加工用画像から切り抜いた切り抜き部が貼り付けられる背景用画像との両方を選択することが可能とされ、
前記画像処理装置には、前記背景用画像に対する前記加工用画像の座標変換を行うことにより、前記背景用画像に対して前記加工用画像を移動して、前記切り抜き部の合成位置を設定する合成位置設定手段と、
この合成位置設定手段によって前記切り抜き部の合成位置が設定された前記加工用画像については、前記切り抜き部内の画像データを保存し、且つ、前記切り抜き部外の画像データを破棄し、前記背景用画像については、前記切り抜き部外の画像データを保存し、且つ、前記切り抜き部内の画像データを破棄することにより、加工用画像から切り抜いた切り抜き部を背景用画像に貼り付ける画像合成を行う画像貼り付け手段とが設けられていることを特徴とする請求項３記載のカメラ付携帯端末用の画像合成システム。 - 前記画像処理装置には、前記カメラ付携帯端末が受信できる画像ファイルサイズになるまで、合成画像の圧縮率変更を繰り返し行うことが可能とされ、圧縮率の変更により合成画像の画像ファイルサイズを調整する合成画像調整手段と、この合成画像調整手段で画像ファイルサイズが調整された合成画像を前記カメラ付携帯端末へ送信する合成画像送信手段とが設けられていることを特徴とする請求項４記載のカメラ付携帯端末用の画像合成システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003119436A JP2004328318A (ja) | 2003-04-24 | 2003-04-24 | カメラ付携帯端末用の画像合成システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003119436A JP2004328318A (ja) | 2003-04-24 | 2003-04-24 | カメラ付携帯端末用の画像合成システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004328318A true JP2004328318A (ja) | 2004-11-18 |
Family
ID=33498657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003119436A Pending JP2004328318A (ja) | 2003-04-24 | 2003-04-24 | カメラ付携帯端末用の画像合成システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004328318A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007003682A1 (en) * | 2005-06-30 | 2007-01-11 | Nokia Corporation | Camera control means to allow operating of a destined location of the information surface of a presentation and information system |
| JP2008182680A (ja) * | 2006-12-27 | 2008-08-07 | Fujifilm Corp | 監視システム、監視方法、及びプログラム |
-
2003
- 2003-04-24 JP JP2003119436A patent/JP2004328318A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007003682A1 (en) * | 2005-06-30 | 2007-01-11 | Nokia Corporation | Camera control means to allow operating of a destined location of the information surface of a presentation and information system |
| US8164640B2 (en) | 2005-06-30 | 2012-04-24 | Nokia Corporation | Camera control means to allow operating of a destined location of the information surface of a presentation and information system |
| US8970715B2 (en) | 2005-06-30 | 2015-03-03 | Nokia Corporation | Camera control means to allow operating of a destined location of the information surface of a presentation and information system |
| US9641750B2 (en) | 2005-06-30 | 2017-05-02 | Iii Holdings 3, Llc | Camera control means to allow operating of a destined location of the information surface of a presentation and information system |
| JP2008182680A (ja) * | 2006-12-27 | 2008-08-07 | Fujifilm Corp | 監視システム、監視方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101442600B (zh) | 动态处理图像的方法、装置及终端 | |
| KR101874895B1 (ko) | 증강 현실 제공 방법 및 이를 지원하는 단말기 | |
| US7864198B2 (en) | Image processing method, image processing device and mobile communication terminal | |
| US9661265B2 (en) | Method of conveying emotion in video telephone mode and wireless terminal implementing the same | |
| EP3712697A1 (en) | Techniques to automatically focus a digital camera | |
| JP2002354436A (ja) | テレビ電話装置 | |
| JP2004145291A (ja) | 画像表示装置、画像表示方法及びプログラム | |
| KR20020060495A (ko) | 가상 배경 표시 기능을 갖는 영상 단말 장치 및 그 구현방법 | |
| CN111448587A (zh) | 一种广告图片的显示方法、上传方法及装置 | |
| US8290299B2 (en) | Object outputting method and information processing apparatus | |
| JP4345353B2 (ja) | コミュニケーション端末装置 | |
| WO2011003315A1 (zh) | 一种基于移动终端的图像处理方法及移动终端 | |
| JP2004328318A (ja) | カメラ付携帯端末用の画像合成システム | |
| JP3891147B2 (ja) | 動画編集装置、動画編集方法及びプログラム | |
| JP3609074B2 (ja) | 携帯電話における画像加工処理方法 | |
| KR20080028183A (ko) | 프로젝션 기능을 가지는 휴대 단말기의 영상 제어 시스템및 방법 | |
| CN111866384B (zh) | 拍摄控制方法、移动终端及计算机存储介质 | |
| US9542720B2 (en) | Terminal device, image display method, and storage medium | |
| US8237766B2 (en) | Video telephony terminal and image transmission method thereof | |
| JP2005215158A (ja) | 画像表示装置およびその制御方法 | |
| JP2000261574A (ja) | 携帯用端末装置およびデータ通信システム | |
| KR100640540B1 (ko) | 무선통신단말기에서의 배경화면 설정 방법 | |
| KR100605801B1 (ko) | 휴대용단말기에서 이미지를 편집하는 방법 | |
| KR20050018442A (ko) | 이동통신 단말기에게 영상 합성 서비스를 제공하는 시스템및 그 방법, 영상 합성 기능을 가지는 이동통신 단말기 및그 방법 | |
| KR100664154B1 (ko) | 휴대단말기의 영상 표시 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050127 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070514 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070926 |