JP2007018386A - 画像処理装置、ユーザid格納端末装置、写真撮影装置、画像処理端末装置、画像処理方法、および画像処理システム - Google Patents

画像処理装置、ユーザid格納端末装置、写真撮影装置、画像処理端末装置、画像処理方法、および画像処理システム Download PDF

Info

Publication number
JP2007018386A
JP2007018386A JP2005200827A JP2005200827A JP2007018386A JP 2007018386 A JP2007018386 A JP 2007018386A JP 2005200827 A JP2005200827 A JP 2005200827A JP 2005200827 A JP2005200827 A JP 2005200827A JP 2007018386 A JP2007018386 A JP 2007018386A
Authority
JP
Japan
Prior art keywords
image
user
terminal device
image processing
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005200827A
Other languages
English (en)
Other versions
JP4760172B2 (ja
Inventor
Akihiro Aoi
昭博 青井
Takamasa Nishigori
崇雅 西郡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furyu Corp
Original Assignee
Omron Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Entertainment Co Ltd filed Critical Omron Entertainment Co Ltd
Priority to JP2005200827A priority Critical patent/JP4760172B2/ja
Publication of JP2007018386A publication Critical patent/JP2007018386A/ja
Application granted granted Critical
Publication of JP4760172B2 publication Critical patent/JP4760172B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 他者の意向を反映してその人のプライバシーを保護するように画像処理する画像処理装置を実現する。
【解決手段】 端末装置3は、写真画像と、該写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを対応付けて記憶する記憶部32と、ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得する取得部311と、取得したユーザIDに一致する顔画像IDに対応する上記画像中の顔画像に画像処理を施す画像処理部312とを備えている。
【選択図】 図1

Description

本発明は、画像中の特定の部分画像、特に顔画像に対して画像処理を施すための画像処理装置、画像処理端末装置、画像処理方法、および画像処理システムに関するものである。
従来、例えばゲームセンターなどの娯楽施設に設置されている、撮影した写真をシールとして出力する写真シール機(写真撮影プリント装置)では、撮影から画像編集(落書き)そして印刷に至るまで一連の工程を1つの筐体で行ってきた。写真シール機は、2つの筐体で構成されているものもあるが、実質的には1つの筐体として考えられ、写真シール機が登場した当初は、1つの場所で上記の工程が全て行われていた。そのため、ユーザの回転率が非常に悪く、人気のある機種の場合は何分も待ち時間が発生していた。しかし、最近では、その待ち時間を解消するための工夫が写真シール機に盛り込まれ、上記の工程を2つ以上の複数の場所に分けて行う、いわゆる「2重接客」や「3重接客」と呼ばれる機種が一般的になり、回転率を向上させている。また、上記の工程に加え、さらに、撮影待ちの時間に行う「事前接客」や、シール紙の印刷待ちの時間に行う「事後接客」などの工程を含む機種もある。また、落書きを写真シール機から着脱可能な落書きパネルにて行い、落書き後の画像を写真シール機本体に転送するものもある(例えば、特許文献1参照)。また、写真シール機にて撮影した写真画像を端末に転送するシステムもある(例えば、特許文献2参照)。
一方、デジタルカメラ等の撮影手段を有する携帯電話機(カメラ付き携帯電話機)等のモバイル機器の機能向上と普及に伴い、単に被写体を撮影するだけでなく、写真シール機において実現されているような、画像編集機能を有するものも登場している。さらに、カメラ付き携帯電話機で撮影した画像や上記編集機能を用いて編集した画像を、インターネットや赤外線を利用して他の携帯電話機に送信できるようになっている。携帯電話機を用いて画像をやり取りする場合、例えば、送信側がメールに直接添付ファイルとして添付して画像を送信すると、受信側はそれを受信することができる。また、送信側がサーバに画像を保存し、保存先のURLをメール等で送信し、受信側はその保存先にアクセスすると画像を閲覧できる、というようになっている(例えば、特許文献3参照)。
特開2004−362046号公報(2004年12月24日公開) 特開2001−245290号公報(2001年9月7日公開) 特開2004−70614号公報(2004年3月4日公開)
ところで、上記のように写真画像をサーバに送信して公開したり、他の端末装置に送信したりする場合に、写真画像が複数人で撮影したものであると、送信する側は、他人に閲覧されてもよいと判断して送信したとしても、写真画像に一緒に写っている他の人は公開を望んでいない場合がある。しかしながら、一緒に写っている他の人に、確認を取るようなことはなく、よって、一緒に写っている他の人の意向は考慮されないまま、写真画像は、サーバ上で公開されたり、他の端末装置に送信されたりすることになる。写真画像には顔が写っているため、安易な送信は、肖像権に係る個人のプライバシーの侵害や、個人情報の漏洩となる可能性がある。サーバでは、URLさえ知っていれば誰でも閲覧可能であるし、知らなくても簡単に見つけることもできる。そのため、安全や保護といった対策が取られるべきであるが、従来技術では、一緒に写っている他の人のプライバシーを保護して、安全で簡便に、サーバ上にて公開したり、他の端末装置に送信したりすることができない。
そこで、本発明は、上記の問題に鑑みてなされたものであり、その目的は、他者の意向を反映してその人のプライバシーを保護するように画像処理できる、画像処理装置、画像処理端末装置、画像処理方法、および画像処理システムを実現することにある。
本発明に係る画像処理装置は、上記課題を解決するために、本願発明の画像処理装置は、画像と、該画像中の複数の部分画像を識別するためのそれぞれの部分画像IDとを対応付けて記憶する記憶部と、ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得する取得手段と、取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像に画像処理を施す画像処理手段と、を備えたことを特徴としている。
また、本発明に係る画像処理方法は、上記課題を解決するために、画像と、該画像中の部分画像を識別するための部分画像IDとを対応付けて記憶する記憶部を備えた画像処理装置が上記画像を処理する画像処理方法であって、ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得するユーザID取得ステップと、上記ユーザID取得ステップにて取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像に画像処理を施す画像処理ステップと、を含むことを特徴としている。
上記構成及び上記方法によると、画像中の複数の部分画像には、それぞれを識別するための部分画像IDが対応付けられており、取得したユーザIDに一致する部分画像IDに対応する部分画像、つまり、取得したユーザIDにより特定される部分画像に対して画像処理を施すことができる。そのため、ユーザIDを取得すると、そのIDにより特定される部分画像に対して画像処理が施されるというルールが、他の端末装置(ユーザIDをあらかじめ格納した端末装置)との間にあれば、上記構成および上記方法においてユーザIDを取得することで、このユーザIDを送信した端末装置のユーザの、対応する部分画像には画像処理して欲しい、あるいは、対応する部分画像は公開されたくないといういう意向を確認することができる。そして、この意向に基づいて、対応する部分画像に画像処理を行うことができる。
この場合、ユーザIDを格納する端末装置に問い合わせてからユーザIDを取得するようになっていてもよいし、問い合わせずともユーザIDを格納する端末装置からユーザIDを受信した場合には、画像処理をするようになっていてもよい。
ここで、部分画像IDとは各部分画像を識別するための情報である。部分画像IDは、各々の部分画像を夫々識別することができる情報であればどのようなものでもかまわなく、例えば、文字、数字、記号等の組み合わせからなる情報であってもよい。また、ユーザIDとは各ユーザを識別するための情報であり、各々のユーザを夫々識別することができる情報であればどのようなものでもかまわなく、例えば、文字、数字、記号等の組み合わせからなる情報であってもよい。
上記構成あるいは上記方法により処理された画像を、端末装置に送信したりサーバにて公開したりする場合、取得したユーザIDにより特定される部分画像には画像処理が施されているため、その部分画像は正確に認識されることがない。つまり、画像の送信時や公開時のユーザIDを格納する端末装置のユーザの個人情報の機密性を高めることができる。よって個人のプライバシーを侵害することが無い。そのため、画像を気軽に送信したり、サーバにアップロードしたりすることができる。
ここで、部分画像に対する画像処理は、取得したユーザIDにより特定される部分画像が原画像と異なるように施されればよく、例えば、モザイク処理であってもよい。公知のモザイク処理の手法を用いて、簡単に部分画像を抽象化することができる。なお、画像処理としてはモザイク処理だけに限らず、部分画像をぼかしたり、塗り潰したり、部分画像を似せて描いた絵に変換したりするなど、種々の処理を採用することができる。また、部分画像を表示させないようにするような処理であってもよい。ここに記載した画像処理は単なる例示であり、これらに限定されることはない。
また、本願発明に係る画像処理装置では、上記構成に加え、上記取得手段は、上記ユーザIDと共に上記部分画像の表示の指示情報を取得するものであり、上記画像処理手段は、上記指示情報が表示の禁止を指示する表示禁止情報である場合には、上記画像処理を行うようになっていてもよい。
上記構成によると、ユーザIDと共に取得した表示指示情報が表示の禁止を指示する表示禁止情報であると、このユーザIDにより特定される部分画像に対して、画像処理を行う。表示禁止情報を取得することでユーザIDを格納する端末装置のユーザの、ユーザIDにより特定される部分画像は表示されたくない、という意図を明確に確認することができる。この表示禁止情報に基づき、ユーザIDを格納する端末装置のユーザの意図を確実に反映させて、画像処理を行うことができる。
本発明に係る画像処理装置は、上記課題を解決するために、画像と、該画像中の複数の部分画像を識別するためのそれぞれの部分画像IDとを対応付けて記憶する記憶部と、ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得する取得手段と、取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像を除いて、上記画像に画像処理を施す画像処理手段と、を備えたことを特徴としている。
また、本発明に係る画像処理方法は、上記課題を解決するために、画像と、該画像中の複数の部分画像を識別するためのそれぞれの部分画像IDとを対応付けて記憶する記憶部を備えた画像処理装置が上記画像を処理する画像処理方法であって、ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得するユーザID取得ステップと、上記ユーザID取得ステップにて取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像を除いて、上記画像に画像処理を施す画像処理ステップと、を含んでいてもよい。
上記構成及び上記方法によると、画像中の複数の部分画像には、それぞれを識別するための部分画像IDが対応付けられており、取得したユーザIDに一致する部分画像IDに対応する部分画像を除いて、つまり、取得したユーザIDにより特定される部分画像を除いた画像に対して画像処理を施すことができる。そのため、ユーザIDを取得すると、そのIDにより特定される部分画像以外の画像に対して画像処理が施されるというルールが、他の端末装置(ユーザIDをあらかじめ格納した端末装置)との間にあれば、上記構成および上記方法において、ユーザIDを取得することで、ユーザIDを送信した端末装置のユーザの、対応する部分画像には画像処理しないでよい、あるいは、対応する部分画像は公開されてもよい、という意向を確認することができる。そして、この意向に基づいて、対応する部分画像を除いて画像処理を行うことができる。
この場合、ユーザIDを格納する端末装置に問い合わせてからユーザIDを取得するようになっていてもよいし、問い合わせずともユーザIDを格納する端末装置からユーザIDを受信した場合には、対応する部分画像を除いて画像処理するようになっていてもよい。
上記構成あるいは上記方法により処理された画像を、端末装置に送信したりサーバにて公開したりする場合、少なくとも取得したユーザIDにより特定される部分画像は公開されるが、それはその部分画像に関するユーザの意図によるものなので、個人のプライバシーを侵害してはいない。そのため、画像を気軽に送信したり、サーバにアップロードしたりすることができる。
ここで、部分画像を除いて画像処理を施すとは、少なくとも取得したユーザIDにより特定される部分画像に対しては画像処理が行われなくなっていればよい。例えば、ユーザIDにより特定される部分画像を除く画像にモザイク処理を行ってもよいし、ユーザIDにより特定される部分画像以外をぼかしたり、塗り潰したり、その部分画像以外を似せて描いた絵に変換したりするなど、種々の処理を採用することができる。また、ユーザIDにより特定される部分画像以外を表示させないようにするような処理であってもよい。ここに記載した画像処理は単なる例示であり、これらに限定されることはない。
上記取得手段は、上記ユーザIDと共に上記部分画像の表示の指示情報を取得するものであり、
また、本発明に係る画像処理装置では、上記構成に加え、上記画像処理手段は、上記指示情報が表示の許可を指示する表示許可情報である場合には、上記画像処理を行うようになっていてもよい。
上記構成によると、ユーザIDと共に取得した表示指示情報が表示の許可を指示する表示許可情報であると、このユーザIDにより特定される部分画像を除いて画像処理を行う。表示許可情報を取得することでユーザIDを格納する端末装置のユーザの、ユーザIDにより特定される部分画像は表示されてもよい、という意図を明確に確認することができる。この表示許可情報に基づき、ユーザIDを格納する端末装置のユーザの意図を確実に反映させて、画像処理を施すことができる。
また、本発明に係る画像処理装置では、上記構成に加え、上記画像は写真画像であり、上記部分画像は人物の顔画像であり、上記部分画像IDは該顔画像を特定する顔画像IDであってもよい。
上記構成によると、写真画像において、取得したユーザIDに一致する顔画像IDに対応する顔画像に対して画像処理することができる。顔画像は、特に個人を特定することができるために、個人情報になりうるため、公開を望まないユーザ(ユーザIDを格納する端末装置のユーザ)も多いが、これらのユーザに対応することができる。
あるいは、上記構成によると、写真画像において、取得したユーザIDに一致する顔画像IDに対応する顔画像を外して、画像処理することができる。このように、公開を望むユーザに対して、対応することができる。ここで、顔画像IDは、各顔画像を識別するための情報であり、各々の顔画像を夫々識別できる情報であればどのようなものでもかまわなく、例えば、文字、数字、記号等の組み合わせからなる情報であってもよい。
このように、他のユーザの意向に基づいて画像処理を行うことができ、個人のプライバシーを侵害することが無く、写真画像を気軽に送信したり、サーバにアップロードしたりすることができる。
本発明に係るユーザID格納端末装置は、上記課題を解決するために、複数の部分画像IDのうちから何れか1つを選択する選択手段と、選択した部分画像IDを上記ユーザIDとして格納するID格納部と、上記何れか1つの画像処理装置に上記ユーザIDを付与するユーザID付与手段と、を備えることを特徴としている。
上記構成により、部分画像に対応する部分画像IDを選択して、ユーザIDとして保存する。この保存したユーザIDを上記画像処理装置に送信することで、簡単に確実にユーザIDが指定する部分画像に対する意向を上記画像処理装置に伝えることができる。
本発明に係る写真撮影装置は、上記課題を解決するために、被写体を撮影する撮影部と、撮影部が撮影した写真画像における複数の人物の顔画像に対して、それぞれに部分画像IDを付与する部分画像ID付与手段と、上記それぞれの部分画像IDのうちから何れか1つを、上記ユーザID格納端末装置に選択させるための選択肢を提示する選択肢提示手段と、を備えたことを特徴としている。
上記構成によると、写真撮影装置において、撮影された写真画像の顔画像に対して、部分画像IDを付与する。そしてこの部分画像IDを、上記ユーザID格納端末装置に選択させることができる。写真撮影装置は、顔画像を撮影することがほとんどであるが、このように、顔画像に対して部分画像IDを付与することで、プライバシーの保護に寄与することができる。
本願発明に係る画像処理端末装置は、上記課題を解決するために、上記何れか1つの画像処理装置を備えたことを特徴としている。
上記構成によると、画像処理端末装置にて、ユーザIDを格納する端末装置のユーザの意図を確認して画像処理をすることができる。
また、上記何れか1つの画像処理装置が、例えば、画像を保存しWeb上で公開するサーバ装置に備えられていても構わない。この場合、公開を指示する端末装置のメモリには、写真画像そのものを保存しなくてもよいので、メモリの容量が写真画像により使用されることはない。これにより、端末装置のメモリを、写真画像以外のデータを保存するために用いることができる。
本願発明に係る画像処理端末装置は、上記課題を解決するために、画像と、該画像中の複数の部分画像を識別するためのそれぞれの部分画像IDとを対応付けて記憶する記憶部と、複数の部分画像IDのうちから何れか1つを選択する選択手段と、選択した部分画像IDを上記ユーザIDとして格納するID格納部とを備えたID格納端末装置と、上記ID格納端末装置からユーザIDを取得する取得手段を備えたユーザID取得端末装置と、上記ユーザID取得端末装置が取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像に画像処理を施す画像処理手段を備えたサーバ装置と、を備えたことを特徴としている。
上記システムによると、記憶部に記憶された画像中の複数の部分画像には、それぞれを識別するための部分画像IDが対応付けられている。そして、ユーザID取得端末装置が取得したユーザIDに一致する部分画像IDに対応する部分画像、つまり、取得したユーザIDにより特定される部分画像に対して、サーバ装置において画像処理を施すことができる。ユーザIDを取得することをで、ユーザIDを送信した端末装置のユーザの、対応する部分画像には画像処理して欲しい、あるいは、対応する部分画像は公開されたくないといういう意向を確認することができる。そして、この意向に基づいて、対応する部分画像に画像処理を行うことができる。
上記のように処理された画像を、サーバにて公開したりする場合、取得したユーザIDにより特定される部分画像には画像処理が施されるため、その部分画像は正確に認識されることがない。つまり、画像の送信時や公開時のユーザIDを格納する端末装置のユーザの個人情報の機密性を高めることができる。よって個人のプライバシーを侵害することが無い。このように、個人のプライバシーに配慮した画像処理を施すことができるシステムを構築することができる。
また、画像処理はサーバ装置にて行われるため、ユーザID取得端末装置のメモリには、写真画像そのものを保存しなくてもよい。よって、ユーザID取得端末装置では、メモリの容量が写真画像により使用されることはなくなる。これにより、ユーザID取得端末装置のメモリを、写真画像以外のデータを保存するために用いることができる。
なお、上記記憶部は単独で存在していてもよいし、サーバ装置に備えられていても、ID取得端末装置に備えられていてもよい。ID所得端末装置に上記記憶部が備えられている場合、画像と、該画像中の複数の部分画像を識別するためのそれぞれの部分画像IDとを対応付けて、ID取得端末装置からサーバ装置に送信するようになっていればよい。
また、上記ユーザID取得端末装置に上記画像処理手段が備えられ、画像処理した画像を上記サーバ装置に送信し、上記サーバ装置が受信した画像処理後の画像を公開するようにしてもよい。
また、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置における上記各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、及びその画像処理装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
これらの構成によれば、画像処理装置制御プログラムを、コンピュータに読み取り実行させることによって、上記画像処理装置と同一の作用効果を実現することができる。
本発明に係る画像処理装置は、以上のように、画像と、該画像中の複数の部分画像を識別するためのそれぞれの部分画像IDとを対応付けて記憶する記憶部と、ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得する取得手段と、取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像に画像処理を施す画像処理手段と、を備えている。
そのため、上記構成によると、画像中の複数の部分画像には、それぞれを識別するための部分画像IDが対応付けられており、取得したユーザIDに一致する部分画像IDに対応する部分画像、つまり、取得したユーザIDにより特定される部分画像に対して画像処理を施すことができる。そのため、ユーザIDを取得すると、そのIDにより特定される部分画像に対して画像処理が施されるというルールが、他の端末装置(ユーザIDをあらかじめ格納した端末装置)との間にあれば、上記構成において、ユーザIDを取得することで、ユーザIDを送信した端末装置のユーザの、対応する部分画像には画像処理して欲しい、あるいは、対応する部分画像は公開されたくないといういう意向を確認することができる。そして、この意向に基づいて、対応する部分画像に画像処理を行うことができる。
上記のように処理を施された画像を、端末装置に送信したりサーバにて公開したりする場合、取得したユーザIDにより特定される部分画像には画像処理が施されているため、その部分画像は正確に認識されることがない。つまり、画像の送信時や公開時のユーザIDを格納する端末装置のユーザの個人情報の機密性を高めることができる。よって個人のプライバシーを侵害することが無い。そのため、画像を気軽に送信したり、サーバにアップロードしたりすることができる。
また、本発明に係る画像処理装置は、以上のように、画像と、該画像中の部分画像を識別するための部分画像IDとを対応付けて記憶する記憶部と、ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得する取得手段と、取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像を除いて、上記画像に画像処理を施す画像処理手段とを備えている。
そのため、上記構成によると、画像中の複数の部分画像には、それぞれを識別するための部分画像IDが対応付けられており、取得したユーザIDに一致する部分画像IDに対応する部分画像を除いて、つまり、取得したユーザIDにより特定される部分画像を除いた画像に対して画像処理を施すことができる。そのため、ユーザIDを取得すると、そのIDにより特定される部分画像を除いて画像処理が施されるというルールが、他の端末装置(ユーザIDをあらかじめ格納した端末装置)との間にあれば、上記構成において、ユーザIDを取得することで、ユーザIDを送信した端末装置のユーザの、対応する部分画像には画像処理しないでよい、あるいは、対応する部分画像は公開されてもよい、という意向を確認することができる。そして、この意向に基づいて、対応する部分画像を除いて画像処理を行うことができる。
上記のように処理された画像を、端末装置に送信したりサーバにて公開したりする場合、少なくとも取得したユーザIDにより特定される部分画像は公開されるが、それはその部分画像に関するユーザの意図によるものなので、個人のプライバシーを侵害してはいない。そのため、画像を気軽に送信したり、サーバにアップロードしたりすることができる。
本発明の一実施形態について図1〜図16に基づいて説明すると以下の通りである。なお、以下の本実施形態では、本発明の画像処理装置を、写真撮影装置から画像を取得することのできる端末装置の構成の一部として説明するが、これに限されるものではない。例えば、画像処理装置がサーバ装置の構成の一部であっても、端末装置やサーバ装置から独立して構成され、端末装置やサーバ装置と相互に通信するような構成であってもよい。つまり、以下の実施形態に記載される構成要素はあくまで例示であり、本発明の範囲をそれらのみに限定するものではない。
(システムの全体構成)
図2は、本実施形態の画像処理システム1の構成を示すブロック図である。画像処理システム1は、図1に示すように、部分画像に画像処理を施す画像処理装置2を備えユーザIDを格納している端末装置3A・3B(画像処理端末装置、ユーザID格納端末装置)と、端末装置3A・3Bに顔画像IDを付与する写真撮影装置4と、写真画像を公開情報として保存するサーバ装置5と、を備えている。なお、ユーザID、顔画像IDについては、後段で細述する。
ここで、図1では画像処理システム1に2つの端末装置を図示しているが、端末装置はユーザがそれぞれ所持しているものとし、端末装置は複数存在する。それぞれを区別するときは、端末装置3A、端末装置3B・・・のように、部材番号の後に区別するための英字を付すものとする。なお、区別する必要のない際は端末装置3(画像処理端末装置、ユーザID格納端末装置)とする。
また、画像処理システム1には複数の写真撮影装置4が含まれてもよいが、本実施形態では、説明を簡単にするため、写真撮影装置4が1つ含まれているものとする。また、画像処理システム1において、サーバ装置5が写真撮影装置4に含まれていてもよい。
写真撮影装置4は、複数の被写体を撮影し、その撮影した写真画像中の複数の顔画像(部分画像)を認識し、複数の顔画像にそれぞれ固有のIDである顔画像ID(部分画像ID)を付与する。一人の顔画像に、一つの顔画像IDを付与する。ここで、顔画像IDとは各顔画像を識別するための情報であり、各々の顔画像IDを夫々識別できる情報であればどのようなものでもかまわなく、例えば、文字、数字、記号等の組み合わせからなる情報であってもよい。そして、写真撮影装置4は、顔画像IDがどの顔画像に対応しているかを示した選択肢を表示し、端末装置3に選択させる。端末装置3のユーザは、自分の顔画像から顔画像IDを選択し、端末装置3に入力することで、端末装置3に顔画像IDがユーザIDとして格納される。
そして、写真画像と、この写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを端末装置3に送信する。
ここで、写真撮影装置4は、一定範囲内の距離で、顔画像IDに一致するユーザIDを格納している端末装置3から要求があると、その端末装置3のユーザの顔画像IDが付与されている写真画像と、この写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを送信する。あるいは、要求がなくとも、顔画像IDに一致するユーザIDを格納している端末装置3と通信可能である場合には、その端末装置3に対して、写真画像と、この写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを送信するようになっていてもよい。
また、写真撮影装置4は、写真画像と顔画像IDとを端末装置3に送信する際、別々に送ってもよい。ただ、端末装置3において、写真画像と顔画像IDとが対応付けられるように、送信するのがよい。つまり、予め対応づけて送信しても、予め写真画像と部分画像IDとを送信し、対応付けのためのデータを後から送信して、端末装置3において対応づけてもよい。なお、データの送信順は問わない。これら写真画像と顔画像IDとの対応付けは単なる例示であり、これらには限定されることはない。
端末装置3は、本実施形態では、写真撮影装置4から受信した写真画像に編集処理行うことのできるゲーム機として説明する。しかし、上記端末装置3は、ゲーム機に限定されず、端末装置3同士相互に通信を行うことができ、また、写真撮影装置4及びサーバ装置5と通信することができる装置であればよく、例えば、携帯電話機、PHS(Personal Handy-phone System)(登録商標)端末あるいはPDA(Personal Digital Assistant)などであってもかまわない。また、端末装置3Aと端末装置3Bとが異なる端末装置であってもよく、例えば一方がゲーム機で一方が携帯電話機であってもよい。
ここで、本実施形態では、端末装置3Aと端末装置3Bとは、どちらも、部分画像に画像処理を施す画像処理装置2を備え、かつ、ユーザIDを格納しているものであり、同じ構成を備えたゲーム機とするが、異なる構成でもよい。ただし、画像処理システム1の中に、写真画像と、この写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを対応付けて記憶し、他の端末装置からの受信情報に基づき上記顔画像に画像処理を施す画像処理装置2を備えた端末装置が少なくとも1つあることが必要である。かつ、画像処理システム1の中に、ユーザIDを格納している端末装置が少なくとも1つあることが必要である。
端末装置3Aと端末装置3Bが、上記のように送信された、写真画像と、この写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを記憶しているとする。端末装置3Aのユーザがこの写真画像をサーバ装置5にて公開したい場合、端末装置3Aは、端末装置3Bに問い合わせを行う。端末装置3BからユーザIDと表示禁止情報とを受信すると、この受信したユーザIDに一致する顔画像IDに対応する上記写真画像中の顔画像、つまり、端末装置3Bのユーザの顔画像に画像処理を施す。本実施形態では、端末装置3Aは端末装置3Bから表示禁止情報を取得するものとするが、端末装置3Aは、端末装置3Bから表示禁止情報を受信しなくても、端末装置3BからユーザIDを受信すると、端末装置3Bのユーザの顔画像に画像処理を施すようになっていてもかまわない。
また、端末装置3Aから問い合わせをしなくても、端末装置3BからユーザIDと表示禁止情報を受信すると、端末装置3Aにて端末装置3Bのユーザの顔画像に画像処理をするようになっていてもよい。あるいは、端末装置3Aは、端末装置3BからユーザIDと表示許可情報とを受信すると、この受信したユーザIDに一致する顔画像IDに対応する上記写真画像中の顔画像以外、つまり、端末装置3Bのユーザの顔画像以外の部分(例えば端末装置3Aのユーザおよび端末装置3Bのユーザ以外のユーザの顔画像)に対して画像処理を施すようになっていてもよい。このように、端末装置3B(他の端末装置)のユーザの意向に基づき画像処理した写真画像を、端末装置3Aは、サーバ装置5に送信する。もちろん、端末装置3Bが、サーバ装置5に写真画像をアップロードしたい場合は、端末装置3Aの意向を問う。
サーバ装置5は、端末装置3から受信した画像処理した写真画像を公開情報として記憶し、他の端末装置3に対して公開する装置である。なお、サーバ装置5は、一般には複数の端末装置3に対して共通に設けられている装置である。
なお、画像処理装置2をサーバ装置5が備えていてもよい。この場合、例えば、サーバ装置5は、端末装置3からあるいは写真撮影装置4から、写真画像と該写真画像中のそれぞれの顔画像IDとを受信し、各端末装置3からユーザIDと表示禁止情報(あるいは表示許可情報)とを受信して、画像処理を行うようになっていてもかまわない。あるいは、画像処理装置2をサーバ装置5が備えている場合、例えば、次のようになっていてもよい。つまり、写真画像をサーバ装置5にて公開しようとする端末装置3Aが、端末装置3BからユーザIDと表示禁止情報とを得て、写真画像と該写真画像中のそれぞれの顔画像IDと、Bから得た情報とをサーバ装置5に送信する。サーバ装置5は、端末装置3Aから受信した情報に基づき、端末装置3Bのユーザの顔に画像処理を行うようになっていてもかまわない。
図1に示すように、写真撮影装置4と端末装置3とは、また、端末装置3同士は、一定範囲内の距離で、近距離無線通信を行うものとする。これらの装置には、IEEE(Institute of Electrical and Electronics Engineers)802.11a,11b,11gなどに準拠した無線LAN(Local Area Network)モジュールやBluetooth(登録商標)モジュール、あるいは、赤外線を介しての通信を行うモジュールなどよりなる近距離通信部を有しており、互いに近距離無線通信を行うことが可能とされている。つまり、端末装置3に設けられている近距離通信部33と写真撮影装置4に設けられている近距離通信部43とは、同様の規格で無線通信が可能なものであるとする。しかし、これに限定されず、写真撮影装置4と端末装置3とは、また、端末装置3同士は、例えばUSBケーブル等の有線で接続される構成であってもかまわない。あるいは、写真撮影装置4と端末装置3とは、端末装置3同士は、上記のように近距離無線通信を行わず、以下で説明する広域ネットワークNを介して接続するようになっていてもよい。
図1に示すように、端末装置3とサーバ装置5とは、広域ネットワークNを介して接続されている。広域ネットワークNは、例えば公衆電話回線、携帯電話回線、PHS回線、インターネットなどで構成されており、サーバ装置5と端末装置3との間の情報通信を実現するものである。なお、広域ネットワークNを介して、写真撮影装置4とサーバ装置5とが接続していてもよい。
次に、画像処理システム1における各装置の構成について説明する。
(写真撮影装置の構成)
写真撮影装置4は、例えばゲームセンターや娯楽施設において、利用者の写真撮影を行うとともに、その撮影画像に対して、画像編集、いわゆる「落書き」を施したものをシール紙などのプリント紙にプリントして出力し、写真撮影装置4のユーザに提供する装置である。なお、本実施形態では、「落書き」を端末装置3にて行えるようになっているので、写真撮影装置4にはなくてもかまわない。しかし、端末装置3を、写真撮影装置4の全てのユーザが所有しているとは限らないので、「落書き」を行える機能が写真撮影装置4にあるのが好ましい。
写真撮影装置4は、図1に示すように、制御部41、記憶部42、近距離通信部43、撮影部44、編集部45、タッチパネル46、印刷部47を備えている。
制御部41は、写真撮影装置4内における各種構成の動作を統括的に制御するものである。また、制御部41は、顔画像ID付与部411、選択肢提示部412として機能する。
顔画像ID付与部411は、撮影部44が撮影した写真画像中の複数の顔画像を認識し、図3に示すように、複数の顔画像にそれぞれ固有のIDである顔画像IDを付与する。一人の顔画像に、一つの顔画像IDを付与する。この顔画像IDの付与の仕方について、説明する。
図4に示すように、撮影された顔画像から器官配置データを作成する。この器官配置データとは、次のように作成される。まず初めに、撮影された顔画像より目、鼻、口などの各顔パーツの位置を検出することで、器官配置データが付与される位置を検出する。次に、撮影された顔画像より目、鼻、口などの特徴点を検出する。そして、例えば目であれば、その目の形状や大きさである特徴量を抽出し、記憶部42に記憶されている目のデータベースの目と比較し、一番類似している目のデータを読み出し、上記検出した位置(器官配置データが付与される位置)にあてがう。例えば、撮影した顔画像の目の特徴量と、目のデータベースに保存されている目の特徴量を比較して、類似度を算出する。類似度が一番高いものが一番類似していると判定する。なお、この判定方法は例示である。鼻、口、についても同様に、鼻、口のデータベースから一番類似しているデータを読み出しあてがう。このようにして上記検出した位置にあてがわれた目、鼻、口のデータが器官配置データである。そして、この器官配置データにIDを付与する。このIDは、例えば、次のように作成する。目のデータベースには、複数の目のデータにそれぞれのIDが対応づけられている。また、複数の鼻のデータにもそれぞれのID、複数の口のデータにもそれぞれのIDが対応づけられている。そして、器官配置データを構成する、目、鼻、口データのそれぞれのIDを繋ぎ合わせたものを器官配置データIDとする。そして、この器官配置データIDを、顔画像IDとして、各顔画像に付与する。なお、この顔画像IDの作成方法は単なる例示であり、他の公知の方法を用いてもよい。
ここで、器官配置データと、顔画像IDとを対応付けて記憶部42に記憶しておく。また、顔画像における目、鼻、口の配置位置に関する情報である、バランスデータを検出し、顔画像IDと対応付けて記憶しておく。ここのバランスデータとは、顔における目、鼻、口などの各顔パーツの座標を示すデータである。目や口の開閉や顔のカメラに対する向き等により、各顔パーツは撮影毎に形状と大きさがかわることもあるが、各顔パーツの例えば中心に基準となる座標を配置させることで、高精度の座標データを得ることができる。
2回目以降の撮影においては、顔画像IDの付与は以下のようになる。図5に示すように、撮影された顔画像に対して、1回目と同様に器官配置データIDを付与する。そして、バランスデータを検出する。器官配置データIDと一致する顔画像IDが記憶部42に記憶されているか否かを判定し、記憶されていると、その顔画像IDは、以前付与したものであると判断し、今回の顔画像に対しても同じ顔画像IDを付与する。一致するものがないと、バランスデータを記憶部に記憶してあるバランスデータと比較し一致するものがあると、図6に示すように、その記憶してあるバランスデータに対応する顔画像IDを、今回撮影した顔画像に付与する。
なお、器官配置データあるいはバランスデータの片方を用いて、顔画像IDを付与することもできるが、本実形態では、上記のようにこれら2つのデータを用いて顔認識をするための比較を行い、顔画像IDを付与する。これは、以下の理由による。つまり、器官配置データを用いることで、目、鼻、口といった顔パーツによる違いを検出できるが、目や口の開閉によって、付与される器官配置データIDが異なってしまう。一方、バランスデータを用いることで、顔パーツの顔における配置位置を検出できるが、個々の顔パーツによる違いを検出することはできない。そこで、まず器官配置データIDを比較することにより細かく顔のパーツを認証し、一致しない場合に顔全体のバランスを認証するためにバランスデータを用いる。このように二重の比較工程を行うことで顔認識の精度を高め、同じ人物には、同じ顔画像IDを付与することがことができるようになる。もちろん、顔認識を他の公知の方法で行ってもよい。
バランスデータが記憶されていない場合には、今回の器官配置データIDを新しい顔画像IDとして顔画像に付与し、記憶部42に記憶する。
なお、顔が傾いて撮影されている場合には、その傾きを修正してから器官配置データを作成し、バランスデータを検出するものとする。
選択肢提示部412は、どの顔画像にどの顔画像IDが対応しているかを示した選択肢を提示するものである。本実施形態では、選択肢をタッチパネル46に表示させることで提示するものとする。タッチパネル46上にどの顔画像にどの顔画像IDが対応しているかを示した選択肢を表示し、端末装置3に選択させる。ここで、端末装置3のユーザは、自分の顔画像から顔画像IDを選択し、端末装置3に入力することで、端末装置3に顔画像IDがユーザIDとして格納される。
選択肢は、本実施形態では、タッチパネル46に表示させるものとする。しかし、近距離通信部43を介して端末装置3に送信し、端末装置3のタッチパネルにて表示されるようになっていてもよい。なお、選択肢の提示はこれらには、限定されない。
制御部41は、例えばPC(パーソナルコンピュータ)ベースのコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。このプログラムは、例えばCD−ROMなどのリムーバブルメディアに記録されているものを読み出して使用する形態であってもよいし、ハードディスクなどにインストールされたものを読み出して使用する形態であってもよい。また、この制御部41がインターネットなどの通信ネットワークに接続された構成とする場合、この通信ネットワークを介して上記プログラムをダウンロードしてハードディスクなどにインストールして実行する形態なども考えられる。
記憶部42は、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。この記憶部42には、顔のパーツ(例えば、目、鼻、口)とそれぞれのIDとが対応づけられた、目のデータベース、鼻のデータベース、口のデータベースといった、顔のパーツのデータベースが保存されている。また、これまでに付与した顔画像IDと、器官配置データ、顔バランスデータとが対応付けて記憶されている。また、記憶部42は、上記した制御プログラム、OS(operating system)プログラム、およびその他各種プログラム等が記憶されていてもよい。
近距離通信部43は、写真撮影装置4から一定範囲内の距離で、端末装置3と無線通信を行う。写真撮影装置4は、この近距離通信部43を介して、撮影部が撮影した写真画像と、この写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを、端末装置3に送信する。ここで、送信する写真画像には、写真画像を識別するための画像識別番号が付されている。
撮影部44は、被写体を撮影し、写真画像を生成するものである。撮影部44は、例えば、被写体を撮影するデジタルカメラ、撮影時の撮影画面が表示されるモニタ、撮影の前後や撮影時の照明として機能する照明装置、写真撮影の背景を演出する背景カーテン、利用者に対して各種操作上のガイダンス音声や効果音、BGM(back ground music)などを出力するスピーカ等を備えて構成されている。
タッチパネル46は、撮影した写真画像や、各種表示情報、各種メッセージ等を表示する。タッチパネル46には、上記選択肢情報が表示される。
なお、撮影処理用と編集処理用と事後接客処理用のタッチパネルが別々に設けられていてもよいし、同じタッチパネルが全ての処理に用いられてもよい。またタッチパネルではなくても、情報を表示できる手段と、写真撮影装置4に入力指示を与える手段とが設けられていればよい。
編集部45は、タッチパネルや、タッチペン、スピーカ等を備え、撮影画像を表示し、ユーザの画像編集作業(いわゆる「落書き」)における入力操作を受付ける。
印刷部47は、プリンタ(画像出力装置)や、プリント紙排出口、スピーカ等を備え、画像編集処理された画像データをシール紙等のプリント紙にプリントする。プリンタは、出力すべき画像データが制御部41から送られてくると、その画像データに基づいてプリント紙に印刷を行う。
他にも、写真撮影装置4は、通常の写真撮影装置の機能を備えており、例えば、課金処理等の処理等を行えるようになっているものとする。また、写真撮影装置4では、被写体を撮影するための撮影空間と、ユーザによる画像編集作業が行われる編集空間とは、別々に設けられていても、同じに空間に設けられていてもかまわない。また、「落書き」を行うユーザが長時間作業を行っても、次の利用者が画像編集作業をできる様に、つまり、ユーザの回転率をよくする為に、編集空間が2つ以上設けられる構成でもかまわない。
(サーバ装置の構成)
サーバ装置5は、図1に示すように、制御部51、記憶部52、ネットワーク通信部53を備える。
制御部21は、CPU(Central Processing Unit)などからなり、サーバ装置5における処理全体を制御する。
記憶部52は、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部52には、端末装置3から受信した写真画像が公開情報521として保存されている。また、記憶部52には、上記したサーバ装置5の各種構成の動作を制御する制御プログラム、OSプログラム、およびその他各種プログラム等が記憶されていてもよい。
ネットワーク通信部53は、広域ネットワークNとのインターフェイスであり、各種情報の送受信を行う。具体的には、端末装置3から写真画像を受信し、この写真画像を公開情報として、インターネットのWebページとして公開する。インターネット上のWebページで一般に公開することもできるようになっているため、他人による閲覧や利用が可能である。
(端末装置の構成)
端末装置3は、図1に示すように、制御部31、記憶部32、近距離通信部33、ネットワーク通信部34、タッチパネル35を備える。ここでは、端末装置は、写真撮影装置から受信した写真画像に編集処理(落書き)を行うことのできるゲーム機であるとする。しかし、これに限定はされず、例えば、携帯端末であっても、PCであってもかまわない。端末装置3は、インターネット上のWebページを閲覧するブラウザとして機能する。
制御部21は、マイクロコンピュータを内蔵し、コンピュータプログラムに従って、タッチパネル35からの入力操作等により動作し、端末装置3における各種構成の動作を統括的に制御する。また、制御部31は、取得部(取得手段)311、画像処理部(画像処理手段)312、顔画像ID選択部(選択手段)313として機能する。
取得部311は、近距離通信部33を介して、他の端末装置3からこの端末装置の有するユーザIDと、表示指示情報とを取得する。
画像処理部は、取得部311が取得した表示指示情報が表示禁止を指示する表示禁止情報であると、取得部311が取得したユーザIDに一致する顔画像IDに対応する写真画像中の顔画像に画像処理を施す。つまり、取得したユーザIDにより特定される顔画像に対して画像処理を施する。なお、対象の写真画像は写真撮影装置から予め取得してあり、記憶部32に記憶されているものとする。
ここで、画像処理は、例えば、モザイク処理であってもよい。公知のモザイク処理の手法を用いて、簡単に顔画像を抽象化することができる。なお、画像処理としてはモザイク処理だけに限らず、顔画像をぼかしたり、塗り潰したり、顔画像を似せて描いた絵に変換したりするなど、種々の処理を採用することができる。また、顔画像をサーバ装置5上で表示させないようにするような処理であってもよい。ここに記載した画像処理は単なる例示であり、これらに限定されることはない。
上記のように、処理された画像を、他の端末装置に送信したりサーバ装置5にて公開したりする場合、取得したユーザIDにより特定される顔画像には画像処理が施されているため、その顔画像は正確に認識されることがない。つまり、写真画像の送信時や公開時において、他の端末装置のユーザの個人情報の機密性を高めることができる。よって個人のプライバシーを侵害することが無い。そのため、写真画像を気軽に送信したり、サーバにアップロードしたりすることができる。
顔画像ID選択部313は、写真撮影装置4のタッチパネル46上に表示された顔画像IDの選択肢から、いずれか1つの顔画像IDを選択してユーザIDとして格納する。ここで、端末装置3のユーザは、自分の顔画像に付与された顔画像IDを選択し、端末装置3に入力することで、顔画像ID選択部は、顔画像IDをユーザIDとして、ユーザID格納部322に格納する。
ここで、端末装置3は、端末装置3のユーザの顔画像IDが付与されている写真画像と、この写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを受信するために、写真撮影装置4に一定範囲内の距離に近づき、送信要求を出すことで、受信することができる。
記憶部32は、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部32は、写真撮影装置4から受信した写真画像と、この写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを対応付けて格納する写真画像データベース(DB)321と、ユーザID格納部322とを備えている。また、この記憶部32には、上記した端末装置3の各種構成の動作を制御する制御プログラム、OSプログラム、およびその他各種プログラム等が記憶されていてもよい。
近距離通信部33は、端末装置3から一定範囲内の距離で、写真撮影装置4と、また、他の端末装置3と無線通信を行う。端末装置3は、この近距離通信部33を介して、写真撮影装置4から、写真画像と、この写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとを、受信する。ここで、受信した写真画像には、写真画像を識別するための画像識別番号が付されており、この写真画像とこの写真画像中の複数の顔画像を識別するためのそれぞれの顔画像IDとは、対応付けられて記憶部32の写真画像DBに格納される。
また、近距離通信部33は、要求があれば、他の端末装置3に対して、ユーザID格納部に格納されたユーザIDと、表示指示情報とを送信する。また、他の端末装置3から、その他の端末装置のユーザIDと、表示指示情報とを受信する。
ネットワーク通信部34は、広域ネットワークNとのインターフェイスであり、各種情報をやり取りする。具体的には、サーバ装置5に画像処理を施した写真画像を送信したり、サーバ装置5にアップロードされた写真画像を閲覧する際にサーバ装置5に接続したりするのに使用される。
タッチパネル35は、各種情報の表示を行う。例えば、写真撮影装置4から受信した写真画像を表示する。また、タッチパネル35にユーザによる入力が可能な項目を表示し、ユーザが、タッチペン36や指で、所望する項目が表示されている表示領域に触れることにより端末装置3に対して指示を与えるようになっている。ユーザは、タッチパネル35を介して、端末装置3の操作に関する表示及び入力を行うほか、端末装置3がブラウザとして機能するときのWebページの表示を行う。また、タッチペン36等を用いて、タッチパネルに表示された写真画像に対して。例えば、編集処理、いわゆる落書きを行えるようになっている。
ここでは、端末装置3にタッチパネル35が備えられているとしたが、タッチパネルでなくとも表示機能を有するものと端末装置3に入力操作を行えるものとが備えられていればよい。
端末装置3がブラウザとして機能することで、サーバ装置5の公開情報の閲覧を行うことができる。これは、例えば、次のように行うことができる。
端末装置3Aがサーバ装置5に写真画像をアップロードする場合、例えば、端末装置3Bの意向により、端末装置3Aは、端末装置3Bが格納するユーザIDが指定する顔画像に画像処理し、端末装置3Aが格納ユーザIDが指定する顔画像には画像処理せず、写真画像をサーバ装置5に送信する。そして、端末装置3Cからネットワーク通信部34を介してサーバ装置5に保存された写真画像を閲覧するには、例えば、端末装置3Aあるいはサーバ装置5から特定のURLが送られてきて、そのURLのWebページにアクセスすると行うことができる。あるいは、パスワードが送られてきて、サーバ装置5の運営するWebページに接続してパスワードを入力すると閲覧できる。このようになっていると、端末装置3Aの友達リストに登録されているユーザのみが閲覧できることになり、より個人情報(顔情報)の漏洩を防ぐことができる。なお、閲覧については上記した以外の方法で行われてもよい。
(端末装置における画像処理)
以下に端末装置3における画像処理の流れについて、図7のフローチャートを用いて説明する。
初めに、サーバ装置5にアップロードする写真画像を端末装置3のユーザに選択させるための、アップロード画面をタッチパネル35に表示する(ステップ1、以降S1のように称する)。アップロード画面は、例えば図8に示すように、複数の写真画像を表示し、ユーザにその中から選択させるようになっている画面であってもよい。なお、アップロード画面には、アップロードを中止する選択肢があってもよい。
次に、ユーザがタッチパネル35上にて選択した、ユーザの画像選択を受付ける(S2)。
次に、電源がONになっている他の端末装置を近距離通信部33を介して検索する(S3)。近距離通信部33による通信範囲にあり、電源が入っていて、S2にて選択した写真画像に写っている顔画像に対応する顔画像IDをユーザIDとして格納する他の端末装置を検索する。このとき、タッチパネル35には、例えば図9に示すような接続端末装置検索画面を表示してもよい。
次に、他の端末装置が通信範囲にあるか否かを判定する(S4)。他の端末装置が通信範囲になかった場合(S4においてNO)、例えば図10に示すような、端末検索失敗画面を表示する。(S5)。
他の端末装置が通信範囲にあった場合(S4においてYES)、顔画像IDの照合を取る(S6)。ここでは、他の端末装置(通信相手の端末装置)に、顔画像IDがユーザIDとして格納されていれば、そのユーザIDに基づき、顔画像IDの照合をとる。
S6の照合において、顔画像IDが合致しているか否かを判定する(S7)。合致しなかった場合(S7においてNO)、例えば図10に示すような、端末検索失敗画面を表示する。(S5)。
顔画像IDが合致した場合(S7においてYES)、画像識別番号が一致しているか否かを判定する。一致していない場合(S8においてNO)、端末装置3のタッチパネルには、例えば図11に示すような端末検索失敗画面を表示し、通信相手の端末装置にアップロードしたい写真画像を送信する(S9)。
次に、通信相手の端末装置からの返答を受信する(S10)。受信している最中は図12に示すような、アップロード承認通信画面が表示されてもよい。この画面において、通信相手からの、OK(アップロードを承認)あるいは、NG(アップロードを否定)の返答がわかるようになっている。つまり、どの端末装置が承認したのか、またはしていないのかがわかるようになっている。
ここで、アップロードの承認を問われている通信相手の端末装置には、例えば図13に示すようなアップロード承認画面が表示される。アップロード承認画面では、写真画像のアップロードに対する返答をOK、あるいはNGで選択できるようになっている。また、アップロードしたい写真画像が表示されるようになっている。ここで、通信相手の端末に予めアップロードしたい写真画像が格納されていれば、その写真画像が表示され、格納されていない場合には、S9で送信された写真画像が表示されるものとする。なお、S9nにて送信側がアップロードしたい写真画像を送信して、受信側がアップロード承認画面を作成して表示しても、送信側がアップロード承認画面自体を送っても構わない、
通信相手の端末装置は、写真画像のアップロードに承認か拒否かを選択し、送信元の端末装置3に送信する。このとき、通信相手の端末装置から、端末装置の格納するユーザIDと、表示指示情報が、アップロードを行おうとしている端末装置3に送信される。
拒否したユーザがいるか否かを判定する。あるいは、通信状態になっていないユーザがいるか否かを判定する(S11)。
拒否した端末装置(あるいは端末装置のユーザ)あるいは、通信状態になっていない端末装置(あるいは端末装置のユーザ)はアップロードを拒否したということで(NG)、それらのユーザの顔画像(端末装置が格納しているユーザIDが指定する顔画像)に対して画像処理を行う(S12)。図14のような画面が表示される。
アップロードを行うか否かの最終的な判断を行う(S13)。例えば、アップロードを行うためのボタンをユーザが押したか否かで判断してもよい。アップロードは行わないと判断すると(S13においてNO)、サーバ装置5への通信を切断して終了する。アップロードが行うと判断すると(S13においてYES)、サーバ装置5に対して、S12で画像処理した写真画像を、アップロードのために送信する(S15)。
以上により、端末装置から、サーバ装置5へのアップロードを行う際の処理が終了する。
以上ように、取得した他の端末装置のユーザIDにより特定される顔画像には画像処理が施されているため、サーバ装置5にアップロードして公開された場合でも、その顔画像は正確に認識されることがない。他の端末装置の意向を反映して、その他の端末装置のユーザのプライバシーを保護することができる。
また、端末装置3が、端末装置3のユーザが過去に一緒に写真撮影装置4を利用した人間のリストである友達リストを記憶部32に記憶しており、この中から、写真画像を公開する相手を選択できるようになっていてもよい。この場合、サーバ装置5にアップロードする際に、図15に示すように、公開する相手を選択するための公開相手選択画面を表示して、ユーザに選択させるようになっていると、ユーザは、簡単に選択することができる。選択された相手の端末装置には、サーバ装置5から公開を知らせる連絡が送信されてもよい。あるいは、選択した相手の端末装置に直接、画像処理された写真画像が送信されるようになっていてもよい。
また、サーバ装置5が各端末装置の上記友達リストを管理しており、端末装置3から画像処理された写真画像を受信すると、この写真画像を送信した端末装置の友達リストに記録されている端末装置にのみ公開するようになっていてもよい。この場合、具体的に図16を用いて説明すると、次にようになる。ユーザ4が今回の撮影でユーザ5とユーザ6とともに写真撮影装置4にて写真撮影を行い、この撮影された写真画像をサーバ装置5にてアップロードする。このとき、ユーザ4は、ユーザ5とユーザ6とに問い合わせを行いアップロードしてもよいか否かを尋ねる。ことのとき、ユーザ5の端末装置、ユーザ6の端末装置には、図17のような、アップロード承認画面が表示される。ここで、ユーザ5がアップロードを拒否し、ユーザ6がアップロードに賛成する旨をユーザ4の端末装置に返したとする。ユーザ4の端末装置は、ユーザ5の顔画像に対して画像処理を行い、アップロードを行う。そして、公開されるのは、ユーザ4の友達リストに含まれる、つまり、ユーザ4が過去に一緒に写真撮影装置4を利用したユーザ1、ユーザ2、ユーザ3に公開される。もちろん、今回一緒に撮影したユーザ5、ユーザ6には公開されるものとする。なお、ユーザとは、端末装置3のユーザである。
本実施形態では、写真画像における顔画像に対する画像処理について説明したが、画像処理を行う対象は顔画像に限定されない。画像中で部分画像IDが付与されており、それぞれが識別される画像であれば、どのような部分画像でもかまわない。
(補足)
上記端末装置3、写真撮影装置4、およびサーバ装置5の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、端末装置3、写真撮影装置4、およびサーバ装置5は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである端末装置3、写真撮影装置4、およびサーバ装置5の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記端末装置3、写真撮影装置4、およびサーバ装置5に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、端末装置3、写真撮影装置4、およびサーバ装置5を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エクストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、例えば、複数の人数で撮影した写真画像において特定の顔画像に対して画像処理するというように、特定の部分画像に、あるいは特定の部分画像を除いた画像に、画像処理を施す画像処理装置とそれを含むシステム全般に利用することができる。
本実施形態に係る画像処理装置を備えた画像処理端末装置の構成を示すブロック図である。 本実施形態に係る画像処理システムの構成を示すブロック図である。 本実施形態に係る写真撮影装置が付与する顔画像IDを説明する図である。 上記写真撮影装置の、一度目の撮影にておける顔画像IDの付与の仕方を説明する図である。 上記写真撮影装置の、二度目以降の撮影にておける器官配置データIDの付与の仕方を説明する図である。 上記写真撮影装置の、二度目以降の撮影にておける顔画像IDの付与の仕方を説明する図である。 本実施形態の端末装置における画像処理の流れを示すフローチャートである。 アップロード選択画面の一例を示す図である。 端末検索画面の一例を示す図である。 端末装置が通信範囲になかった場合の端末検索失敗画面の一例を示す図である。 同じ写真を格納する端末装置を検索できなかった場合の端末検索失敗画面の一例を示す図である。 アップロード承認通信画面の一例を示す図である。 アップロード承認画面の一例を示す図である。 アップロード決定画面の一例を示す図である。 公開相手選択画面の一例を示す図である。 サーバ装置5において、写真画像の公開相手を示す図である。 アップロード承認画面の図13とは異なる一例を示す図である。
符号の説明
1 画像処理システム
2 画像処理装置
3,3B,3A 端末装置(画像処理端末装置、ユーザID格納端末装置、ユーザID取得端末装置)
4 写真撮影装置
5 サーバ装置
31,41,51 制御部
32,42,52 記憶部
33 近距離通信部(ユーザID付与手段)
34,53 ネットワーク通信部
35 タッチパネル
36 タッチペン
43 近距離通信部
44 撮影部
311 取得部(取得手段)
312 画像処理部(画像処理手段)
313 顔画像ID選択部(選択手段)
321 写真画像DB
322 ユーザID格納部
411 顔画像ID付与部(部分画像ID付与手段)
412 選択肢提示部(選択肢提示手段)
N 広域ネットワーク

Claims (10)

  1. 画像と、該画像中の複数の部分画像を識別するためのそれぞれの部分画像IDとを対応付けて記憶する記憶部と、
    ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得する取得手段と、
    取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像に画像処理を施す画像処理手段と、を備えたことを特徴とする画像処理装置。
  2. 上記取得手段は、上記ユーザIDと共に上記部分画像の表示の指示情報を取得するものであり、
    上記画像処理手段は、上記指示情報が表示の禁止を指示する表示禁止情報である場合には、上記画像処理を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 画像と、該画像中の複数の部分画像を識別するためのそれぞれの部分画像IDとを対応付けて記憶する記憶部と、
    ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得する取得手段と、
    取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像を除いて、上記画像に画像処理を施す画像処理手段と、を有することを特徴とする画像処理装置。
  4. 上記取得手段は、上記ユーザIDと共に上記部分画像の表示の指示情報を取得するものであり、
    上記画像処理手段は、上記指示情報が表示の許可を指示する表示許可情報である場合には、上記画像処理を行うことを特徴とする請求項3に記載の画像処理装置。
  5. 上記画像は写真画像であり、上記部分画像は人物の顔画像であり、上記部分画像IDは該顔画像を特定する顔画像IDであることを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。
  6. 複数の部分画像IDのうちから何れか1つを選択する選択手段と、
    選択した部分画像IDを上記ユーザIDとして格納するユーザID格納部と、
    請求項1〜5の何れか1項の画像処理システムに上記ユーザIDを付与するユーザID付与手段と、を備えることを特徴とするユーザID格納端末装置。
  7. 被写体を撮影する撮影部と、
    撮影部が撮影した画像における複数の人物の顔画像に対して、それぞれに部分画像IDを付与する部分画像ID付与手段と、
    上記それぞれの部分画像IDのうちから何れか1つを、請求項6に記載のユーザID格納端末装置に選択させるための選択肢を提示する選択肢提示手段と、を備えたことを特徴とする写真撮影装置。
  8. 請求項1〜5の何れか1項の画像処理装置を備えたことを特徴とする画像処理端末装置。
  9. 画像と、該画像中の複数の部分画像を識別するためのそれぞれの部分画像IDとを対応付けて記憶する記憶部と、
    複数の部分画像IDのうちから何れか1つを選択する選択手段と、選択した部分画像IDを上記ユーザIDとして格納するユーザID格納部とを備えたユーザID格納端末装置と、
    上記ユーザID格納端末装置からユーザIDを取得する取得手段を備えたユーザID取得端末装置と、
    上記ユーザID取得端末装置が取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像に画像処理を施す画像処理手段を備えたサーバ装置と、を備えたことを特徴とする画像処理システム。
  10. 画像と、該画像中の部分画像を識別するための部分画像IDとを対応付けて記憶する記憶部を備えた画像処理システムが上記画像を処理する画像処理方法であって、
    ユーザIDをあらかじめ格納した端末装置から該ユーザIDを取得するユーザID取得ステップと、
    上記ユーザID取得ステップにて取得したユーザIDに一致する部分画像IDに対応する上記画像中の部分画像に画像処理を施す画像処理ステップと、を含むことを特徴とする画像処理方法。
JP2005200827A 2005-07-08 2005-07-08 画像処理装置、ユーザid格納端末装置、写真撮影装置、画像処理端末装置、画像処理方法、および画像処理システム Expired - Fee Related JP4760172B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005200827A JP4760172B2 (ja) 2005-07-08 2005-07-08 画像処理装置、ユーザid格納端末装置、写真撮影装置、画像処理端末装置、画像処理方法、および画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005200827A JP4760172B2 (ja) 2005-07-08 2005-07-08 画像処理装置、ユーザid格納端末装置、写真撮影装置、画像処理端末装置、画像処理方法、および画像処理システム

Publications (2)

Publication Number Publication Date
JP2007018386A true JP2007018386A (ja) 2007-01-25
JP4760172B2 JP4760172B2 (ja) 2011-08-31

Family

ID=37755488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005200827A Expired - Fee Related JP4760172B2 (ja) 2005-07-08 2005-07-08 画像処理装置、ユーザid格納端末装置、写真撮影装置、画像処理端末装置、画像処理方法、および画像処理システム

Country Status (1)

Country Link
JP (1) JP4760172B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008197837A (ja) * 2007-02-09 2008-08-28 Fujifilm Corp 画像処理装置
JP2008245208A (ja) * 2007-03-29 2008-10-09 Kyocera Corp 画像送信装置、画像送信方法および画像送信プログラム
JP2008252779A (ja) * 2007-03-30 2008-10-16 Yamaha Corp 画像処理装置、画像処理方法、プログラムおよびカメラ
JP2010122598A (ja) * 2008-11-21 2010-06-03 Tatsumi Denshi Kogyo Kk 自動写真作成装置
JP2011014056A (ja) * 2009-07-06 2011-01-20 Furyu Kk 写真撮影編集装置、写真撮影編集方法、およびプログラム
WO2011021664A1 (ja) * 2009-08-21 2011-02-24 株式会社ニコン 通信端末および通信システム
JP2012018557A (ja) * 2010-07-08 2012-01-26 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2012083915A (ja) * 2010-10-08 2012-04-26 Canon Inc 画像公開システム、画像公開方法、撮像装置
JP2013171311A (ja) * 2012-02-17 2013-09-02 Nec Casio Mobile Communications Ltd 画像処理装置、端末装置、画像処理方法及びプログラム
JP2014130568A (ja) * 2012-11-29 2014-07-10 Canon Marketing Japan Inc 電子データ監査装置、電子データ監査装置の制御方法及びプログラム
JP2015185875A (ja) * 2014-03-20 2015-10-22 フリュー株式会社 管理サーバ、写真シール作成装置、画像管理方法、制御プログラム、および記録媒体
CN106375680A (zh) * 2015-07-24 2017-02-01 中兴通讯股份有限公司 一种图片处理方法、装置及终端
JP2019165431A (ja) * 2018-01-23 2019-09-26 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH プライバシー対応データを記録するための方法およびシステム
WO2024053183A1 (ja) * 2022-09-08 2024-03-14 株式会社Jvcケンウッド 人物検索装置および人物検索方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229265A (ja) * 2004-02-12 2005-08-25 Kddi Corp 画像暗号システム及び画像暗号方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229265A (ja) * 2004-02-12 2005-08-25 Kddi Corp 画像暗号システム及び画像暗号方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300899B2 (en) 2007-02-09 2012-10-30 Fujifilm Corporation Image processing apparatus
JP2008197837A (ja) * 2007-02-09 2008-08-28 Fujifilm Corp 画像処理装置
JP4671133B2 (ja) * 2007-02-09 2011-04-13 富士フイルム株式会社 画像処理装置
JP2008245208A (ja) * 2007-03-29 2008-10-09 Kyocera Corp 画像送信装置、画像送信方法および画像送信プログラム
US8326356B2 (en) 2007-03-29 2012-12-04 Kyocera Corporation Image transmission apparatus, image transmission method and image transmission program product
JP2008252779A (ja) * 2007-03-30 2008-10-16 Yamaha Corp 画像処理装置、画像処理方法、プログラムおよびカメラ
JP2010122598A (ja) * 2008-11-21 2010-06-03 Tatsumi Denshi Kogyo Kk 自動写真作成装置
JP2011014056A (ja) * 2009-07-06 2011-01-20 Furyu Kk 写真撮影編集装置、写真撮影編集方法、およびプログラム
WO2011021664A1 (ja) * 2009-08-21 2011-02-24 株式会社ニコン 通信端末および通信システム
US9049056B2 (en) 2009-08-21 2015-06-02 Nikon Corporation Communication terminal and communication system
CN102474534A (zh) * 2009-08-21 2012-05-23 株式会社尼康 通信终端及通信系统
JP5704072B2 (ja) * 2009-08-21 2015-04-22 株式会社ニコン 通信端末および通信システム
CN102474534B (zh) * 2009-08-21 2015-05-20 株式会社尼康 通信终端及通信方法
JP2012018557A (ja) * 2010-07-08 2012-01-26 Sony Corp 情報処理装置、情報処理方法及びプログラム
US9940468B2 (en) 2010-07-08 2018-04-10 Sony Corporation Preserving user privacy
US8826458B2 (en) 2010-07-08 2014-09-02 Sony Corporation Information processing apparatus, information processing method, and program
JP2012083915A (ja) * 2010-10-08 2012-04-26 Canon Inc 画像公開システム、画像公開方法、撮像装置
JP2013171311A (ja) * 2012-02-17 2013-09-02 Nec Casio Mobile Communications Ltd 画像処理装置、端末装置、画像処理方法及びプログラム
JP2014130568A (ja) * 2012-11-29 2014-07-10 Canon Marketing Japan Inc 電子データ監査装置、電子データ監査装置の制御方法及びプログラム
JP2015185875A (ja) * 2014-03-20 2015-10-22 フリュー株式会社 管理サーバ、写真シール作成装置、画像管理方法、制御プログラム、および記録媒体
CN106375680A (zh) * 2015-07-24 2017-02-01 中兴通讯股份有限公司 一种图片处理方法、装置及终端
JP2019165431A (ja) * 2018-01-23 2019-09-26 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH プライバシー対応データを記録するための方法およびシステム
WO2024053183A1 (ja) * 2022-09-08 2024-03-14 株式会社Jvcケンウッド 人物検索装置および人物検索方法

Also Published As

Publication number Publication date
JP4760172B2 (ja) 2011-08-31

Similar Documents

Publication Publication Date Title
JP4760172B2 (ja) 画像処理装置、ユーザid格納端末装置、写真撮影装置、画像処理端末装置、画像処理方法、および画像処理システム
JP5428309B2 (ja) 端末装置、電子機器、コンテンツデータ提供システム、制御方法、制御プログラムおよび記録媒体
US20090044251A1 (en) Meeting system including display device and data processing apparatus connected thereto, data processing apparatus connected to display device, data output method, and data output program
JP5939659B2 (ja) 写真・動画像提供システム
KR102330637B1 (ko) 증강현실 포토카드를 제공하는 시스템, 서버, 방법 및 그 기록매체
JP2005267146A (ja) 画像認識機能を利用した電子メール作成方法および装置
JP2008191714A (ja) 画像転送システム、写真撮影プリント装置、画像保存サーバ、画像転送方法、画像転送プログラム、および記憶媒体
JP2009099142A (ja) 画像共有システムおよび方法、ならびにコンテンツ共有システムおよび方法
JP6796544B2 (ja) 顔認証システム
JP2005049939A (ja) 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP2024020650A (ja) 撮像データ提供システム
JP5212053B2 (ja) 撮影画像編集装置、画像処理端末、撮影画像編集装置の制御方法、撮影画像編集装置および画像処理端末制御プログラム、およびそれらのコンピュータ読み取り可能な記録媒体
JP4952410B2 (ja) アドレス送信装置およびその制御方法、メール送信システム、アドレス送信装置制御プログラム、ならびに記録媒体
JP2019118021A (ja) 撮影制御システム、撮影制御方法、プログラムおよび記録媒体
JP4581872B2 (ja) 画像提供装置、画像提供システム、画像提供方法、画像提供装置制御プログラム、および該プログラムを記録した記録媒体
JP2020188507A (ja) 遊戯画像撮影システムおよび画像処理装置
JP6428152B2 (ja) 肖像権保護プログラム、情報通信装置及び肖像権保護方法
JP5246592B2 (ja) 情報処理端末、情報処理方法、及び情報処理プログラム
JP4386050B2 (ja) 占い処理システム、占い処理方法、写真占いシステム、占い処理プログラム、および記録媒体
JP2015154218A (ja) サーバシステム及びプログラム
JP2006277227A (ja) 合成画像作成装置
JP7276032B2 (ja) 撮影システム
CN106250737A (zh) 访问控制方法、装置及用户终端
JP2016206465A (ja) 写真撮影遊戯装置
JP4946674B2 (ja) 画像サーバ装置、画像サーバ装置の制御方法、画像サーバ装置制御プログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像送信システム、画像送信システムの制御方法、画像送信システム制御プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体。

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070403

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110218

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4760172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees