JP2020046837A - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2020046837A
JP2020046837A JP2018173816A JP2018173816A JP2020046837A JP 2020046837 A JP2020046837 A JP 2020046837A JP 2018173816 A JP2018173816 A JP 2018173816A JP 2018173816 A JP2018173816 A JP 2018173816A JP 2020046837 A JP2020046837 A JP 2020046837A
Authority
JP
Japan
Prior art keywords
image
correction
correction rule
tag information
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018173816A
Other languages
English (en)
Other versions
JP7065738B2 (ja
Inventor
直哉 伊東
Naoya Ito
直哉 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018173816A priority Critical patent/JP7065738B2/ja
Priority to US16/521,686 priority patent/US11283945B2/en
Priority to CN201910771881.XA priority patent/CN110913124B/zh
Publication of JP2020046837A publication Critical patent/JP2020046837A/ja
Application granted granted Critical
Publication of JP7065738B2 publication Critical patent/JP7065738B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183Photography assistance, e.g. displaying suggestions to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】より適切なタイミングで画像を適切に補正することが可能な画像処理装置、画像処理方法、当該画像処理方法をコンピュータに実行させるプログラム、及び、そのプログラムを記録した記録媒体を提供する。【解決手段】画像処理装置において、ユーザが撮影した画像の入力を受け付ける画像入力受付部と、画像入力受付部が画像の入力を受け付けると、入力された画像に関する付帯情報に応じて、入力された画像に対する補正規則を設定する補正規則設定部と、補正規則設定部が補正規則を設定すると、補正規則を適用した画像の補正をユーザに提案する補正提案部と、が備えられている。【選択図】図2

Description

本発明は、ユーザが撮影した画像の入力を受け付けるとともに、入力された画像に対する補正を提案する画像処理装置、画像処理方法、プログラム及び記録媒体に関する。
ユーザが撮影した画像(厳密には、画像データ)を、ネットワークを通じて他のユーザと共有したり、多くのユーザに公開したりすることは、既に知られている。また、画像の共有及び公開に際してユーザが画像を補正する(加工を含む)ことがある。画像補正の際、ユーザは、画像の表示画質が所望の画質となるように補正の設定を行い、その設定の下で画像補正が実施される。
また、近年では、画像補正を円滑に実施するための技術が開発されてきている。一例を挙げて説明すると、特許文献1には、同じ特徴を有する複数の画像データを円滑に処理するための技術が開示されている。具体的に説明すると、特許文献1に記載の画像処理方法は、ユーザを検知するステップと、画像データの特徴を検出するステップと、画像データに対して処理(具体的には、補正処理及び加工処理)を施すステップと、検知されたユーザが画像に対して指定した処理の内容を、ユーザの検知情報及び画像データの特徴と関連付けて記憶するステップと、を有する。このような画像処理方法によれば、同じユーザが所定の画像データに対して処理を施すとき、同じユーザの検知情報及び所定の画像データの特徴と同じ画像データの特徴に関連付けられて記憶された処理を選択することができる。これにより、ユーザは、画像データ毎に処理を指定する必要がなく、以て、同じ特徴を有する複数の画像データを円滑に、ユーザの好みに応じて処理することが可能となる。
別の例としては、特許文献2が挙げられる。特許文献2には、ユーザのニーズ及び嗜好に対応した画像の補正が簡便に行える画像処理システムが記載されている。このシステムでは、サーバに蓄積された補正情報のうち、補正対象となった画像の付帯情報に基づいて得られた推奨補正情報をサーバから送信し、画像処理装置が、受信した推奨補正情報に基づいて画像を補正する。このようなシステムによれば、様々な補正情報がある中で、補正対象の画像に対応した推奨補正情報に基づいて、画像を適切に補正することが可能となる。
特開2006−323580号公報 特開2015−154244号公報
特許文献1及び2の技術によれば、上述したように、円滑且つ適切な画像補正が実現されるが、ユーザにとっての使い勝手を考慮して、画像補正の場面において利便性をより向上させた画像処理装置の開発が求められている。
具体的に説明すると、特許文献1に記載の画像処理方法では、ユーザを検知して画像データにおける特徴を検出したタイミングで、補正処理又は加工処理の内容が選択され、選択された内容の処理が画像データに対して自動的に行われる。また、特許文献2に記載の画像処理システムでは、ユーザが元画像の付帯情報及び具体的な補正意図の情報を送信してサーバがこれらの情報を受信すると、そのタイミングで、推奨補正情報がサーバから送信され、画像処理装置が推奨補正情報を受信して元画像を補正する。
一方、特許文献1及び2の各々に記載された画像補正と比較して、より適切なタイミング、特に画像の入力(例えば、サーバへの画像のアップロード等)との関係で好適なタイミングで画像を補正することが求められる。
本発明は、上記の事情に鑑みてなされたものであり、以下に示す目的を解決することを課題とする。
本発明は、上記従来技術の問題点を解決し、より適切なタイミングで画像を適切に補正することが可能な画像処理装置、画像処理方法、当該画像処理方法をコンピュータに実行させるプログラム、及び、そのプログラムを記録した記録媒体を提供することを目的とする。
上記の目的を達成するために、本発明の画像処理装置は、ユーザが撮影した画像の入力を受け付ける画像入力受付部と、画像入力受付部が画像の入力を受け付けると、入力された画像に関する付帯情報に応じて、入力された画像に対する補正規則を設定する補正規則設定部と、補正規則設定部が補正規則を設定すると、補正規則を適用した画像の補正をユーザに提案する補正提案部と、を有することを特徴とする。
上記のように構成された画像処理装置では、画像入力を受け付けると、それをトリガーとして入力画像に対する補正規則が設定され、設定された補正規則を適用した入力画像の補正が提案される。このような構成によれば、より適切なタイミングで画像を適切に補正することが可能となる。
ここで、上記の画像処理装置において、補正規則を適用した画像の補正を実施する画像補正部を有し、補正提案部は、補正提案部が提案した画像の補正に対するユーザの許否を確認し、画像補正部は、補正提案部が提案した画像の補正に対するユーザの許可を補正提案部が確認したときにのみ、補正提案部が提案した画像の補正を実施すると好ましい。
この場合には、ユーザが補正を許可した場合にのみ、画像補正が実施されるため、ユーザの意思を反映して画像補正が実施される。
また、上記の画像処理装置において、補正提案部は、補正規則を適用した画像の補正をユーザに提案する際に、補正規則を適用して補正した場合の補正済み画像を表示させると、より好ましい。
この場合には、ユーザは、補正済み画像を見て補正内容を把握することが可能となる。
また、上記の画像処理装置において、補正提案部は、補正規則を適用した画像の補正をユーザに提案する際に、補正規則の内容に応じた文字列情報を表示すると、さらに好ましい。
この場合には、ユーザは、表示された文字列情報を見て補正内容を把握することが可能となる。
また、上記の画像処理装置において、画像入力受付部が画像の入力を受け付けると、入力された画像を解析して画像中のオブジェクトを特定し、オブジェクトに対応したタグ情報を、入力された画像に付帯情報として付与するタグ情報付与部を有し、補正規則設定部は、入力された画像に付与されたタグ情報に応じて、入力された画像に対する補正規則を設定すると、より一層好ましい。
この場合には、画像中のオブジェクトに応じた補正規則が設定されるので、画像補正をより適切に実施することが可能となる。
また、上記の画像処理装置において、予め用意された補正規則を、タグ情報と関連付けて記憶する補正規則記憶部を有し、補正規則設定部は、補正規則記憶部に記憶された補正規則中、入力された画像に付与されたタグ情報と一致するタグ情報に関連付けられた補正規則を、入力された画像に対する補正規則として設定すると、なお一層好ましい。
この場合には、予め用意された補正規則の中から、入力画像に付与されたタグ情報と関連付けられた補正規則が選択され、選択された補正規則を適用して画像補正が実施される。これにより、画像補正をよりスムーズに実施することが可能となる。
また、上記の画像処理装置において、タグ情報は、オブジェクトの属性を示す第一タグ情報と、オブジェクトに関して第一タグ情報よりも具体的な属性を示す第二タグ情報と、を含んでおり、補正規則記憶部には、第一タグ情報と関連付けられた補正規則と、第二タグ情報と関連付けられた補正規則とが、それぞれ記憶されていると、さらに一層好ましい。
この場合には、第一タグ情報及び第二タグ情報のそれぞれについて、補正規則が用意されているので、入力画像に付与されたタグ情報の種類に応じて適切な補正規則を設定することが可能となる。
また、上記の画像処理装置において、入力された画像に第一タグ情報及び第二タグ情報の双方が付与され、且つ、入力された画像に付与された第一タグ情報及び第二タグ情報の各々が、補正規則記憶部に記憶された補正規則と関連付けられたタグ情報と一致する場合に、補正規則設定部は、補正規則記憶部に記憶された補正規則中、入力された画像に付与された第二タグ情報と一致する第二タグ情報に関連付けられた補正規則を、入力された画像に対する補正規則として設定すると、益々好ましい。
この場合には、第一タグ情報に関連付けられた補正規則、及び、第二タグ情報に関連付けられた補正規則の両方が候補として挙がった場合に、第二タグ情報に補正規則を優先的に採用する。これにより、画像中のオブジェクトのより具体的な内容に応じて、適切な補正規則が設定されるので、画像補正をより一層適切に実施することが可能となる。
また、上記の画像処理装置において、補正規則記憶部には、第二タグ情報に関連付けられた補正規則がユーザ別に記憶されていると、一段と好ましい。
この場合には、第二タグ情報に関連付けられた補正規則がユーザ別に記憶されているので、ユーザの関心及び嗜好等を反映して補正規則を設定することが可能となる。
また、上記の画像処理装置において、補正規則設定部が補正規則を設定するモードを、切り替えるモード切替え部を有し、モード切替え部は、補正規則設定部が補正規則を自動的に設定する自動モードと、補正規則設定部がユーザの指示に従って補正規則を設定する手動モードと、の間でモードを切り替え、モードが自動モードであるときには、入力された画像に付与されたタグ情報と、補正規則記憶部に記憶された補正規則と関連付けられたタグ情報とが一致する場合に、補正規則設定部は、補正規則記憶部に記憶された補正規則中、入力された画像に付与されたタグ情報と一致するタグ情報に関連付けられた補正規則を、入力された画像に対する補正規則として設定すると、より好ましい。
この場合には、モードが自動モードになっていると、入力画像に付与されたタグ情報に応じて補正規則が自動的に設定されるため、補正規則の設定及び画像補正がよりスムーズに実施される。
また、上記の画像処理装置において、補正規則記憶部に記憶される補正規則を追加する補正規則追加部を有し、モードが手動モードであるときに補正規則設定部が設定した補正規則を対象補正規則とし、対象補正規則を適用して補正された画像に付与されたタグ情報を対象タグ情報としたとき、補正規則追加部は、下記の条件1を満たす対象補正規則を、下記の条件2を満たす対象タグ情報と関連付けて補正規則記憶部に記憶させると、更に好ましい。
条件1:同じ対象補正規則を適用して補正された複数の画像の数が、閾値以上であること。
条件2:条件1を満たす対象補正規則を適用して補正された複数の画像に対して、同じ対象タグ情報が付与された回数が、閾値以上であること。
この場合には、モードが手動モードであるときにユーザが設定した補正規則が、同一のタグ情報が付与された画像の補正において一定回数以上適用されると、その補正規則を記憶して以降の画像補正に利用することが可能となる。これにより、ユーザが好む補正規則を適用した画像補正を、よりスムーズに実施することが可能となる。
また、上記の画像処理装置において、補正規則を適用した補正の要否に関するユーザの選択操作を、補正規則別に受け付ける選択操作受付部を有し、補正規則設定部によって設定された補正規則に対して、補正が不要であるという選択操作を選択操作受付部が受け付けた場合、補正規則設定部によって設定された補正規則を適用した画像の補正が不実施となると、より一層好ましい。
この場合には、補正不要とユーザが選択した補正規則については、その補正規則を適用した画像補正が見送られるので、ユーザの意向を踏まえて画像補正が実施される。
また、上記の画像処理装置において、画像入力受付部は、ソーシャルネットワークサービスへの投稿のために画像の入力を受け付けてもよい。
この場合には、ソーシャルワークサービスへの投稿のために画像が入力された際に、入力画像が補正される。これにより、ユーザは、自分が好む補正規則を適用して補正された画像をソーシャルネットワークサービスに投稿することが可能となる。
また、上記の画像処理装置において、付帯情報に応じた補正規則を適用して補正された補正済み画像を、補正前の画像に戻す逆補正部を有するとより好適である。
この場合には、一度補正した画像を元の状態(補正前の画像)に戻すことができる。これにより、ユーザの要求に応じて、補正済み画像を補正前の画像に戻すことが可能である。
また、前述の目的を達成するために、本発明は、画像入力受付部が、ユーザが撮影した画像の入力を受け付けるステップと、画像入力受付部が画像の入力を受け付けると、補正規則設定部が、入力された画像に関する付帯情報に応じて、入力された画像に対する補正規則を設定するステップと、補正規則設定部が補正規則を設定すると、補正提案部が、補正規則を適用した画像の補正をユーザに提案するステップと、を有することを特徴とする画像処理方法を提供する。
また、上記の画像処理方法において、画像補正部が、補正規則を適用した画像の補正を実施するステップを有し、画像の補正を提案するステップでは、補正提案部により提案された画像の補正に対するユーザの許否を確認し、補正提案部により提案された画像の補正に対するユーザの許可を確認したときにのみ、補正規則を適用した画像の補正を実施すると、より好ましい。
また、上記の画像処理方法において、画像入力受付部が画像の入力を受け付けると、タグ情報付与部が、入力された画像を解析して画像中のオブジェクトを特定し、オブジェクトに対応したタグ情報を、入力された画像に付帯情報として付与するステップをさらに有し、入力された画像に対する補正規則を設定するステップでは、入力された画像に付与されたタグ情報に応じて、入力された画像に対する補正規則を設定すると、さらに好ましい。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
また、本発明は、プロセッサを備える画像処理装置であって、プロセッサが、ユーザが撮影した画像の入力を受け付け、画像の入力を受け付けると、入力された画像に関する付帯情報に応じて、入力された画像に対する補正規則を設定し、補正規則を設定すると、補正規則を適用した画像の補正をユーザに提案するように構成された画像処理装置を提供する。
本発明によれば、より適切なタイミングで画像を適切に補正することが可能な画像処理装置、画像処理方法、当該画像処理方法をコンピュータに実行させるプログラム、及び、そのプログラムを記録した記録媒体が実現される。
画像処理装置及び関連機器を示す図である。 本発明の一実施形態に係る画像処理装置の詳細構成を示す図である。 補正規則とタグ情報との対応関係を示すテーブルである。 補正用の設定画面の一例を示す図である。 補正提案用ウィンドウの一例を示す図である。 画像処理フローの流れを示す図である(その1)。 画像処理フローの流れを示す図である(その2)。 画像処理フローの流れを示す図である(その3)。 入力用画面の一例を示す図である。 共有設定画面の一例を示す図である。
以下に、本発明の画像処理装置、画像処理方法、プログラム及び記録媒体について、添付の図面に示す好適な実施形態(以下、本実施形態)に基づいて詳細に説明する。なお、以下に説明する実施形態は、本発明を分かり易く説明する目的で挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、以下に説明する実施形態に限られず、本発明の主旨を逸脱しない範囲において種々の改良又は変更され得る。また、当然ながら、本発明には、その等価物が含まれる。
また、本明細書において、「画像」とは、画像データのことであり、例えば、JPEG(Joint Photographic Experts Group)形式のような非可逆圧縮の画像データ、GIF(Graphics Interchange Format)又はPNG(Portable Network Graphics)形式のような可逆圧縮の画像データ等が該当する。
[画像処理装置の概要]
本実施形態に係る画像処理装置10の概要について、図1を参照しながら説明する。図1は、画像処理装置10及び関連機器を示す図である。なお、図示の便宜上、図1では、ネットワークNを介して画像処理装置10に接続されているユーザ端末11の台数を3台としているが、当然ながら、ユーザ端末11の台数は、任意の台数でもよい。
本実施形態に係る画像処理装置10は、図1に示すように、インターネット回線又はモバイル通信回線等のネットワークNを介して、少なくとも1台以上のユーザ端末11と通信可能に接続されている。画像処理装置10は、サーバとしてのコンピュータであり、ユーザ端末11は、クライアントとしての端末である。本実施形態において、画像処理装置10は、ユーザ端末11からの画像入力(アップロード)を受け付け、入力画像を蓄積する。また、画像処理装置10は、入力画像を補正する機能を有する。
画像処理装置10は、プロセッサを備えており、このプロセッサが画像処理プログラムを読み取って各種のデータ処理を実施することで、その機能を発揮する。画像処理プログラムは、画像処理装置10を構成するコンピュータに、画像処理装置10としての機能を発揮させるためのコマンドを規定している。また、画像処理プログラムは、画像処理装置10の記憶装置(不図示)に記憶されている。記憶装置は、画像処理プログラム、画像処理プログラムの実行に必要なデータ、及び画像処理プログラムの実行により生成されたデータ等を記憶するハードウェアとしての記憶媒体である。記憶装置には主記憶装置と外部記憶装置とが含まれており、主記憶装置は、例えば、ROM(Read Only Memory)、RAM(RANDOM Access Memory)、DRAM(Dynamic Random Access Memory)、若しくはSRAM(Static Random Access Memory)等であるが、これらに限られない。また、外部記憶装置は、例えば、ハードディスク、CD−ROM(Compact Disc Read Only Memory)及びDVD(Digital Versatile Disk)等の光学ディスク、フラッシュメモリ及び磁気テープであるが、これらに限られない。
ユーザは、ユーザ端末11を通じて、画像処理装置10が提供するサービスを利用することが可能である。ユーザ端末11は、例えば、PC(パーソナルコンピュータ)、タブレット型端末、スマートフォン又は携帯電話等によって構成されている。ユーザ端末11は、キーボード、マウス及びタッチパネル等の入力装置、液晶ディスプレイ及びタッチパネル等の表示装置、及び、画像処理装置10と通信するために設けられた通信用インターフェイス等の通信装置を有する。また、ユーザ端末11は、ユーザの入力操作に応じたデータ処理等を実行するデータ処理部(ユーザ端末側プロセッサ)を備えている。
画像処理装置10が提供するサービスについて説明すると、画像処理装置10は、ユーザがユーザ端末11を通じて入力(アップロード)した画像を取得し、その入力画像をデータベース12に蓄積する。ここで、入力画像は、ユーザ端末11に搭載されたカメラ等の撮像機器によってユーザが撮像した画像、又は、ユーザが他の撮像機器によって撮像してからユーザ端末11へ取り込んだ画像等である。
データベース12には、各ユーザ端末11から入力された画像、及び、各ユーザ端末11から入力された画像に対して所定の画像処理(例えば、後述の補正処理)を施して得られる画像が、ユーザ別に蓄積されている。
なお、データベース12は、画像処理装置10内に設けられてもよく、あるいは画像処理装置10に接続された外部コンピュータに構築されてもよい。
画像処理装置10の機能によれば、ユーザは、自分が入力(アップロード)した画像を、ユーザ端末11を通じて閲覧することが可能である。また、画像処理装置10は、あるユーザが入力した画像を、そのユーザが指定した他のユーザのユーザ端末11に表示させることができる。つまり、各ユーザは、画像処理装置10の機能により、自分が入力(アップロード)した画像を他のユーザと共有することが可能である。
また、画像処理装置10は、入力画像をデータベース12に蓄積するにあたり、入力画像にタグ情報を付与する。タグ情報は、例えば、画像中のオブジェクトの名称、分類(カテゴリ)及び主題(テーマ)等の属性を示す情報である。入力画像にタグ情報が付与されることで、ユーザにとって画像管理が容易になる。具体的に説明すると、ユーザは、データベース12に蓄積された画像の中から、ユーザ端末11に表示させる画像を抽出する際、タグ情報を手掛かりにして容易に抽出することが可能である。
さらに、画像処理装置10は、入力画像、及び、データベース12の中から指定された画像に対して補正を実施することが可能である。補正とは、画像の画質に対する補正であり、具体的には画像に写ったオブジェクトの色調、色相、明度、輝度、彩度及び質感(例えば、光沢感等)を、設定された補正規則に従って変更する処理である。
本実施形態では、入力画像を補正した補正済み画像をデータベース12に蓄積することができる。これにより、ユーザは、データベース12内の画像を閲覧するとき、及び、他のユーザと画像を共有するときに、補正済み画像を利用することが可能である。
また、本実施形態では、画像補正を実施する際に、補正規則が設定され、設定された補正規則を適用して画像補正が実施される。より詳しく説明すると、予め用意された複数種類の補正規則の中から一つの補正規則が採用され、採用された補正規則を適用して画像補正を実施する。
[画像補正]
以下、画像補正について説明する。なお、以降の説明では、説明を分かり易くする目的から、補正規則の具体例として下記5種類の補正規則を挙げて説明することとする。
1)オブジェクトがよりダイナミック(躍動的)に見えるような視覚効果を生じさせる補正規則(以下、「Dynamic」と表記)
2)オブジェクトがよりレトロ調に(古めかしく)見えるような視覚効果を生じさせる補正規則(以下、「Retro」と表記)
3)画像を白黒画像(グレースケール画像)とする補正規則(以下、「Black&White」と表記)
4)オブジェクトの輝き感が増加するような視覚効果を生じさせる補正規則(以下、「Glitter」と表記)
5)インスタントカメラで撮影した場合の画質を再現したような視覚効果を生じさせる補正規則(以下、「Instant」と表記)
ここで、補正規則とは、画質変更用の画像処理フィルタ(空間処理フィルタ)のことである。つまり、画像補正とは、画像処理フィルタによるフィルタリング処理を意味する。
なお、上記5種類の補正規則の各々における色調、色相、明度、輝度、彩度及び質感の変更量については、予めデフォルト値が設定されているが、ユーザによってデフォルト値から適宜変更することができてもよい。
また、補正規則については、当然ながら、上記5種類に限定されるものではなく、上記5種類以外の補正規則を含んでもよい。
また、補正規則の名称については、例えば、「Retro」及び「Glitter」などのような補正後の品質(見た目)に応じて設定されたものであってもよく、例えば、「コントラスト+2」等のように具体的な補正内容及び変更量等で表したものであってもよい。
本実施形態では、ユーザ端末11から画像が入力(アップロード)され、その入力画像を画像処理装置10が受け付ける(受信する)と、それをトリガーとして、画像補正に係るデータ処理が開始される。また、画像補正のモードについては、自動モード及び手動モードが選択可能である。自動モードが選択されたときには、入力画像の中のオブジェクト(被写体)に応じて自動的に補正規則が決められる。より厳密に説明すると、入力画像に対してはオブジェクトに応じたタグ情報が付与され、その後、タグ情報に応じた補正規則が設定される。例えば、タグ情報「風景」が付与された画像に対しては、補正規則「Dynamic」が設定され得る。また、タグ情報「料理」が付与された画像に対しては、補正規則「Retro」が設定され得る。
一方、手動モードが選択されたときには、ユーザは、上記5種類の補正規則の中から一つを選択し、ユーザが選択した補正規則が、画像補正時に適用される補正規則として設定される。また、手動モードにおいて、同一のタグ情報(詳しくは、後述の第二タグ情報)が付与された画像に対して同じ補正規則を適用した画像補正が一定回数以上実施された場合、その補正規則は、ユーザが頻繁に利用する補正規則(頻出補正規則)として記憶される。それ以降の画像補正(正確には、モードが自動モードであるときの画像補正)において、同じタグ情報が付与された画像を補正する場合には、記録された頻出補正規則が、画像補正に適用される補正規則として自動的に設定されるようになる。
[画像処理装置の構成]
次に、本実施形態に係る画像処理装置10の構成について説明する。本実施形態に係る画像処理装置10は、画像入力受付部と、補正規則設定部と、補正提案部とを有する(後述の図2参照)。画像入力受付部は、ユーザが撮影した画像の入力(アップロード)を受け付ける。補正規則設定部は、画像入力受付部が画像の入力を受け付けると、これをトリガーとして、入力画像に付与されたタグ情報(付帯情報)に応じて補正規則を設定する。補正提案部は、補正規則設定部が補正規則を設定すると、補正規則を適用した入力画像の補正をユーザに提案する。
以上のように構成された画像処理装置10によれば、前述した特許文献1及び2に記載の画像処理方法及び画像処理システムと比較して、より適切なタイミング、特に画像入力(詳しくは、画像処理装置10への画像のアップロード)との関係で好適なタイミングで画像を補正することが可能である。
具体的に説明すると、特許文献1に記載の画像処理方法では、ユーザの検知及び画像データにおける特徴の検出をトリガーとして画像補正が開始される。
また、特許文献2に記載の画像処理システムでは、ユーザが元画像の付帯情報及び具体的な補正意図の情報をサーバに向けて送信すると、これをトリガーとして画像補正が開始される。
一方、画像補正の実施タイミングについては、画像入力時が望ましい。なぜならば、ユーザが画像を入力(アップロード)する主な目的がネットワーク上での画像管理及び他のユーザとの共有であり、そのような目的を達成する上で、ユーザが好む補正を画像入力時点で実施することが求められるからである。
そして、本実施形態に係る画像処理装置10では、前述したように、画像入力を受け付けることをトリガーとして画像補正に係る処理が実施される。つまり、本実施形態では、画像入力のタイミングにて画像補正が開始されるので、ユーザにとって好適なタイミングにて画像補正が実施されることになる。
以下、画像処理装置10の詳細構成について図2を参照しながら説明する。図2は、画像処理装置10の詳細構成を示すブロック図である。画像処理装置10は、図2に示すように、画像入力受付部21、タグ情報付与部22、補正規則設定部23、補正規則記憶部24、モード切替え部25、選択操作受付部26、補正提案部27、画像補正部28、補正規則追加部29及び逆補正部30を有する。これらの処理部(Processing Unit)のうち、補正規則記憶部24以外の処理部は、画像処理装置10として用いられるコンピュータ等のハードウェア機器と、ソフトウェアとしての画像処理プログラムとが協働することで実現される。他方、補正規則記憶部24のハードウェア構成は、画像処理装置10が備える記憶装置(具体的には、ROM及びRAM等のメモリ;ハードディスク、メモリカード、フレキシブルディスク(FD)、コンパクトディスク(CD)、DVD及びBlu−rayディスク(登録商標)等の光ディスク、磁気ディスク、IC(Integrated Circuit)カード等の外部記憶装置であってもよいし、あるいは、画像処理装置10と通信可能に接続された他のコンピュータの記憶装置であってもよい。
なお、各処理部の構成について付言しておくと、本発明において、画像処理装置10の各処理部(具体的には、画像入力受付部21、タグ情報付与部22、補正規則設定部23、モード切替え部25、選択操作受付部26、補正提案部27、画像補正部28、補正規則追加部29及び逆補正部30の各々)のハードウェア構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。
また、各種のプロセッサには、ソフトウェア(プログラム)を実行して各処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、及びASIC(Application Specific Integrated Circuit)等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
また、一つの処理部を、これら各種のプロセッサのうちの一つで構成してもよいし、同種または異種の二つ以上のプロセッサの組み合わせ、例えば、複数のFPGAの組み合わせ、または、FPGA及びCPUの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの一つで構成してもよいし、複数の処理部のうちの二つ以上をまとめて一つのプロセッサを用いて構成してもよい。
また、例えば、サーバおよびクライアント等のコンピュータに代表されるように、一つ以上のCPUとソフトウェアの組み合わせで一つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態があり、本実施形態は、この形態に該当する。
また、システムオンチップ(System on Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を一つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。
さらに、上記各種のプロセッサのハードウェア構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)である。
以下、本発明の画像処理装置の各処理部について説明する。
〔画像入力受付部〕
画像入力受付部21は、ユーザがユーザ端末11を通じて行う画像の入力を、ネットワークNを通じて受け付ける。また、1回の画像入力においては、少なくとも1枚以上の画像が入力される。ここで、「画像入力」としては、ユーザ端末11から画像処理装置10への画像のアップロードが該当する。また、「画像入力」には、ソーシャルネットワークサービス(SNS)への投稿のための入力が含まれる。さらに、データベース12に蓄積された既存(アップロード済み)の画像群の中から少なくとも1枚以上の画像を選択し、その選択結果をユーザ端末11から画像処理装置10に向けて送ることも「画像入力」に含まれるものとする。
〔タグ情報付与部〕
タグ情報付与部22は、画像入力受付部21が画像入力を受け付けたとき、入力画像にタグ情報を付与する。具体的に説明すると、タグ情報付与部22は、画像入力受付部21が画像入力を受け付けると、入力画像に対して画像解析を実施して入力画像中のオブジェクトを特定する。オブジェクトとは、入力画像に写った被写体としての人物及び物、入力画像が風景写真であれば場所、建物、風景(景観)及び撮影時の季節等である。
画像解析は、画像内容(画像特徴)を解析する処理であり、顔検出、顔認識、ボケブレ、明るさ、類似解析、撮影時間及びGPS(Global Positioning System)情報等の位置情報を利用した画像のグルーピング、画像認識(被写体判別)、シーン認識、並びにオブジェクト認識等を利用することができる。また、画像解析には、Exif(Exchangeable image file format)などの画像のメタデータ情報を解析する処理も含まれる。タグ情報付与部22は、入力画像中のオブジェクトを特定する際に、メタデータ情報の解析から得られる情報(例えば、GPS情報、撮影日時及びシャッター速度等)を参考にしてオブジェクトを特定することができる。タグ情報付与部22は、画像解析として、画像内容の解析、及びメタデータ情報の解析のうちの少なくとも一方を行うことができる。メタデータ情報を持たない画像に対しては、タグ情報付与部22は、画像内容の解析のみを行う。なお、画像解析方法については、特に限定されず、公知方法を含め、各種の画像解析方法を利用することができる。
また、タグ情報付与部22は、画像解析の結果に対してアノテーション技術を適用し、入力画像中のオブジェクトに対応したタグ情報を、入力画像に付与する。本実施形態において、タグ情報付与部22は、一つの画像に対して、異なる抽象度にて2種類以上のタグ情報を付与する。詳しく説明すると、タグ情報は、オブジェクトに関してより抽象的な属性を示す第一タグ情報と、オブジェクトに関して第一タグ情報よりも具体的な属性を示す第二タグ情報と、を含んでいる。第一タグ情報は、オブジェクトのテーマ(例えば、「風景」、「料理」及び「人物」など)を示すものであり、最も主要なタグ情報である。第二タグ情報は、オブジェクトの分類カテゴリ(例えば、「山」、「海」、「中華料理」、「フランス料理」、「友達」及び「家族」など)又は名称(例えば、地名、施設名、料理名、商品名、及び人物の名前など)を示すものであり、個々具体的な内容を示すタグ情報である。タグ情報付与部22は、一つの入力画像に対して、第一タグ情報及び第二タグ情報の双方を付与する。具体例を挙げて説明すると、例えば、入力画像中の被写体(オブジェクト)が『ユリ(花)』である場合、その入力画像には、第一タグ情報としての『花』が設定され、第二タグ情報としての『ユリ』が付与されることになる。
なお、本実施形態では、抽象度を変えて複数のタグ情報が付与されるが、少なくとも一つ付与されればよい。つまり、一つの入力画像に付与されるタグ情報が一つのみであってもよく、あるいは、抽象度を変えて三種類以上のタグ情報が付与されてもよい。また、タグ情報付与部22は、オブジェクトの名称そのものをタグ情報として付与してもよく、あるいは、オブジェクトの名称と関連する文字列(例えば、オブジェクト名称から連想されるキーワード等)をタグ情報として付与してもよい。さらに、タグ情報付与部22は、ユーザがユーザ端末11を操作することで指定した文字列をタグ情報として付与してもよい。
〔補正規則設定部〕
補正規則設定部23は、画像入力受付部21が画像入力(アップロード)を受け付けると、入力画像を補正する際に適用される補正規則を設定する。本実施形態において、補正規則設定部23は、入力画像に付与されたタグ情報に応じて、入力画像に対する補正規則を自動的に設定することができる。
詳しく説明すると、補正規則設定部23は、補正規則記憶部24に記憶された複数種類の補正規則の中から、入力画像のタグ情報と対応する補正規則を抽出し、抽出した補正規則を、入力画像に対する補正規則(厳密には、入力画像の補正に適用する補正規則)として設定する。
補正規則記憶部24は、予め用意された複数種類の補正規則を、タグ情報と関連付けて記憶する。より具体的に説明すると、補正規則記憶部24には、第一タグ情報と関連付けられた補正規則と、第二タグ情報と関連付けられた補正規則とが、それぞれ、図3に図示のテーブル形式で記憶されている。図3は、補正規則とタグ情報との対応関係を示すテーブルを示している。
補正規則記憶部24に記憶された補正規則のうち、第一タグ情報と関連付けられた補正規則は、ある第一タグ情報が付与された画像を補正する際に適用する補正規則として多くのユーザに利用される主要な補正規則であり、予め複数用意されている。第二タグ情報と関連付けられた補正規則は、あるユーザの入力画像のうち、同一の第二タグ情報が付与された画像を補正する際に頻繁に利用されるものであり、ユーザ固有の補正規則として登録された頻出補正規則である。この頻出補正規則は、図3に示すように、ユーザ別に補正規則記憶部24に記憶されている。すなわち、第二タグ情報と関連付けられた補正規則(頻出補正規則)は、その補正規則を適用して補正される画像の提供元であるユーザと関連付けられている。
なお、第二タグ情報と補正規則とユーザとの関連付けについては、画像処理装置10による機械学習によって行われる。具体的に説明すると、同一のユーザによって入力され、且つ、同一の第二タグ情報が付与された画像に対して同じ補正規則が所定回数以上適用されると、そのパターンが学習されて、第二タグ情報と補正規則とユーザとの関連付けがなされる。分かり易くは、第二タグ情報と補正規則とユーザとの組み合わせについて、頻出するパターンが特定される。
補正規則設定部23についての説明に戻ると、補正規則設定部23は、入力画像に付与されたタグ情報が、補正規則記憶部24に記憶された各補正規則と関連付けられたタグ情報のいずれかと一致するかを判定する。そして、両タグ情報が一致する場合、補正規則設定部23は、補正規則記憶部24に記憶された補正規則中、入力画像に付与されたタグ情報と一致するタグ情報に関連付けられた補正規則を、入力画像に対する補正規則として設定する。
詳しく説明すると、本実施形態において、タグ情報付与部22は、前述したように、第一タグ情報及び第二タグ情報の双方を入力画像に付与する。補正規則設定部23は、入力画像に付与された第一タグ情報及び第二タグ情報のうちの少なくとも一方が、補正規則記憶部24に記憶された補正規則と関連付けられたタグ情報のいずれかと一致するかどうかを判定する。このとき、補正規則設定部23は、入力画像に付与された第二タグ情報が、入力画像の提供元であるユーザと関連付けられた補正規則のいずれかに関連付けられているかどうかを判定する。
そして、入力画像に付与された第一タグ情報及び第二タグ情報のうちの一方が、補正規則と関連付けられたタグ情報のいずれかと一致する場合、補正規則設定部23は、その一致するタグ情報に関連付けられた補正規則を、入力画像に対する補正規則として設定する。
また、入力画像に付与された第一タグ情報及び第二タグ情報の両方が、補正規則と関連付けられたタグ情報と一致する場合、補正規則設定部23は、補正規則記憶部24に記憶された補正規則中、入力画像に付与された第二タグ情報と一致する第二タグ情報に関連付けられた補正規則を、入力画像に対する補正規則として設定する。厳密には、入力画像の提供元であるユーザと関連付けられており、且つ、入力画像に付与された第二タグ情報と一致する第二タグ情報と関連付けられた補正規則を、入力画像に対する補正規則として設定する。
以上のように、本実施形態では、入力画像に付与された第一タグ情報及び第二タグ情報の両方が、補正規則と関連付けられたタグ情報と一致する場合、第二タグ情報に関連付けられた補正規則を優先的に適用する。この内容について一例を挙げて具体的に説明すると、例えば、ユーザA氏から入力された画像に対して第一タグ情報「風景」が、第二タグ情報「山」が付与されたとする。ここで、補正規則記憶部24には、図3に示すように、第一タグ情報である「風景」に関連付けられた補正規則「Dynamic」が記憶されている。また、図3に示すように、ユーザA氏に関連付けられた補正規則の中には、第二タグ情報である「山」と関連付けられた補正規則「Retro」が含まれている。上記の場合には、補正規則「Dynamic」ではなく、補正規則「Retro」が、入力画像に対する補正規則として設定される。
以上に説明した手順によって補正規則を設定すれば、入力画像中のオブジェクトの具体的な内容に応じて、より妥当な補正規則が設定される。このため、画像補正がより一層適切に実施されることになる。
〔モード切替え部〕
モード切替え部25は、補正規則設定部23が補正規則を設定するモードを、自動モードと手動モードとの間で切り替える。手動モードは、補正規則設定部23がユーザの指示に従って補正規則を設定するモードである。自動モードは、補正規則設定部23が入力画像に対する補正規則を、入力画像に付与されたタグ情報に応じて自動的に設定するモードである。
モードの切替えは、ユーザが図4に図示の補正用設定画面を通じて実施することが可能である。具体的に説明すると、ユーザ端末11のディスプレイに図4の設定画面を表示した状態で、設定画面中のモード切替えボタンBt1を操作することでモードが切り替えられる。図4は、補正用の設定画面の一例を示す図である。
モードが自動モードであるとき、補正規則設定部23は、前述したように、入力画像に対する補正規則を設定するにあたり、入力画像に付与されたタグ情報が、補正規則記憶部24に記憶された補正規則と関連付けられたタグ情報のいずれかと一致する否かを判定する。そして、入力画像に付与されたタグ情報が、補正規則と関連付けられたタグ情報と一致している場合、補正規則設定部23は、その補正規則(すなわち、入力画像に付与されたタグ情報と一致するタグ情報と関連付けられた補正規則)を、入力画像に対する補正規則として設定する。
一方、モードが手動モードであるとき、ユーザは、不図示の指定画面を通じて5種類の補正規則(Dynamic、Retro、Instant、Black&White、Glitter)の中から一つを指定する。ユーザが指定した補正規則の種類は、ユーザ端末11から画像処理装置10に通知され、補正規則設定部23は、通知された種類の補正規則を、入力画像に対する補正規則として設定する。
〔選択操作受付部〕
選択操作受付部26は、補正の要否に関するユーザの選択操作を受け付ける。選択操作とは、モードが自動モードであるときに補正規則設定部23が自動的に設定する補正規則を、実際に適用して画像補正を実施するか否かを選択するために行われる操作である。なお、選択操作は、各ユーザによって補正規則別に行われる。そのため、選択操作受付部26は、各ユーザの選択操作を補正規則別に受け付ける。
選択操作について説明すると、ユーザは、ユーザ端末11のディスプレイに図4の設定画面を表示させ、設定画面を通じて選択操作を行う。詳しく説明すると、設定画面には、補正規則記憶部24に記憶された補正規則を適用して補正を行うか否かを選択するための選択ボタンBt2が、補正規則別に設けられている。厳密には、補正規則記憶部24に記憶された補正規則のうち、第一タグ情報に関連付けられた補正規則に対して選択ボタンBt2が設けられている。ユーザは、第一タグ情報に関連付けられた補正規則の各々について、選択ボタンBt2を操作することで補正規則の要否を選択する。なお、補正の要否を選択することができる補正規則は、第一タグ情報に関連付けられた補正規則に限定されるものではなく、第二タグ情報に関連付けられた補正規則についても補正の要否を選択することができてもよい。
上述した手順によりユーザが各補正規則について補正の要否を選択すると、選択操作受付部26がその選択操作を受け付ける。そして、選択操作受付部26が受け付けた選択操作の内容(分かり易くは、補正の要否)に応じて、補正規則を適用した画像補正を実施するか否かが決められる。
なお、初期設定では、第一タグ情報に関連付けられた補正規則のすべてについて、当該補正規則を適用した補正を実施することになっている。そして、ユーザは、不要な補正規則を適用対象から外す場合に、上記の選択操作を行う。
〔補正提案部〕
補正提案部27は、補正規則設定部23が補正規則を自動的に設定したときに、その補正規則を適用した入力画像の補正をユーザに対して提案する。具体的に説明すると、補正提案部27は、画像補正を提案するにあたり、図5に図示の補正提案用ウィンドウをユーザ端末11のディスプレイにポップアップ表示させる。厳密に説明すると、補正提案部27は、補正提案用ウィンドウを表示させるためのデータを生成し、そのデータをユーザ端末11に向けて送信する。ユーザ端末11は、ネットワークNを通じて上記のデータを受信して展開する。これにより、ユーザ端末11のディスプレイに、図5に図示の補正提案用ウィンドウがポップアップ表示される。なお、図5は、補正提案用ウィンドウの一例を示す図である。
補正提案用ウィンドウには、図5に示すように、入力画像を補正規則設定部23によって設定された補正規則の内容を示す文字列情報F、及び当該補正規則を適用して入力画像を補正したときの補正済み画像Gが表示される。つまり、補正提案用ウィンドウの表示データには、補正に適用する補正規則の内容に応じた文字列情報F、及び、補正済み画像Gを表示させるためのデータが組み込まれている。ユーザ端末11のディスプレイに補正提案用ウィンドウが表示されると、ユーザは、補正提案用ウィンドウ中の文字列情報F及び補正済み画像Gを見る。その上で、ユーザは、入力画像の補正の許否を決定し、決定結果に応じて設定画面上の許否決定ボタンBt3を押す。これにより、提案された補正に対する許否の決定を示すデータ(以下、許否決定データと言う)が、ユーザ端末11により生成され、許否決定データがユーザ端末11から画像処理装置10に向けて送信される。補正提案部27は、許否決定データを受信して解析することにより、提案した画像の補正に対するユーザの許否を確認する。
〔画像補正部〕
画像補正部28は、補正規則設定部23によって設定された補正規則を適用して入力画像を補正する。本実施形態では、補正提案部27により提案された画像補正に対するユーザの許可を補正提案部27が確認したとき(つまり、補正を許可することを示す許否決定データを受信したとき)にのみ、画像補正部28は、補正提案部27により提案された画像補正を実施する。
画像補正部28によって補正された画像、すなわち補正済み画像は、補正前の画像の提供元であるユーザと関連付けられた状態でデータベース12に蓄積される。なお、本実施形態では、入力画像を補正した場合には、補正後の入力画像(すなわち、補正済み画像)のみがデータベース12に蓄積される。ただし、これに限定されるものではなく、補正済み画像及び補正前の入力画像の双方がデータベース12に蓄積されてもよい。
また、本実施形態では、前述したように、補正規則設定部23が自動的に設定する各補正規則について、選択操作受付部26が補正の要否に関するユーザの選択操作を受け付ける。画像補正部28は、選択操作受付部26が受け付けた選択操作の内容(すなわち、補正の要否)に応じて、入力画像の補正を実施し、あるいは補正を不実施とする。
詳しく説明すると、モードが自動モードである間において、補正が必要であるという選択操作を選択操作受付部26が受け付けた補正規則については、当該補正規則を適用した画像補正が実施される。例えば、図4に図示の設定画面において、ユーザが、第一タグ情報「風景」が関連付けられた補正規則「Dynamic」について、その補正規則を適用した補正が必要であるという選択操作(具体的には、選択ボタンBt2をオンにセットする操作)を行ったとする。この場合、入力画像に付与された第一タグ情報が「風景」であると、自動モードにおいて補正規則「Dynamic」が設定され、画像補正部28は、補正規則「Dynamic」を適用した入力画像の補正を実施する。
また、第一タグ情報「料理」が関連付けられた補正規則「Instant」については、その補正規則を適用した補正を不要とする選択操作(具体的には、選択ボタンBt2をオフにセットする操作)が行われたとする。この場合、入力画像に付与された第一タグ情報が「料理」であると、自動モードにおいて補正規則「Instant」が自動的に設定されるが、この補正規則「Instant」を適用した入力画像の補正については、自動的に不実施とされる。
〔補正規則追加部〕
補正規則追加部29は、補正規則記憶部24に記憶される補正規則を追加するものである。具体的に説明すると、補正規則追加部29は、あるユーザが画像を入力(アップロード)する際に補正規則を個別に指定した場合において所定の条件が満たされると、その補正規則と入力画像(厳密には、入力画像に付与されるタグ情報)とのパターンを補正規則記憶部24に新たに記憶させる。
より詳しく説明すると、モードが手動モードであるとき、補正規則設定部23がユーザの指示に従って補正規則を設定し、画像補正部28が設定された補正規則を適用して入力画像を補正したとする。ここで、ユーザの指示に従って設定された補正規則を対象補正規則とし、対象補正規則を適用して補正された画像に付与されたタグ情報(厳密には、第二タグ情報)を対象タグ情報とする。
そして、補正規則追加部29は、下記の条件1を満たす対象補正規則と、下記の条件2を満たす対象タグ情報との組み合わせが現れると、両者を互いに関連付けて補正規則記憶部24に記憶させる。
条件1:同じ対象補正規則を適用して補正された複数の画像の数が、閾値以上であること。
条件2:条件1を満たす対象補正規則を適用して補正された複数の画像に対して、同じ対象タグ情報が付与された回数が、閾値以上であること。
ここで、条件1及び条件2について一例を挙げて具体的に説明する。例えば、ユーザA氏が画像入力(アップロード)を複数回行ったとする。ここで、各回の入力画像には、同じ第二タグ情報「山」(対象タグ情報に相当)が付与されたとする。また、各回の画像入力の際には、ユーザA氏が補正規則「Black&White」(対象補正規則に相当)を指定し、各回の入力画像が補正規則「Black&White」を適用して補正されたとする。このとき、同じ補正規則「Black&White」を適用した補正の実施回数、換言すると、同じ補正規則「Black&White」を適用して補正された画像の数が閾値H(Hは、1以上の自然数)以上であると、上述の条件1が満たされることになる。また、同じ補正規則「Black&White」を適用して補正された画像に対して、同じ第二タグ情報「山」が付与された回数が閾値H以上であると、上述の条件2が満たされることになる。そして、上記のケースにおいて条件1及び2の両方が満たされたとき、補正規則追加部29は、補正規則「Black&White」を第二タグ情報「山」と関連付けて、ユーザA氏用の補正規則として新たに補正規則記憶部24に記憶させる。
なお、上記の閾値Hは、一定値であってもよく(変更不能であってもよく)、あるいは適宜変更することが可能であってもよい。また、上述のケースでは、対象タグ情報が第二タグ情報であることとしたが、これに限定されるものではなく、対象タグ情報が第一タグ情報であってもよい。
〔逆補正部〕
逆補正部30は、画像補正部28により補正規則を適用して補正された補正済み画像に対して逆補正を実施し、その補正済み画像を補正前の画像に戻す。具体的に説明すると、ユーザは、画像補正実施後に、ユーザ端末11を通じて補正済み画像に対する補正撤回を要求することができる。逆補正部30は、ネットワークNを通じてユーザ端末11から補正撤回の要求を受け付けると、逆補正の対象となる補正済み画像をデータベース12から抽出する。補正済み画像は、適用された補正規則に関する情報と共にデータベース12に記憶されている。逆補正部30は、逆補正の対象となる補正済み画像を抽出したときに、抽出された補正済み画像に対して適用された補正規則を特定する。逆補正部30は、特定した補正規則に基づき、その補正規則が適用された補正済み画像を補正前の画像に戻すための画像処理、すなわち逆補正を実施する。逆補正が実施された補正済み画像は、補正前の画像に書き換えられてデータベース12に蓄積される。
[画像処理方法]
次に、本発明の画像処理方法について説明する。
本発明の画像処理方法は、画像処理装置10を構成する図1に図示のコンピュータ10a(以下では、単に「コンピュータ10a」という)によって実現されるデータ処理フロー(以下、画像処理フロー)において適用される。画像処理フローは、図6乃至図8に図示の手順で進行する。図6乃至図8は、画像処理フローの流れを示す図である。
以下では、画像処理システムSの動作例として画像処理フローについて説明する。なお、以下では、画像処理フローにおいてコンピュータ10aによって実施される各工程を主に説明することとする。また、以下の説明では、ユーザ端末11に表示される画面、すなわちGUI(Graphical User Interface)を適宜参照することとする。
画像処理フローを開始するにあたり、ユーザは、ユーザ端末11を操作して、画像管理用のアプリケーションソフトを起動する。これにより、ユーザ端末11には基本画面が描画される。また、ユーザが所定の画面操作を行うことで、基本画面が図9に図示の入力用画面へと切り替わる。図9は、入力用画面の一例を示す図である。
画像入力画面には、図9に示すように、ユーザ端末11内に格納された画像、すなわち画像処理装置10への入力候補となる画像のサムネイル画像SP(図9では、簡略化して斜線ハッチング付きの四角形で図示)が一覧形式で表示される。ユーザは、入力(アップロード)する画像を選択し、選択した画像のチェックボックスBcにチェックを入れて、画像入力画面の最下段に設けられた画像送信ボタンBt4をクリックする。かかる動作が行われることにより、ユーザ端末11は、ユーザによって選択された画像をコンピュータ10aに対して入力(具体的には、アップロード)する。
なお、上述した画像管理用のアプリケーションプログラムは、SNS(ソーシャルネットワークサービス)と連動することが可能であり、ユーザは、画像管理用のアプリケーションプログラムからSNSにログインすることができる。さらに、ユーザは、SNSにログインした後、上述した手順と同様の手順により、図9の入力用画面で選択した画像をSNSへ投稿することが可能である。
ユーザは、選択した画像を入力したりSNSへ投稿したりする段階で、その画像の補正を要求し、また、補正時に適用する補正規則を指示することができる。そして、補正に関するユーザが指示した内容は、データ化されてユーザ端末11からコンピュータ10aに向けて送信される。
コンピュータ10aでは、画像入力受付部21が、ユーザ端末11からの画像入力を受け付け、具体的には、ユーザ端末11から入力されてくる画像をネットワークN経由で受信する(S001)。なお、ユーザがSNSにログインして入力用画面で選択した画像をSNSへ投稿した場合には、画像入力受付部21は、SNSへの投稿のために行われた画像入力(すなわち、投稿画像のアップロード)を受け付ける。
画像入力受付部21が画像入力を受け付けると、これをトリガーとして、タグ情報付与部22が、入力画像を解析して入力画像中のオブジェクトを特定し、特定したオブジェクトに応じた第一タグ情報及び第二タグ情報を入力画像に付与する(S002)。
また、画像入力時に補正に関する指示情報がユーザ端末11から送られてきた場合(S003でYes)、コンピュータ10aのモード切替え部25が、モードを手動モードに設定する(S004)。他方、指示情報が送られて来ない場合には(S003でNo)、モード切替え部25は、モードを自動モードに設定する(S005)。
モードが手動モードであるとき、補正規則設定部23は、上記の指示情報を解析して、ユーザが指示した補正規則の種類を特定する(S006)。その後、補正規則設定部23は、特定した種類の補正規則を、入力画像に対する補正規則として設定する。例えば、ユーザが補正規則「Instant」の適用を指示した場合には、補正規則設定部23は、補正規則「Instant」を入力画像に対する補正規則として設定する。
その後、画像補正部28が、補正規則設定部23によって設定された補正規則を適用して入力画像を補正し、補正済み画像をデータベース12に蓄積する(S007)。この際、補正済み画像は、ステップS002で入力画像に付与された第一タグ情報及び第二タグ情報、並びに補正前の画像の提供元であるユーザと関連付けられてデータベース12に蓄積される。
また、モードが手動モードである間に画像補正が実施されると、補正規則追加部29が、その補正において適用された補正規則を対象補正規則とし、補正済み画像に付与されたタグ情報(厳密には、第二タグ情報)を対象タグ情報として、所定の判定処理を行う(S008)。この判定処理では、対象補正規則が上述の条件1を満たし、且つ、対象タグ情報が上述の条件2を満たしているかどうかを判定する。
そして、条件1及び条件2の双方が満たされている場合、補正規則追加部29は、条件1を満たす対象補正規則を、条件2を満たす対象タグ情報、及び、画像提供元であるユーザと関連付けて補正規則記憶部24に記憶させる(S009)。この時点で画像処理フローが終了する。
一方、上記の判定処理において条件1及び条件2の少なくとも一方が満たされていないと判断された場合には、ステップS009が行われずに画像処理フローが終了する。
ステップS005に戻って説明すると、モードが自動モードに設定された場合、画像入力受付部21による画像入力の受付をトリガーとして、補正規則設定部23が、入力画像に対する補正規則を自動的に設定する。具体的に説明すると、補正規則設定部23は、入力画像の提供元であるユーザと、ステップS002で入力画像に付与された第一タグ情報及び第二タグ情報と、を特定する(S010)。
その後、補正規則設定部23は、補正規則記憶部24に記憶された補正規則の中に、ステップS010で特定された第一タグ情報と一致する第一タグ情報と関連付けられた補正規則があるかを判定する(S011)。一致した第一タグ情報と関連付けられた補正規則があると、補正規則設定部23は、その補正規則を適用候補(以下、第一タグ情報に関連付けられた適用候補という)とする。
また、補正規則設定部23は、補正規則記憶部24に記憶された補正規則の中に、ステップS010で特定されたユーザに関連付けられ、且つ、ステップS010で特定された第二タグ情報と一致する第二タグ情報と関連付けられた補正規則があるかを特定する(図7中のS012、図8中のS023)。ユーザ及び一致した第二タグ情報と関連付けられた補正規則があると、補正規則設定部23は、その補正規則を適用候補(以下、第二タグ情報に関連付けられた適用候補という)とする。
ここで、第一タグ情報に関連付けられた適用候補のみがあったとする(すなわち、S011でYes、且つS012でNo)。この場合には、選択操作受付部26が、当該適用候補に該当する補正規則について、その補正規則を適用した補正を不要とするユーザの選択操作を受け付けたかどうかを判定する(S013)。
より詳しく説明すると、ユーザ端末11側では、ユーザが図4に図示の設定画面を通じて選択操作を予め行っていることがある。その場合には、コンピュータ10aの選択操作受付部26が選択操作を受け付け、厳密には、選択操作の内容を示すデータをユーザ端末11から受信する。
そして、第一タグ情報に関連付けられた適用候補に該当する補正規則について、選択操作受付部26が補正不要の選択操作を受け付けている場合(S013でYes)、上記補正規則を適用した補正が不実施とされる(S014)。この場合、入力画像は、未補正のままでデータベース12に蓄積される。
他方、第一タグ情報に関連付けられた適用候補に該当する補正規則について、選択操作受付部26が補正不要の選択操作を受け付けていなかったとする(S013でNo)。この場合、第一タグ情報に関連付けられた適用候補に該当する補正規則を適用して画像を補正することについて、ユーザが必要と判断している。したがって、補正規則設定部23は、第一タグ情報に関連付けられた適用候補に該当する補正規則を、入力画像に対する補正規則として設定する(S015)。
補正規則設定部23が補正規則を設定すると、その直後に、コンピュータ10aの補正提案部27が、前ステップS015にて設定された補正規則を適用した補正をユーザに対して提案する(S016)。より詳しく説明すると、補正提案部27は、上述の確認用ウィンドウをポップアップ表示させるためのデータを生成し、そのデータをユーザ端末11に向けて送信する。ユーザ端末11側で上記のデータが受信されると、確認用ウィンドウがポップアップ表示される。確認用ウィンドウには、ステップS015にて設定された補正規則に応じた文字列F、及び、当該補正規則を適用して入力画像を補正したときの補正済み画像G(厳密には、補正済み画像Gの縮小画像)が表示される。
また、確認用ウィンドウには2種類の許否決定ボタンBt3が設けられており、ユーザは、文字列情報F及び補正済み画像Gを見て、提案された補正の許否を決定し、いずれか一方の許否決定ボタンBt3をクリックする。ユーザ端末11は、ユーザがクリックした許否決定ボタンBt3の種類(すなわち、補正許否に関するユーザの決定結果)を示すデータを送信する。補正提案部27は、ユーザ端末11から送られてくるデータを受信し、そのデータに基づいて補正の許否を確認する(S017)。
そして、補正提案部27によって提案された入力画像の補正が許可されたことを補正提案部27が確認すると(S017でYes)、画像補正部28が、補正提案部27が提案した入力画像の補正、すなわち、ステップS015で設定された補正規則を適用して入力画像の補正を実施し、補正済み画像をデータベース12に蓄積する(S018)。この際、補正済み画像は、ステップS002で入力画像に付与された第一タグ情報及び第二タグ情報、並びに補正前の画像の提供元であるユーザと関連付けられてデータベース12に蓄積される。
他方、補正提案部27が提案した入力画像の補正が拒否されたことを補正提案部27が確認すると(S017でNo)、補正提案部27が提案した入力画像の補正が不実施となる(S014)。この場合、入力画像は、未補正のままでデータベース12に蓄積される。
そして、入力画像又は補正済み画像がデータベース12に蓄積された時点で画像処理フローが終了する。
ステップS012に戻って説明すると、第一タグ情報に関連付けられた適用候補、及び第二タグ情報に関連付けられた適用候補の双方があるとする(すなわち、S011でYes、且つS012でYes)。この場合、補正規則設定部23は、上記二つの適用候補のうち、第二タグ情報に関連付けられた適用候補に該当する補正規則を優先的に適用し、当該補正規則を入力画像に対する補正規則として設定する(S019)。
補正規則設定部23が補正規則を設定すると、その直後に、補正提案部27が、前ステップS019にて設定された補正規則を適用した入力画像の補正をユーザに対して提案する(S020)。提案の手順については、ステップS016と同様である。ユーザは、ユーザ端末11のディスプレイにポップアップ表示された確認用ウィンドウを通じて、提案された画像補正の内容を確認する。また、ユーザは、提案された補正の許否を決定し、決定結果に応じて許否決定ボタンBt3をクリックする。ユーザ端末11は、クリックされた許否決定ボタンBt3の種類を示すデータを送信し、補正提案部27は、ユーザ端末11から送られてくるデータに基づいて補正の許否を確認する(S021)。
補正提案部27によって提案された入力画像の補正が許可されると(S021でYes)、画像補正部28は、補正提案部27が提案した入力画像の補正を実施する(S022)。補正済み画像は、ステップS002で入力画像に付与された第一タグ情報及び第二タグ情報、並びに補正前の画像の提供元であるユーザと関連付けられてデータベース12に蓄積される。
他方、補正提案部27が提案した入力画像の補正が拒否された場合には(S021でNo)、入力画像の補正が不実施となり、入力画像が未補正のままでデータベース12に蓄積される(S014)。
そして、入力画像又は補正済み画像がデータベース12に蓄積された時点で画像処理フローが終了する。
ステップS011まで戻って説明すると、第一タグ情報に関連付けられた適用候補がなく、且つ、第二タグ情報に関連付けられた適用候補のみがあるとする(すなわち、S011でNo、且つS023でYes)。この場合、補正規則設定部23は、第二タグ情報に関連付けられた適用候補に該当する補正規則を、入力画像に対する補正規則として設定する(S024)。以降、前述したステップS020〜S022と同様の手順により、設定された補正規則を適用した画像補正が提案され(S025)、提案された画像補正に対するユーザの許否が確認され(S026)、補正が許可された場合には、提案された画像補正が実施され、補正済み画像がデータベース12に蓄積される(S027)。他方、提案された画像補正が拒否された場合には、提案された画像補正が不実施となり、入力画像が未補正のままでデータベース12に蓄積される(S028)。
そして、入力画像又は補正済み画像がデータベース12に蓄積された時点で画像処理フローが終了する。
以上までに説明してきたように、本発明の画像処理方法によれば、ユーザが撮影画像をユーザ端末11から画像処理装置10に入力(アップロード)し、画像処理装置10側で画像入力を受け付けると、これをトリガーとして、入力画像にタグ情報が付与され、また、タグ情報に基づいて補正規則が設定される。そして、設定された補正規則を適用した入力画像の補正がユーザに対して提案される。これにより、画像入力(アップロード)との関係で良好なタイミングで画像を適切に補正することが可能となり、画像補正時に適用される補正規則は、入力画像中のオブジェクトに応じて適切に設定されるようになる。
また、前述したように、入力(アップロード)にはSNSへの投稿のための入力が含まれる。すなわち、本発明によれば、SNSへの投稿のために画像を入力(アップロード)すると、これをトリガーとして、タグ情報の付与、補正規則の設定及び補正の提案が実施される。これにより、SNSに投稿されて公開される画像について、入力(アップロード)のタイミングで適切に補正することが可能となる。ちなみに、上述のケースでは、本発明の画像処理装置を利用するアプリケーション(すなわち、画像管理用のアプリケーションプログラム)は、SNSアプリケーションと連動するものであることとした。すなわち、上記のケースにおいて、本発明の画像処理装置は、入力された画像を主に管理するものであって、公開すべき画像を他のSNSアプリケーションに渡すものである。そして、本発明の画像処理装置は、SNSアプリケーションに画像を渡す際に、SNSへの投稿のために入力された画像に対する補正規則を設定し、その補正規則を適用した画像補正を提案することができる。このとき、SNSアプリケーションのトランザクションを参照し、本発明の画像処理装置が設定した補正規則をSNSアプリケーションに読み取らせ、SNSアプリケーション側で画像補正させてもよい。この場合に適用される補正規則及び補正対象画像に付与されるタグ情報が上記の条件1及び条件2を満たす場合には、補正規則とタグ情報とを関連付けて記憶しておくことができる。さらに、一度記憶した補正規則について、内容を適宜更新することもできる。
そして、次回以降の画像投稿において同じタグ情報が入力画像に対して付与されたときに、本発明の画像処理装置が設定した補正規則を適用して入力画像を補正してもよいし、あるいは、SNSアプリケーションに画像を引き渡す際に、適用すべき補正規則も併せて送信してSNSアプリケーションに受け取らせ、SNSアプリケーション側で画像補正を実施してもよい。
なお、本発明の画像処理装置を利用するためのアプリケーション(画像管理用のアプリケーションプログラム)自体が、SNSアプリケーションであってもよい。
本発明の画像処理方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラム(具体的には、画像処理プログラム)によって実施することができる。また、画像処理プログラムが記録されたコンピュータに読み取り可能な記録媒体を提供することも可能である。記録媒体としては、フレキシブルディスク等の磁気ディスク;CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)及びBlu−rayディスク(登録商標)等の光ディスク、MO(Magneto-Optical disk)等の光磁気ディスク;並びにそれ以外のリムーバブルメディア等が挙げられる。なお、画像処理プログラムを例えば、磁気ディスク、光ディスク、あるいは光磁気ディスク等によって構成された記憶装置に予め記憶しておき、その記憶装置から通信回線を介してコンピュータに画像処理プログラムを提供(ダウンロード)してもよい。
[変形例]
上述の実施形態では、画像入力の一例として、画像を画像処理装置10にアップロード(SNSへの投稿のためのアップロードを含む)を挙げ、画像アップロードのタイミングで入力画像(アップロードされた画像)の補正を提案することとした。
一方、画像入力は、画像処理装置10へのアップロードに限られず、例えば、アップロード後にデータベース12に蓄積された画像の中から他のユーザと共有する画像(以下、共有画像)を指定することも、「画像入力」に含まれる。そして、共有画像を指定するタイミングで共有画像に応じた補正規則を設定し、当該補正規則を適用した画像補正を提案してもよい。
以下では、共有画像を指定するタイミングで画像補正を提案する例(以下、変形例という)について説明する。
共有画像の指定は、ユーザ端末11のディスプレイに表示された図10に図示の共有設定画面を行われる。図10は、共有設定画面の一例を示す図である。共有設定画面には、図10に示すように、ユーザ(ユーザ端末11の所有者)が過去に画像処理装置10にアップロードした画像(厳密には、未補正の入力画像又は補正された補正済み画像)のサムネイル画像SPxが一覧形式で表示される。なお、図10では、サムネイル画像SPxが簡略化されて斜線ハッチング付きの四角形で図示されている。
ユーザは、共有設定画面に表示された画像群の中から共有画像とする画像を選択し、選択した画像のチェックボックスBcにチェックを入れる。また、共有設定画面には、共有範囲を設定する欄が設けられており、ユーザは、共有範囲について「特定ユーザ」及び「全てのユーザ」等の候補をプルダウン形式で選択することができる。さらに、共有設定画面には、ユーザIDの入力欄が設けられており、ユーザは、共有範囲として「特定ユーザ」が設定された際に、その特定ユーザのIDを入力することが可能である。そして、ユーザは、上記一連の設定が終了した後に、共有設定画面の最下段に設けられた共有ボタンBt5をクリックする。かかる動作が行われることにより、ユーザ端末11は、ユーザが指定した共有画像及び共有範囲等を示すデータを画像処理装置10に向けて送信する。
画像処理装置10が上記のデータを受信すると(すなわち、画像入力を受け付けると)、これをトリガーとして、画像補正に係る一連のデータが上述した実施形態と略同様の手順により実施される。具体的に説明すると、共有画像に関連付けられた第一タグ情報及び第二タグ情報に応じて補正規則を設定し、設定した補正規則を適用した画像補正をユーザに対して提案する。そして、提案された画像補正に対するユーザの許可を確認した場合に、提案された画像補正、すなわち、設定された補正規則を適用して共有画像の補正が実施される。これにより、共有画像は、補正済み画像に書き換えられた上で、補正後に引き続きデータベース12に蓄積される。
以上のように、共有画像を指定するタイミングで共有画像を補正することで、共有画像を他のユーザと共有するにあたって画像補正の要否を検討し、補正が必要であると判断した場合に共有画像を補正することができ、補正された共有画像(補正済み画像)を他のユーザと共有することが可能となる。
なお、共有画像の補正については、共有画像を指定する度に毎回実施する場合に限定されず、例えば、共有範囲に特定ユーザが含まれる場合、あるいは、全ユーザに対して共有画像を公開する場合に限り、共有画像の補正を実施してもよい。
10 画像処理装置
10a コンピュータ
11 ユーザ端末
12 データベース
21 画像入力受付部
22 タグ情報付与部
23 補正規則設定部
24 補正規則記憶部
25 モード切替え部
26 選択操作受付部
27 補正提案部
28 画像補正部
29 補正規則追加部
30 逆補正部
Bc チェックボックス
Bt1 モード切替えボタン
Bt2 選択ボタン
Bt3 許否決定ボタン
Bt4 画像送信ボタン
Bt5 共有ボタン
F 文字列情報
G 補正済み画像
SP,SPx サムネイル画像
N ネットワーク

Claims (19)

  1. ユーザが撮影した画像の入力を受け付ける画像入力受付部と、
    前記画像入力受付部が前記画像の入力を受け付けると、入力された前記画像に関する付帯情報に応じて、入力された前記画像に対する補正規則を設定する補正規則設定部と、
    前記補正規則設定部が前記補正規則を設定すると、前記補正規則を適用した前記画像の補正をユーザに提案する補正提案部と、を有することを特徴とする画像処理装置。
  2. 前記補正規則を適用した前記画像の補正を実施する画像補正部を有し、
    前記補正提案部は、前記補正提案部が提案した前記画像の補正に対するユーザの許否を確認し、
    前記画像補正部は、前記補正提案部が提案した前記画像の補正に対するユーザの許可を前記補正提案部が確認したときにのみ、前記補正提案部が提案した前記画像の補正を実施する請求項1に記載の画像処理装置。
  3. 前記補正提案部は、前記補正規則を適用した前記画像の補正をユーザに提案する際に、前記補正規則を適用して補正した場合の補正済み画像を表示させる請求項1又は2に記載の画像処理装置。
  4. 前記補正提案部は、前記補正規則を適用した前記画像の補正をユーザに提案する際に、前記補正規則の内容に応じた文字列情報を表示する請求項1乃至3のいずれか一項に記載の画像処理装置。
  5. 前記画像入力受付部が前記画像の入力を受け付けると、入力された前記画像を解析して前記画像中のオブジェクトを特定し、前記オブジェクトに対応したタグ情報を、入力された前記画像に前記付帯情報として付与するタグ情報付与部を有し、
    前記補正規則設定部は、入力された前記画像に付与された前記タグ情報に応じて、入力された前記画像に対する前記補正規則を設定する請求項1乃至4のいずれか一項に記載の画像処理装置。
  6. 予め用意された前記補正規則を、前記タグ情報と関連付けて記憶する補正規則記憶部を有し、
    前記補正規則設定部は、前記補正規則記憶部に記憶された前記補正規則中、入力された前記画像に付与された前記タグ情報と一致する前記タグ情報に関連付けられた前記補正規則を、入力された前記画像に対する前記補正規則として設定する請求項5に記載の画像処理装置。
  7. 前記タグ情報は、前記オブジェクトの属性を示す第一タグ情報と、前記オブジェクトに関して前記第一タグ情報よりも具体的な属性を示す第二タグ情報と、を含んでおり、
    前記補正規則記憶部には、前記第一タグ情報と関連付けられた前記補正規則と、前記第二タグ情報と関連付けられた前記補正規則とが、それぞれ記憶されている請求項6に記載の画像処理装置。
  8. 入力された前記画像に前記第一タグ情報及び前記第二タグ情報の双方が付与され、且つ、入力された前記画像に付与された前記第一タグ情報及び前記第二タグ情報の各々が、前記補正規則記憶部に記憶された前記補正規則と関連付けられた前記タグ情報と一致する場合に、前記補正規則設定部は、前記補正規則記憶部に記憶された前記補正規則中、入力された前記画像に付与された前記第二タグ情報と一致する前記第二タグ情報に関連付けられた前記補正規則を、入力された前記画像に対する前記補正規則として設定する請求項7に記載の画像処理装置。
  9. 前記補正規則記憶部には、前記第二タグ情報に関連付けられた前記補正規則がユーザ別に記憶されている請求項7又は8に記載の画像処理装置。
  10. 前記補正規則設定部が前記補正規則を設定するモードを、切り替えるモード切替え部を有し、
    前記モード切替え部は、前記補正規則設定部が前記補正規則を自動的に設定する自動モードと、前記補正規則設定部がユーザの指示に従って前記補正規則を設定する手動モードと、の間で前記モードを切り替え、
    前記モードが前記自動モードであるときには、入力された前記画像に付与された前記タグ情報と、前記補正規則記憶部に記憶された前記補正規則と関連付けられた前記タグ情報とが一致する場合に、前記補正規則設定部は、前記補正規則記憶部に記憶された前記補正規則中、入力された前記画像に付与された前記タグ情報と一致する前記タグ情報に関連付けられた前記補正規則を、入力された前記画像に対する前記補正規則として設定する請求項6乃至9のいずれか一項に記載の画像処理装置。
  11. 前記補正規則記憶部に記憶される前記補正規則を追加する補正規則追加部を有し、
    前記モードが前記手動モードであるときに前記補正規則設定部が設定した前記補正規則を対象補正規則とし、前記対象補正規則を適用して補正された前記画像に付与された前記タグ情報を対象タグ情報としたとき、前記補正規則追加部は、下記の条件1を満たす前記対象補正規則を、下記の条件2を満たす前記対象タグ情報と関連付けて前記補正規則記憶部に記憶させる請求項10に記載の画像処理装置。
    条件1:同じ前記対象補正規則を適用して補正された複数の前記画像の数が、閾値以上であること。
    条件2:前記条件1を満たす前記対象補正規則を適用して補正された複数の前記画像に対して、同じ前記対象タグ情報が付与された回数が、前記閾値以上であること。
  12. 前記補正規則を適用した補正の要否に関するユーザの選択操作を、前記補正規則別に受け付ける選択操作受付部を有し、
    前記補正規則設定部によって設定された前記補正規則に対して、補正が不要であるという前記選択操作を前記選択操作受付部が受け付けた場合、前記補正規則設定部によって設定された前記補正規則を適用した前記画像の補正が不実施となる請求項2に記載の画像処理装置。
  13. 前記画像入力受付部は、ソーシャルネットワークサービスへの投稿のために前記画像の入力を受け付ける請求項1乃至12のいずれか一項に記載の画像処理装置。
  14. 前記付帯情報に応じた前記補正規則を適用して補正された補正済み画像を、補正前の前記画像に戻す逆補正部を有する請求項2に記載の画像処理装置。
  15. 画像入力受付部が、ユーザが撮影した画像の入力を受け付けるステップと、
    前記画像入力受付部が前記画像の入力を受け付けると、補正規則設定部が、入力された前記画像に関する付帯情報に応じて、入力された前記画像に対する補正規則を設定するステップと、
    前記補正規則設定部が前記補正規則を設定すると、補正提案部が、前記補正規則を適用した前記画像の補正をユーザに提案するステップと、を有することを特徴とする画像処理方法。
  16. 画像補正部が、前記補正規則を適用した前記画像の補正を実施するステップを有し、
    前記画像の補正を提案するステップでは、前記補正提案部により提案された前記画像の補正に対するユーザの許否を確認し、
    前記補正提案部により提案された前記画像の補正に対するユーザの許可を確認したときにのみ、前記補正規則を適用した前記画像の補正を実施する請求項15に記載の画像処理方法。
  17. 前記画像入力受付部が前記画像の入力を受け付けると、タグ情報付与部が、入力された前記画像を解析して前記画像中のオブジェクトを特定し、前記オブジェクトに対応したタグ情報を、入力された前記画像に前記付帯情報として付与するステップをさらに有し、
    入力された前記画像に対する前記補正規則を設定するステップでは、入力された前記画像に付与された前記タグ情報に応じて、入力された前記画像に対する前記補正規則を設定する請求項15又は16に記載の画像処理方法。
  18. 請求項15乃至17のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
  19. 請求項15乃至17のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2018173816A 2018-09-18 2018-09-18 画像処理装置、画像処理方法、プログラム及び記録媒体 Active JP7065738B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018173816A JP7065738B2 (ja) 2018-09-18 2018-09-18 画像処理装置、画像処理方法、プログラム及び記録媒体
US16/521,686 US11283945B2 (en) 2018-09-18 2019-07-25 Image processing apparatus, image processing method, program, and recording medium
CN201910771881.XA CN110913124B (zh) 2018-09-18 2019-08-20 图像处理装置、图像处理方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018173816A JP7065738B2 (ja) 2018-09-18 2018-09-18 画像処理装置、画像処理方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2020046837A true JP2020046837A (ja) 2020-03-26
JP7065738B2 JP7065738B2 (ja) 2022-05-12

Family

ID=69772291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018173816A Active JP7065738B2 (ja) 2018-09-18 2018-09-18 画像処理装置、画像処理方法、プログラム及び記録媒体

Country Status (3)

Country Link
US (1) US11283945B2 (ja)
JP (1) JP7065738B2 (ja)
CN (1) CN110913124B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024013861A1 (ja) * 2022-07-12 2024-01-18 株式会社メディア・バックオフィス 画像処理サービスシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208884A (ja) * 2004-01-22 2005-08-04 Fuji Photo Film Co Ltd 画像補正装置および画像補正プログラム
US20060077458A1 (en) * 2004-10-07 2006-04-13 Fuji Photo Film Co., Ltd. Printing method and printing system
JP2007116291A (ja) * 2005-10-19 2007-05-10 Ims:Kk 補正画像提供システムおよびこのシステムに使用される補正処理装置
JP2015177362A (ja) * 2014-03-14 2015-10-05 富士ゼロックス株式会社 画像処理装置、画像形成システムおよび画像形成装置
JP2017067945A (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6006013A (en) * 1994-05-18 1999-12-21 Xerox Corporation Object optimized printing system and method
US6327043B1 (en) * 1994-05-18 2001-12-04 Xerox Corporation Object optimized printing system and method
US6055327A (en) * 1997-07-17 2000-04-25 Aragon; David Bradburn Method of detecting data entry errors by sorting amounts and verifying amount order
JP4329135B2 (ja) * 1998-08-06 2009-09-09 ソニー株式会社 プリンタ装置
US6469705B1 (en) * 1999-09-21 2002-10-22 Autodesk Canada Inc. Cache addressing
JP2002072603A (ja) * 2000-09-05 2002-03-12 Fujitsu Ltd 電子写真記録装置
JP2002222083A (ja) * 2001-01-29 2002-08-09 Fujitsu Ltd 事例蓄積装置および方法
JP4402850B2 (ja) * 2001-03-16 2010-01-20 富士フイルム株式会社 鑑賞用データ補正方法および装置並びに記録媒体
ATE455434T1 (de) 2001-06-20 2010-01-15 Nikon Corp Ratgebersystem für ein bilderfassungsverfahren und bildeditierung
JP4086580B2 (ja) * 2002-07-30 2008-05-14 キヤノン株式会社 画像処理装置、プログラム及び方法
JP4072023B2 (ja) * 2002-08-20 2008-04-02 オリンパス株式会社 電子カメラ、その撮影方法、及びその再生方法
US7397969B2 (en) * 2002-08-30 2008-07-08 Fujifilm Corporation Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
US7327390B2 (en) * 2003-02-04 2008-02-05 Eastman Kodak Company Method for determining image correction parameters
JP2004297478A (ja) * 2003-03-27 2004-10-21 Fuji Photo Film Co Ltd デジタルカメラ
US7463388B2 (en) * 2003-05-29 2008-12-09 Canon Kabushiki Kaisha Image forming apparatus with control of image formation using read information
JP2004362443A (ja) * 2003-06-06 2004-12-24 Canon Inc パラメータ決定方式
US7536036B2 (en) * 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
JP4421960B2 (ja) * 2003-08-15 2010-02-24 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2005102153A (ja) * 2003-08-15 2005-04-14 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP4262065B2 (ja) * 2003-11-28 2009-05-13 キヤノン株式会社 撮像装置及びその制御方法、プリンタ
JP4241492B2 (ja) * 2004-04-28 2009-03-18 ブラザー工業株式会社 画像形成装置
FR2872317A1 (fr) * 2004-06-08 2005-12-30 Do Labs Sa Procede pour ameliorer la qualite d'utilisation d'un service relatif a au moins une donnee multimedia
US7505176B2 (en) * 2005-03-17 2009-03-17 Kabushiki Kaisha Toshiba Image processing apparatus
JP2006323580A (ja) 2005-05-18 2006-11-30 Canon Inc 画像処理システム、画像処理方法、プログラム及び記憶媒体
US20100045802A1 (en) * 2006-10-06 2010-02-25 Mamoru Oda Imaging device, image reproducing device, image printing device, imaging device control method, image correcting method for image reproducing device, and image correcting method for image printing device
US7813629B2 (en) * 2007-07-23 2010-10-12 Fujifilm Corporation Photographing apparatus, and control method and computer program product for controlling the same
JP5264155B2 (ja) * 2007-11-29 2013-08-14 キヤノン株式会社 プログラム、ファイル管理装置及びファイル管理方法
US8384739B2 (en) * 2008-09-30 2013-02-26 Konica Minolta Laboratory U.S.A., Inc. Systems and methods for optimization of pixel-processing algorithms
US8467089B2 (en) * 2008-11-24 2013-06-18 Xerox Corporation Systems and methods for line width control and pixel retagging
US20110228075A1 (en) * 2010-03-22 2011-09-22 Madden Thomas E Digital camera with underwater capture mode
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US20130120592A1 (en) * 2011-11-11 2013-05-16 John M. Bednarczyk Method for wireless sharing of images
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130235223A1 (en) * 2012-03-09 2013-09-12 Minwoo Park Composite video sequence with inserted facial region
JP6071287B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8799756B2 (en) * 2012-09-28 2014-08-05 Interactive Memories, Inc. Systems and methods for generating autoflow of content based on image and user analysis as well as use case data for a media-based printable product
US9002109B2 (en) * 2012-10-09 2015-04-07 Google Inc. Color correction based on multiple images
JP5884811B2 (ja) * 2013-11-18 2016-03-15 コニカミノルタ株式会社 Ar表示装置、ar表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
EP3084587A4 (en) * 2013-12-20 2017-08-09 Hewlett-Packard Development Company, L.P. Determining image rescale factors
JP2015154244A (ja) 2014-02-14 2015-08-24 セイコーエプソン株式会社 画像処理装置、画像処理システム、および画像処理方法
JP2016021664A (ja) * 2014-07-14 2016-02-04 株式会社リコー 画像形成装置
EP3180596A4 (en) * 2014-08-15 2018-09-26 Scanadu Incorporated Precision luxmeter methods for digital cameras to quantify colors in uncontrolled lighting environments
JP6417154B2 (ja) * 2014-08-27 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6594666B2 (ja) 2015-06-01 2019-10-23 オリンパス株式会社 撮像補助装置、撮像装置および撮像補助方法
JP6624842B2 (ja) * 2015-08-07 2019-12-25 キヤノン株式会社 画像形成装置
US10592854B2 (en) * 2015-12-18 2020-03-17 Ricoh Co., Ltd. Planogram matching
US10445821B2 (en) * 2015-12-18 2019-10-15 Ricoh Co., Ltd. Planogram and realogram alignment
WO2017221659A1 (ja) * 2016-06-20 2017-12-28 マクセル株式会社 撮像装置、表示装置、及び撮像表示システム
JP6906802B2 (ja) * 2016-06-30 2021-07-21 株式会社プロスパークリエイティブ 色変換システム、色変換装置及び色変換方法
US10795011B2 (en) * 2017-02-27 2020-10-06 Nec Corporation Distance estimation using phase information
US20180260759A1 (en) * 2017-03-07 2018-09-13 Mighty AI, Inc. Segmentation of Images
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
US11803664B2 (en) * 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
US10467518B1 (en) * 2018-11-28 2019-11-05 Walgreen Co. System and method for generating digital content within an augmented reality environment
JP2020096219A (ja) * 2018-12-10 2020-06-18 キヤノン株式会社 情報処理装置、撮像装置、情報処理方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208884A (ja) * 2004-01-22 2005-08-04 Fuji Photo Film Co Ltd 画像補正装置および画像補正プログラム
US20060077458A1 (en) * 2004-10-07 2006-04-13 Fuji Photo Film Co., Ltd. Printing method and printing system
JP2006107291A (ja) * 2004-10-07 2006-04-20 Fuji Photo Film Co Ltd プリント方法及びプリントシステム
JP2007116291A (ja) * 2005-10-19 2007-05-10 Ims:Kk 補正画像提供システムおよびこのシステムに使用される補正処理装置
JP2015177362A (ja) * 2014-03-14 2015-10-05 富士ゼロックス株式会社 画像処理装置、画像形成システムおよび画像形成装置
JP2017067945A (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
飯田 成康 他: "検索小ワザ、Gmail、マップ、カレンダー、Googleドライブetc. Googleサービスをもっ", MAC PEOPLE, vol. 20, no. 4, JPN6021033446, 28 February 2014 (2014-02-28), JP, pages 103 - 103, ISSN: 0004582419 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024013861A1 (ja) * 2022-07-12 2024-01-18 株式会社メディア・バックオフィス 画像処理サービスシステム

Also Published As

Publication number Publication date
CN110913124B (zh) 2022-06-21
US11283945B2 (en) 2022-03-22
CN110913124A (zh) 2020-03-24
US20200092429A1 (en) 2020-03-19
JP7065738B2 (ja) 2022-05-12

Similar Documents

Publication Publication Date Title
US10359927B2 (en) Methods and systems for photo, page, and spread arrangement on space-constrained user devices
US8958662B1 (en) Methods and systems for automating insertion of content into media-based projects
US8923551B1 (en) Systems and methods for automatically creating a photo-based project based on photo analysis and image metadata
US9219830B1 (en) Methods and systems for page and spread arrangement in photo-based projects
US8990672B1 (en) Flexible design architecture for designing media-based projects in a network-based platform
US11076206B2 (en) Apparatus and method for manufacturing viewer-relation type video
US8761523B2 (en) Group method for making event-related media collection
US20150277686A1 (en) Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
US10430456B2 (en) Automatic grouping based handling of similar photos
JP5667069B2 (ja) コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラムおよび集積回路
US8935322B1 (en) Methods and systems for improved uploading of media files for use in media-rich projects
JP2017531950A (ja) 撮影テンプレートデータベースを構築し、且つ撮影推薦情報を提供するための方法及び装置
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
US11899719B2 (en) Systems and methods for determining whether to modify content
US20120027293A1 (en) Automated multiple image product method
US9117275B2 (en) Content processing device, integrated circuit, method, and program
JP7065738B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US10860876B2 (en) Image presentation system, image presentation method, program, and recording medium
CN107656760A (zh) 数据处理方法及装置、电子设备
JP7008601B2 (ja) 画像提示装置、画像提示方法、プログラムおよび記録媒体
CN115836319A (zh) 图像处理方法及装置
US20190005312A1 (en) Image processing system, image processing method, program, and recording medium
KR20150096552A (ko) 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법
JP2020035086A (ja) 情報処理システム、情報処理装置およびプログラム
JP2020052750A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220426

R150 Certificate of patent or registration of utility model

Ref document number: 7065738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150