JP2022512715A - 写真撮影シナリオおよび電子デバイスで画像を表示するための方法 - Google Patents

写真撮影シナリオおよび電子デバイスで画像を表示するための方法 Download PDF

Info

Publication number
JP2022512715A
JP2022512715A JP2021520964A JP2021520964A JP2022512715A JP 2022512715 A JP2022512715 A JP 2022512715A JP 2021520964 A JP2021520964 A JP 2021520964A JP 2021520964 A JP2021520964 A JP 2021520964A JP 2022512715 A JP2022512715 A JP 2022512715A
Authority
JP
Japan
Prior art keywords
image
region
electronic device
target object
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021520964A
Other languages
English (en)
Other versions
JP7238115B2 (ja
Inventor
▲遠▼友 李
斌 胡
永▲興▼ ▲楊▼
巍 ▲羅▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022512715A publication Critical patent/JP2022512715A/ja
Application granted granted Critical
Publication of JP7238115B2 publication Critical patent/JP7238115B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本出願の実施形態は、写真撮影シナリオおよび電子デバイスで画像を表示するための方法を提供し、電子技術の分野に関するものなので、ボディが画像上に配置される領域全体の色が写真撮影シナリオで保持され得、ユーザの視覚効果は比較的良好である。具体的な解決策は次のとおりで、すなわち、電子デバイスは、カメラを開くためにユーザによって実行された第1の操作を検出した後、タッチ画面上にビューファインダーフレームを表示する。ビューファインダーフレームは、カラーの第1の画像を含む。電子デバイスは、第1の処理モードを示すためにユーザによって実行された第2の操作を検出した後、ビューファインダーフレームに第2の画像を表示する。第2の画像は、カメラレンズによってキャプチャされた第1の元の画像に対して第1の処理が実行された後に取得される画像であり、第2の画像は、第1の領域および第2の領域を含み、第1の領域は、第1のターゲットオブジェクトが第2の画像上に配置される領域であり、第1の領域はカラー画像で、第2の領域はグレースケール画像である。第1のターゲットオブジェクトは1つ以上のボディタイプであるか、第1のターゲットオブジェクトは1つ以上のボディである。本出願の実施形態は、画像写真撮影に適用される。

Description

本出願の実施形態は、電子技術の分野、特に、写真撮影シナリオおよび電子デバイスで画像を表示するための方法に関する。
電子技術の発達に伴い、電子デバイスのカメラはますます多くの撮影機能を備えている。現在、色保持撮影機能が登場している。この機能を使用するとき、ユーザは色を指定することができ、電子デバイスは、キャプチャされた画像上で、ユーザによって指定された色と同じまたは類似するピクセルのピクセル値を保持し、ユーザによって指定された色と大きく異なるピクセルのピクセル値をグレースケール値に変換することができる。
撮影されるボディは、通常、単色だけでなく複数の色を有しているか、またはボディの色が徐々に変化するため、色保持解決策を使用することによって取得される画像の色が不自然になる場合があり、視覚効果は比較的貧弱である。
例えば、図1に示すように、バルーンの領域のほとんど(つまり領域02)が青または青に近いため、ユーザが色、すなわち青を指定してカラー画像上にバルーンの色を保持する場合、バルーン上のスラッシュで塗りつぶされた領域02の色は、色保持処理後に保持され得る。しかしながら、カラー画像上でバルーン上部の強調表示された部分(すなわち、領域01)の色は、ユーザが指定した色、すなわち青と大きく異なるため、バルーンの領域01の色は色保持処理後に保持され得ず、領域01はグレースケール画像である。カラー画像上のバルーン以外の領域03は、ユーザが指定した色、すなわち青と大きく異なるため、色保持処理後に領域03の色は保持され得ず、領域03もグレースケール画像である。図1から、色保持処理後、バルーンの一部がカラー画像であり、バルーンの他の部分がグレースケール画像であることが分かり得る。その結果、色保持処理後に取得された画像は、比較的貧弱な効果を有している。
本出願の実施形態は、写真撮影シナリオおよび電子デバイスで画像を表示するための方法を提供し、その結果、ボディが画像上に配置される領域全体の色が写真撮影シナリオで保持され得、ユーザの視覚効果は比較的良好である。
前述の目的を達成するために、本出願の実施形態において以下の技術的解決策が使用される。
一態様によれば、本出願の技術的解決策は、画像を表示するための方法を提供する。本方法は、タッチ画面およびカメラレンズを有する電子デバイスに適用され得、本方法は、電子デバイスによって、カメラを開くためにユーザによって実行された第1の操作を検出した後、タッチ画面上にキャプチャ画面を表示するステップであって、キャプチャ画面は、ビューファインダーフレームを含み、ビューファインダーフレームはカラー第1の画像を含む、ステップと、第1の処理モードを示すためにユーザによって実行された第2の操作を検出した後、電子デバイスによって、第2の操作に応答してビューファインダーフレームに第2の画像を表示するステップであって、第2の画像は、第1の処理がカメラレンズによってキャプチャされた第1の元の画像上で実行された後に取得される画像である、ステップとを含み得、第2の画像は、第1の領域および第2の領域を含み、第1の領域は第1のターゲットオブジェクトが第2の画像上に配置された領域で、第2の領域は第2の画像上の第1の領域以外の領域であり、第1の領域はカラー画像で、第2の領域はグレースケール画像で、ならびに第1のターゲットオブジェクトは1つ以上のボディタイプ、または第1のターゲットオブジェクトは1つ以上のボディである。
第1のターゲットオブジェクトがボディタイプであるとき、第1のターゲットオブジェクトが配置される領域は、第1のターゲットオブジェクトに属するボディが配置される領域である。
第1の処理モードは色保持モードであり、第1の処理は色保持処理である。
この解決策では、写真撮影シナリオの第1の処理モードでビューファインダーフレームに電子デバイスによって表示される画像によれば、特定のボディが配置される領域全体がカラー画像であり、ボディの一部がカラー画像で、他の部分がグレースケール画像である事例は発生しない。
可能な実装形態では、第1の領域の画像は、第1のターゲットオブジェクトが第1の元の画像上に配置される領域の画像と同じであり、第1の領域の画像の色は、第1のターゲットオブジェクトが第1の元の画像に配置された領域の画像の色と同じであり、第2の画像の第2の領域の画像は、第1のターゲットオブジェクトが元の画像に配置された領域以外の領域の画像に対してグレースケール処理が実行された後に取得された画像である。
言い換えれば、写真撮影シナリオの第1の処理モードでは、電子デバイスは、第1のターゲットオブジェクトに対応する1つ以上のボディがカメラレンズによってキャプチャされた元の画像に配置される領域全体で画像の色を保持し、元の画像の他の領域をグレースケール画像として処理して、第2の画像を取得し得る。
別の可能な実装形態では、電子デバイスによって、ビューファインダーフレームに第2の画像を表示するステップは、電子デバイスによって、カメラレンズによってキャプチャされた第1の元の画像を取得するステップと、次に、電子デバイスによって、第2の画像を生成および表示するために、第1の元の画像に対して第1の処理を実行するステップとを含み、ならびに電子デバイスによって、第1の元の画像に対して第1の処理を実行するステップは、電子デバイスによって、第1の元の画像に含まれる複数のオブジェクトがそれぞれ配置される領域を取得するために、第1の元の画像に対して画像セグメンテーションを実行するステップであって、オブジェクトがボディタイプまたはボディである、ステップと、電子デバイスによって、第1のターゲットオブジェクトが第1の元の画像上に配置される第1の領域のピクセルのピクセル値を保持するステップと、第1の元の画像上の第1の領域以外の領域のピクセルのピクセル値をグレースケール値に変換するステップとを含む。
言い換えれば、電子デバイスは、画像セグメンテーションを通じて、第1の元の画像を、ボディが配置される領域またはボディタイプに対応する領域(すなわち、ボディタイプに属するボディが配置される領域)にセグメント化して、第1のターゲットオブジェクトが配置される領域、すなわち、第1のターゲットオブジェクトに含まれる1つ以上のボディが配置される領域をカラー画像として保持し、元の画像上の他の領域をグレースケール画像として処理する。
別の可能な実装形態では、第1のターゲットオブジェクトは、事前設定されたターゲットオブジェクトであるか、または第1のターゲットオブジェクトは、第1の元の画像上の撮影される対象に基づいて自動的に決定されるターゲットオブジェクトである。
この解決策では、写真撮影シナリオの第1の処理モードで、電子デバイスは、第1のターゲットオブジェクトに基づいて、色保持処理後に取得された第2の画像を自動的に表示することができる。
別の可能な実装形態では、電子デバイスによって、第2の操作に応答してビューファインダーフレームに第2の画像を表示するステップは、第2の操作に応答して、電子デバイスによって、ユーザに第1のターゲットオブジェクトを指定するように指示ステップと、電子デバイスが、第1のターゲットオブジェクトを指定するためにユーザによって実行された第3の操作を検出した場合、電子デバイスによって、第3の操作に応答してビューファインダーフレームに第2の画像を表示するステップとを含む。
この解決策では、写真撮影シナリオの第1の処理モードで、ユーザによって示されたターゲットオブジェクトを取得した後にのみ、電子デバイスは、ターゲットオブジェクトに基づいて、色保持処理後に取得された第2の画像を表示する。
別の可能な実装形態では、電子デバイスによって、ビューファインダーフレームに第2の画像を表示するステップの後に、本方法は、カメラレンズが第2の元の画像をキャプチャした後、電子デバイスによって、ビューファインダーフレームに第3の画像を表示するステップであって、第3の画像は、第2の元の画像に対して第1の処理が実行された後に取得された画像である、ステップをさらに含み得、第3の画像は、第3の領域および第4の領域を含み、第3の領域は、第1のターゲットオブジェクトが第3の画像上に配置される領域で、第4の領域は第3の画像上の第3の領域以外の領域で、第3の領域はカラー画像で、ならびに第4の領域はグレースケール画像である。
言い換えれば、写真撮影シナリオの第1の処理モードでは、電子デバイスは、カメラレンズによって現在キャプチャされている元の画像に基づいて、色保持処理後に取得された画像を常にリアルタイムで取得および表示することができる。
別の可能な実装形態では、本方法は、電子デバイスによって、第2のターゲットオブジェクトを示すためにユーザによって実行された第4の操作を検出するステップであって、第2のターゲットオブジェクトは、1つ以上のボディタイプであるか、または第2のターゲットオブジェクトは、1つ以上のボディである、ステップと、および電子デバイスによって、第4の操作に応答してビューファインダーフレームに第4の画像を表示するステップであって、第4の画像は、カメラレンズによってキャプチャされた第3の元の画像に対して第1の処理が実行された後に取得される画像である、ステップをさらに含み得、第4の画像は第5の領域および第6の領域を含み、第5の領域は第2のターゲットオブジェクトが第4の画像上に配置される領域であり、第6の領域は第4の画像上の第5の領域以外の領域であり、第5の領域はカラー画像であり、ならびに第6の領域はグレースケール画像である。
この解決策では、ユーザはターゲットオブジェクトをさらに変更することができるので、電子デバイスは、ユーザによって変更されたターゲットオブジェクトに基づいて色保持処理を実行し、色保持処理後に取得された画像を表示する。
別の可能な実装形態では、本方法は、電子デバイスによって、写真を撮るように指示するためにユーザによって実行された第5の操作を検出するステップと、電子デバイスによって、第5の操作に応答して、ビューファインダーフレームに表示された画像を格納するステップとをさらに含み得る。
このようにして、電子デバイスは、色保持処理後に取得された画像を格納および記録することができる。言い換えれば、撮影された画像は、色保持処理後に取得された画像である。
別の可能な実装形態では、電子デバイスによって、写真を撮るように指示するためにユーザによって実行された第4の操作を検出するステップは、電子デバイスによって、ビデオ撮影モードまたは連続キャプチャモードで写真を撮るように指示するためにユーザによって実行された第4の操作を検出するステップを含み、および第4の操作に応答して電子デバイスによって、ビューファインダーフレームに表示される画像を格納するステップは、第4の操作に応答して、電子デバイスによって、写真撮影プロセスのビューファインダーフレームに表示される画像の複数のフレームを格納するステップを含み、ビューファインダーフレームに表示される複数の画像フレームは、カメラレンズによってキャプチャされた元の画像の複数のフレームに対して第1の処理が実行された後に取得された画像である。
このように、連続キャプチャモードおよびビデオ記録モードでは、電子デバイスは、色保持処理後に取得された複数の画像を格納および記録することができる。
別の可能な実装形態では、電子デバイスが第1の処理モードを示すためにユーザによって実行された第2の操作を検出する前に、本方法は、電子デバイスによって、ビデオを撮影するように指示するためにユーザによって実行された第6の操作を検出するステップと、第5の操作に応答して、ビューファインダーフレームに電子デバイスによって、ビデオ撮影プロセスのカメラレンズによってキャプチャされたカラー画像を表示するステップと、およびカラー画像を格納するステップとをさらに含み得、電子デバイスが第2の操作を検出した後、電子デバイスによって、第2の操作に応答してビューファインダーフレームに第2の画像を表示するステップは、第2の操作に応答して、電子デバイスによって、ビデオ撮影プロセスのビューファインダーフレームに、カメラレンズによってキャプチャされた画像の各フレームに対して第1の処理が実行された後に取得された第2の画像を表示するステップとを含み、ならびに本方法は、電子デバイスによって、ビデオ記録プロセスのビューファインダーフレームに表示された画像の複数のフレームを格納するステップとをさらに含み得る。
この解決策では、電子デバイスは、最初に通常のカラー画像を含むビデオセグメントを撮影することができ、電子デバイスが色保持モードに入った後、電子デバイスは、色保持処理後に取得された画像を含むビデオセグメントを撮影し続ける。
別の可能な実装形態では、電子デバイスのキャプチャ画面は、第1の処理モードを示すために使用される制御を含み、第2の操作は、ユーザが制御をタップする操作である。
このように、第1の処理モードを示すために使用されるキャプチャ画面上の制御をタップすることにより、ユーザはより便利に色保持モードに入るように指示することができる。
別の可能な実装形態では、電子デバイスのキャプチャ画面は、制御1を表示し、第2の操作が検出されることは、ユーザが制御1をタップすることを検出するステップと、機能リストを表示ステップであって、機能リストは、第1の処理モードを示すために使用される制御2を含む、ステップと、ユーザが制御2をタップする操作を検出するステップとを含む。
別の可能な実装形態では、電子デバイスが第2の操作を検出することは、電子デバイスによって、キャプチャ画面上のユーザの事前設定されたジェスチャ、例えば、丸いトラックを描くジェスチャ操作を検出するステップを含む。
この解決策では、ユーザは、写真撮影画面上の事前設定されたジェスチャを使用することによって、電子デバイスに第1の処理モードに入るように指示し得る。
別の可能な実装形態では、電子デバイスが、第1のターゲットオブジェクトを指定するためにユーザによって実行された第3の操作を検出することは、電子デバイスによって、ユーザがビューファインダーフレームに表示された画像上で第1のボディをタップする操作を検出するステップを含み、第1のターゲットオブジェクトは第1のボディであるか、または第1のターゲットオブジェクトは第1のボディのボディタイプである。
この解決策では、ユーザはビューファインダーフレームに表示された画像のボディをタップすることで第1のターゲットオブジェクトを設定できる。
別の可能な実装形態では、電子デバイスが、第1のターゲットオブジェクトを指定するためにユーザによって実行された第3の操作を検出することは、電子デバイスによって、ユーザがトラックを描くことによって、ビューファインダーフレームに表示される画像上の第5の領域を選択する操作を検出することを含み、第1のターゲットオブジェクトは第5の領域に含まれるボディであるか、または第1のターゲットオブジェクトは第5の領域に含まれるボディのボディタイプである。
この解決策では、ユーザはビューファインダーフレームに表示された画像上のいくつかのボディを選択することにより、第1のターゲットオブジェクトを設定できる。
別の可能な実装形態では、電子デバイスによって、第1のターゲットオブジェクトを指定するようにユーザに指示するステップは、電子デバイスによって、ボディタイプリストを表示するステップを含み、および電子デバイスが第1のターゲットオブジェクトを指定するためにユーザによって実行された第3の操作を検出することは、電子デバイスによって、ユーザがボディタイプリストの第1のボディタイプをタップする操作を検出するステップを含み、第1のボディタイプは、第1のターゲットオブジェクトである。
この解決策では、ボディタイプリストがユーザに指示されるため、ユーザはボディタイプリストからボディタイプを簡単に指定して、第1のターゲットオブジェクトとして機能させることができる。
別の可能な実装形態では、電子デバイスによって、第1のターゲットオブジェクトを指定するようにユーザに指示するステップは、電子デバイスによって、ボディリストを表示するステップを含み、および電子デバイスが第1のターゲットオブジェクトを指定するためにユーザによって実行された第3の操作を検出することは、電子デバイスによって、ユーザがボディタイプリストの第1のボディをタップする操作を検出するステップを含み、第1のボディまたは第1のボディのボディタイプは、第1のターゲットオブジェクトである。
この解決策では、ボディリストがユーザに指示されるため、ユーザはボディリストからボディを簡単に指定して、第1のターゲットオブジェクトとしてボディまたはボディのボディタイプを使用することができる。
別の可能な実装形態では、電子デバイスは、第4の操作に応答して、ビューファインダーフレームに表示された画像および対応する元の画像を格納する。
このようにして、電子デバイスは、カラーの元の画像と、色保持処理後に取得された画像の両方を格納することができる。
別の態様によれば、本出願の技術的解決策は、タッチ画面を有する電子デバイスに適用される、画像を表示するための方法を提供する。本方法は、電子デバイスによって、第1の画像を開くためにユーザによって実行された第1の操作を検出するステップと、第1の操作に応答してタッチ画面上に第1の画像を表示するステップであって、第1の画像はカラー画像である、ステップと、第1の処理モードを示すためにユーザによって実行された第2の操作を検出するステップと、第2の操作に応答して第2の画像を表示するステップであって、第2の画像は第1の画像が処理された後に取得された画像である、ステップと、画像を格納するように指示するためにユーザによって実行された操作を検出した後、第2の画像を格納するステップとを含み、第2の画像および第1の画像はそれぞれ第1の領域および第2の領域を含み、第1の領域は第1のターゲットオブジェクトが配置される領域で、第2の領域は第1の領域以外の領域であり、第2の画像上の第1の領域はカラー画像で、第2の画像上の第1の領域の画像は第1の画像上の第1の領域の画像と同じで、ならびに第2の画像上の第2の領域はグレースケール画像である。
この解決策では、電子デバイスは、特定のボディが配置される領域全体の色を保持するために、写真撮影されたカラー画像に対して色保持処理を実行することができる。
別の態様によれば、本出願の技術的解決策は、タッチ画面を有する電子デバイスに適用される、画像を表示するための方法を提供する。本方法は、電子デバイスによって、第1のビデオを開くためにユーザによって実行された第1の操作を検出するステップであって、第1のビデオは第1の画像の複数のフレームを含む、ステップと、第1の操作に応答して、電子デバイスのタッチ画面上に、第1のビデオに対応する第1の画面を表示するステップと、第1の処理モードを示すためにユーザによって実行された第2の操作を検出するステップと、第1のビデオを再生するように指示するためにユーザによって実行された第3の操作を検出するステップと、第3の操作に応答して第1のビデオを再生および表示するステップであって、表示される第1のビデオの画像の各フレームは、第1の画像が処理された後に取得される第2の画像である、ステップと、ビデオを格納するように指示するためにユーザによって実行された操作を検出した後に第1のビデオを格納するステップであって、第1のビデオの画像は第2の画像である、ステップとを含み、第2の画像および第1の画像はそれぞれ第1の領域および第2の領域を含み、第1の領域は第1のターゲットオブジェクトが配置される領域で、第2の領域は第1の領域以外の領域であり、第2の画像上の第1の領域はカラー画像で、第2の画像上の第1の領域の画像は第1の画像上の第1の領域の画像と同じで、第2の画像上の第2の領域はグレースケール画像である。
この解決策では、電子デバイスは、特定のボディが画像上に配置される領域全体の色を保持するために、ショットビデオに含まれるカラー画像に対して色保持処理を実行することができる。
別の態様によれば、技術的解決策は、画像を表示するための一装置を提供する。装置は、電子デバイスに含まれ、装置は、前述の態様および前述の態様の可能な実装形態での電子デバイスの動作を実装する機能を有する。この機能は、ハードウェアで実装されてもよいし、ハードウェアで対応するソフトウェアを実行することで実装されてもよい。ハードウェアまたはソフトウェアは、前述の機能に対応する1つ以上のモジュールまたはユニット、例えば、検出モジュールまたはユニット、表示モジュールまたはユニット、および記憶モジュールまたはユニットを含む。
別の態様によれば、この技術的解決策は、タッチ画面を含む電子デバイスを提供し、タッチ画面は、タッチセンシティブ表面およびディスプレイ、カメラレンズ、1つ以上のプロセッサ、メモリ、複数のアプリケーション、ならびに1つ以上のコンピュータプログラムを含み、1つ以上のコンピュータプログラムがメモリに格納され、1つ以上のコンピュータプログラムは命令を含み、命令が電子デバイスによって実行されるとき、電子デバイスは、前述の態様のいずれか1つの可能ないずれかの実装形態の画像を表示するための方法を実行することが可能にされる。
別の態様によれば、この技術的解決策は、1つまたは複数のプロセッサおよび1つまたは複数のメモリを含む電子デバイスを提供し、1つまたは複数のメモリは1つまたは複数のプロセッサに結合され、1つまたは複数のメモリは、コンピュータプログラムコードを格納するように構成され、コンピュータプログラムコードはコンピュータ命令を含み、1つまたは複数のプロセッサがコンピュータ命令を実行するとき、電子デバイスは前述の態様のいずれか1つの可能ないずれかの実装形態の画像を表示するための方法を実行することが可能にされる。
別の態様によれば、この技術的解決策は、コンピュータ命令を含むコンピュータ記憶媒体を提供し、コンピュータ命令が電子デバイス上で実行されるとき、電子デバイスは、前述の態様のいずれか1つの可能ないずれかの実装形態の画像を表示するための方法を実行することが可能にされる。
別の態様によれば、この技術的解決策は、コンピュータプログラム製品を提供し、コンピュータプログラム製品が電子デバイス上で実行されるとき、電子デバイスは、前述の態様のいずれか1つの可能ないずれかの実装形態の画像を表示するための方法を実行することが可能にされる。
従来技術での色保持効果の概略図である。 本出願の一実施形態による電子デバイスのハードウェア構造の概略図である。 本出願の一実施形態による電子デバイスのソフトウェア構造の概略図である。 本出願の一実施形態による表示インターフェースのグループの概略図である。 本出願の一実施形態による表示インターフェースのグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による画像のグループの概略図である。 本出願の一実施形態による画像のグループの概略図である。 本出願の一実施形態による表示インターフェースの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による別の表示インターフェースの概略図である。 本出願の一実施形態による別の表示インターフェースの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による別の表示インターフェースの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による表示インターフェースの別のグループの概略図である。 本出願の一実施形態による画像セグメンテーションプロセスの概略図である。 本出願の一実施形態による画像セグメンテーション結果のグループの概略図である。 本出願の一実施形態による画像を表示するための方法のフローチャートである。 本出願の一実施形態による画像を表示するための別の方法のフローチャートである。 本出願の一実施形態による別の電子デバイスの概略構造図である。 本出願の一実施形態による別の表示インターフェースの概略図である。 本出願の一実施形態による別の表示インターフェースの概略図である。 本出願の実施形態による別の表示インターフェースの概略図である。 本出願の一実施形態による別の表示インターフェースの概略図である。 本出願の一実施形態による別の表示インターフェースの概略図である。
以下で、本出願の実施形態における添付図面を参照して、本出願の実施形態における技術的解決策を記載する。本出願の実施形態の説明において、別段の指定のない限り、「/」は「または」を意味する。例えば、A/Bは、AまたはBを表す場合がある。本明細書では、「および/または」は、関連付けられた対象物を説明するための関連付け関係のみを説明し、3つの関係が存在する場合があることを表す。例えば、Aおよび/またはBとは、Aのみが存在する事例、AとBとの両方が存在する事例、およびBのみが存在する事例の3つの事例を表してもよい。加えて、本出願の実施形態の説明において、「複数」とは、少なくとも2つを意味する。
以下に記述された用語「第1」および「第2」は、ただ単に説明の目的で使用されるものであり、記載された技術的特徴の相対的な重要度の指示または暗示として、あるいは記載された技術的特徴の数量の暗黙的指示として、理解されるべきではない。したがって、「第1」または「第2」によって限定される特徴は、1つ以上の特徴を明示的または暗黙的に含み得る。実施形態の説明において、別段の指定がない限り、「複数」とは、少なくとも2つを意味する。
本出願の実施形態は、画像を表示するための方法を提供する。本方法は、電子デバイスに適用され得、その結果、写真撮影またはビデオ撮影中に、ボディが配置される領域または画像上のボディタイプに対応する領域は、画像セグメンテーションを通して取得され得、1つ以上の特定のボディが配置される領域の色はボディが配置される領域またはボディタイプに対応する領域に基づいて保持され、特定のボディが配置される領域全体の色を保持し、それによって画像処理効果およびユーザの視覚的体験を向上させる。指定された色に基づいて色保持が行われるため、ボディの領域の一部がカラー画像であり、他の部分がグレースケール画像であるという従来技術の問題は発生しない。
人、乗り物、花、動物、建物、地面、空など、複数のボディタイプが存在し得る。1つのボディタイプは、ボディタイプの複数のボディを含み得る。ボディタイプに対応する領域は、ボディタイプのボディが配置される領域である。1つ以上の特定のボディは、ユーザによって指定された1つ以上のボディ、または電子デバイスによって事前設定された1つ以上のボディ、またはカメラレンズによってキャプチャされたカラー画像上のボディ、ボディの位置およびサイズなどに基づいて電子デバイスによって決定された1つ以上のボディである。代替として、1つ以上の特定のボディは、ユーザによって指定された1つ以上のボディタイプに属するボディ、または電子デバイスによって事前設定された1つ以上のボディタイプに属するボディ、またはカメラレンズによってキャプチャされたカラー画像上のボディ、ボディの位置およびサイズなどに基づいて電子デバイスによって決定された1つ以上のボディタイプに属するボディである。
画像セグメンテーションは、セマンティックセグメンテーションとも呼ばれ得、画像を特別なプロパティを有するいくつかの特定の領域にセグメント化し、関心を引き付けるターゲットを指定する技術およびプロセスである。複数の画像セグメンテーション方法、例えば、畳み込みニューラルネットワーク(convolutional neural network、CNN)ベースのセグメンテーション方法、閾値ベースのセグメンテーション方法、領域ベースのセグメンテーション方法、エッジベースのセグメンテーション方法、および特定の理論ベースのセグメンテーション方法があり得る。
本出願の実施形態の画像を表示するための方法は、携帯電話、タブレットコンピュータ、ウェアラブルデバイス、車載デバイス、拡張現実(augmented reality,AR)デバイス/仮想現実(virtual reality,VR)デバイス、ノートブックコンピュータ、ウルトラモバイルパーソナルコンピュータ(ultra-mobile personal computer,UMPC)、ネットブック、またはパーソナルデジタルアシスタント(personal digital assistant,PDA)などの任意の電子デバイスに適用され得る。本出願の実施形態では、特定のタイプの電子デバイスは限定されない。
例えば、図2は、電子デバイス100の概略的構造図である。電子デバイス100は、プロセッサ110、外部メモリインターフェース120、内部メモリ121、ユニバーサルシリアルバス(universal serial bus、USB)インターフェース130、充電管理モジュール140、電源管理モジュール141、バッテリー142、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、オーディオモジュール170、ラウドスピーカ170A、電話受話器170B、マイクロフォン170C、ヘッドセットジャック170D、センサモジュール180、ボタン190、モータ191、インジケータ192、カメラレンズ193、表示画面194、加入者識別モジュール(subscriber identification module、SIM)カードインターフェース195などを含み得る。センサモジュール180は、圧力センサ180A、ジャイロスコープセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光学式近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、周囲光センサ180L、骨伝導センサ180Mなどを含み得る。
本出願のこの実施形態における概略構造は、電子デバイス100に対する特定の限定を構成しないことが理解されよう。本出願のいくつかの他の実施形態では、電子デバイス100は、図に示されている構成要素より多いかもしくは少ない構成要素を含んでいてもよく、またはいくつかの構成要素が組み合わされてもよく、またはいくつかの構成要素が分割されてもよく、または構成要素が異なる方法で配置されていてもよい。図に示されている構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組合せを使用することによって実装され得る。
プロセッサ110は、1つ以上の処理ユニットを含み得る。例えば、プロセッサ110は、アプリケーションプロセッサ(application processor、AP)、モデムプロセッサ、グラフィックス処理ユニット(graphics processing unit、GPU)、画像信号プロセッサ(image signal processor、ISP)、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ(digital signal processor、DSP)、ベースバンドプロセッサ、および/またはニューラルネネットワーク処理ユニット(neural-network processing unit、NPU)などを含み得る。様々な処理ユニットは、別個のコンポーネントであってもよく、または1つ以上のプロセッサに統合されてもよい。
コントローラは、電子デバイス100の神経センターおよびコマンドセンターであり得る。コントローラは、命令動作コードおよび時系列信号に基づいて動作制御信号を生成し、命令の読み取りおよび命令の実行の制御を完了することができる。
メモリは、プロセッサ110にさらに配置され、命令およびデータを格納してもよい。いくつかの実施形態では、プロセッサ110のメモリはキャッシュである。このメモリは、プロセッサ110によって使用されたか、または周期的に使用される命令またはデータを格納し得る。プロセッサ110が命令またはデータを再び使用する必要がある場合、プロセッサ110は、メモリから命令またはデータを直接呼び出して、繰り返しアクセスを回避し、プロセッサ110の待機時間を短縮し、それによってシステム効率を改善することができる。
いくつかの実施形態では、プロセッサ110は1つ以上のインターフェースを含んでよい。インターフェースは、集積回路(inter-integrated circuit、I2C)インターフェース、集積回路サウンド(inter-integrated circuit sound、I2S)インターフェース、パルス符号変調(pulse code modulation、PCM)インターフェース、汎用非同期送受信機(universal asynchronous receiver/transmitter、UART)インターフェース、モバイルインダストリープロセッサインターフェース(mobile industry processor interface、MIPI)、汎用入出力(general-purpose input/output、GPIO)インターフェース、加入者識別モジュール(subscriber identity module、SIM)インターフェース、ユニバーサルシリアルバス(universal serial bus、USB)インターフェースおよび/またはなどであってもよい。
I2Cインターフェースは双方向同期シリアルバスであり、1本のシリアルデータライン(serial data line、SDA)と1本のシリアルクロックライン(serial clock line、SCL)を含む。いくつかの実施形態では、プロセッサ110は、I2Cバスの複数のグループを含み得る。プロセッサ110は、異なるI2Cバスインターフェースを介して、タッチセンサ180K、充電器、フラッシュ、カメラレンズ193などに別々に結合され得る。例えば、プロセッサ110は、I2Cインターフェースを介してタッチセンサ180Kに結合され得、その結果、プロセッサ110は、I2Cバスインターフェースを介してタッチセンサ180Kと通信し、電子デバイス100のタッチ機能を実装する。
I2Sインターフェースは、音声通信を実行するように構成され得る。いくつかの実施形態では、プロセッサ110は、I2Sバスの複数のグループを含み得る。プロセッサ110は、I2Sバスを介してオーディオモジュール170に結合されて、プロセッサ110とオーディオモジュール170との通信を実装し得る。いくつかの実施形態では、オーディオモジュール170は、ブルートゥース(登録商標)ヘッドセットを介して通話に応答する機能を実装するために、I2Sインターフェースを介して無線通信モジュール160にオーディオ信号を送信することができる。
PCMインターフェースはまた、オーディオ通信を実行するように、アナログ信号でサンプリング、量子化、および符号化を実行するように構成され得る。いくつかの実施形態では、オーディオモジュール170は、PCMバスインターフェースを介して無線通信モジュール160に結合され得る。いくつかの実施形態では、オーディオモジュール170はまた、ブルートゥース(登録商標)ヘッドセットを介して通話に応答する機能を実装するために、PCMインターフェースを介して無線通信モジュール160にオーディオ信号を送信することができる。I2SインターフェースとPCMインターフェースの両方が、音声通信を実行するように構成され得る。
UARTインターフェースはユニバーサルシリアルデータラインであり、非同期通信を実行するように構成されている。バスは双方向通信バスであり得る。UARTインターフェースは、送信されるデータをシリアル通信とパラレル通信の間で切り替える。いくつかの実施形態では、UARTインターフェースは通常、プロセッサ110を無線通信モジュール160に接続するように構成される。例えば、プロセッサ110は、UARTインターフェースを介して無線通信モジュール160のブルートゥース(登録商標)モジュールと通信し、ブルートゥース(登録商標)機能を実装する。いくつかの実施形態では、オーディオモジュール170は、ブルートゥース(登録商標)ヘッドセットを介して音楽を再生する機能を実装するために、UARTインターフェースを介して無線通信モジュール160にオーディオ信号を送信することができる。
MIPIインターフェースは、プロセッサ110を、表示画面194またはカメラレンズ193などの周辺コンポーネントに接続するように構成され得る。MIPIインターフェースは、カメラシリアルインターフェース(camera serial interface、CSI)、表示シリアルインターフェース(display serial interface、DSI)などを含む。いくつかの実施形態では、プロセッサ110は、CSIインターフェースを介してカメラレンズ193と通信し、電子デバイス100の写真撮影機能を実装する。プロセッサ110は、DSIインターフェースを介して表示画面194と通信し、電子デバイス100の表示機能を実装する。
GPIOインターフェースは、ソフトウェアを使用することによって構成され得る。GPIOインターフェースは、制御信号として構成されてもよいし、データ信号として構成されてもよい。いくつかの実施形態では、GPIOインターフェースは、プロセッサ110をカメラレンズ193、表示画面194、無線通信モジュール160、オーディオモジュール170、センサモジュール180などに接続するように構成され得る。GPIOインターフェースは、I2Cインターフェース、I2Sインターフェース、UARTインターフェース、MIPIインターフェースなどとしてさらに構成され得る。
USBインターフェース130は、USB標準仕様を満たすインターフェースであり、具体的には、ミニUSBインターフェース、マイクロUSBインターフェース、USBタイプCインターフェースなどであり得る。USBインターフェース130は、電子デバイスに充電するために充電器に接続するように構成されてもよく、または電子デバイス100と周辺機器の間でデータを送信するように構成されてもよく、またはヘッドセットに接続し、ヘッドセットを介してオーディオを再生するように構成されてもよい。インターフェースは、ARデバイスなどの別の電子デバイスに接続するようにさらに構成され得る。
本出願のこの実施形態におけるモジュール間の概略的なインターフェース接続関係は、説明のための単なる一例であり、電子デバイス100の構造に対する制限を構成しないことを理解されたい。本出願の他のいくつかの実施形態では、電子デバイス100は、代替として、前述の実施形態とは異なるインターフェース接続方法を使用するか、または複数のインターフェース接続方法の組合せを使用することができる。
充電管理モジュール140は、充電器から充電入力を受け取るように構成される。充電器は、無線充電器であり得るか、または有線充電器であり得る。充電器が有線充電器であるいくつかの実施形態では、充電管理モジュール140は、USBインターフェース130を介して有線充電器から充電入力を受け取ることができる。充電器が無線充電器であるいくつかの実施形態では、充電管理モジュール140は、電子デバイス100の無線充電コイルを介して無線充電器から充電入力を受け取ることができる。バッテリー142に充電するとき、充電管理モジュール140は、電源管理モジュール141を介して電子デバイスにさらに給電してもよい。
電源管理モジュール141は、バッテリー142、充電管理モジュール140、およびプロセッサ110に接続するように構成される。電源管理モジュール141は、バッテリー142および/または充電管理モジュール140の入力を受け取り、プロセッサ110、内部メモリ121、外部メモリ、表示画面194、カメラレンズ193、無線通信モジュール160などに給電する。電源管理モジュール141は、バッテリー容量、バッテリーサイクルカウント、およびバッテリーのヘルス状態(漏電およびインピーダンス)などのパラメータを監視するようにさらに構成され得る。いくつかの他の実施形態では、電源管理モジュール141は、代替として、プロセッサ110に配置されてもよい。いくつかの他の実施形態では、電源管理モジュール141および充電管理モジュール140は、代替として、同じコンポーネントに配置されてもよい。
電子デバイス100の無線通信機能は、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサなどを使用して実装され得る。
アンテナ1およびアンテナ2は、電磁波信号を送受信するように構成される。電子デバイス100の各アンテナは、1つ以上の通信周波数帯域をカバーするように構成され得る。アンテナの使用率を向上させるために、異なるアンテナが多重化されてもよい。例えば、アンテナ1は無線ローカルエリアネットワークのダイバーシティアンテナとして多重化され得る。いくつかの他の実施形態では、アンテナは、チューニングスイッチと組み合わせて使用され得る。
モバイル通信モジュール150は、電子デバイス100に適用される2G/3G/4G/5Gなどの無線通信に対する解決策を提供することができる。モバイル通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器(low noise amplifier、LNA)などを含み得る。モバイル通信モジュール150は、アンテナ1を介して電磁波を受信し、受信した電磁波に対してフィルタリングや増幅などの処理を行い、処理された電磁波を復調のためにモデムプロセッサに送信し得る。モバイル通信モジュール150は、モデムプロセッサによって変調された信号をさらに増幅し、その信号を、アンテナ1を介して放射するための電磁波に変換することができる。いくつかの実施形態では、モバイル通信モジュール150の少なくともいくつかの機能モジュールがプロセッサ110に配置され得る。いくつかの実施形態では、モバイル通信モジュール150の少なくともいくつかの機能モジュールおよびプロセッサ110の少なくともいくつかのモジュールが同じコンポーネントに配置され得る。
モデムプロセッサは、変調器および復調器を含み得る。変調器は、送信されるべき低周波数ベースバンド信号を中間および高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次いで、復調器は、復調によって取得された低周波数ベースバンド信号を処理のためにベースバンドプロセッサに送信する。ベースバンドプロセッサによって処理された後、低周波ベースバンド信号はアプリケーションプロセッサに送信される。アプリケーションプロセッサは、オーディオデバイス(ラウドスピーカ170A、電話受話器170Bなどに限定されない)を介して音響信号を出力するか、または表示画面194を介して画像またはビデオを表示する。いくつかの実施形態では、モデムプロセッサは、独立したコンポーネントであり得る。いくつかの他の実施形態では、モデムプロセッサは、プロセッサ110から分離され得、モデムプロセッサおよびモバイル通信モジュール150または別の機能モジュールは、同じコンポーネントに配置され得る。
無線通信モジュール160は、電子デバイス100に適用される無線通信、例えば、無線ローカルエリアネットワーク(wireless local area networks、WLAN)(例えば、無線フィデリティ(wireless fidelity、Wi-Fi)ネットワーク)、ブルートゥース(登録商標)(Bluetooth、BT)、全地球航法衛星システム(global navigation satellite system、GNSS)、周波数変調(frequency modulation、FM)、近距離無線通信(near field communication、NFC)、および赤外線(infrared、IR)技術に解決策を提供し得る。無線通信モジュール160は、少なくとも1つの通信処理モジュールが統合されている1つ以上のコンポーネントであり得る。無線通信モジュール160は、アンテナ2を介して電磁波信号を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を行い、処理された信号をプロセッサ110に送信する。無線通信モジュール160は、プロセッサ110から送信される信号をさらに受信し、信号に対して周波数変調および増幅を実行し、アンテナ2を介して放射するために信号を電磁波に変換し得る。
いくつかの実施形態では、電子デバイス100のアンテナ1とモバイル通信モジュール150は結合され、および電子デバイス100のアンテナ2と無線通信モジュール160は結合されるので、電子デバイス100は、無線通信技術を使用してネットワークおよび別のデバイスと通信し得る。無線通信技術は、グローバル・システム・フォー・モバイル・コミュニケーションズ(global system for mobile communications、GSM)、汎用パケット無線サービス(general packet radio service、GPRS)、符号分割多元接続(code division multiple access、CDMA)、広帯域符号分割多元接続(wideband code division multiple access、WCDMA(登録商標))、時間分割符号分割多元接続(time-division code division multiple access、TD-CDMA)、ロングタームエボリューション(long term evolution、LTE)、BT、GNSS、WLAN、NFC、FM、IR技術などを含み得る。GNSSは、全地球測位システム(global positioning system、GPS)、全地球測位衛星システム(global navigation satellite system、GLONASS)、ベイドゥ航法衛星システム(beidou navigation satellite system、BDS)、準天頂衛星システム(quasi-zenith satellite system、QZSS)、および/または衛星ベースの補強システム(satellite based augmentation system、SBAS)を含み得る。
電子デバイス100は、GPU、表示画面194、アプリケーションプロセッサなどを介して表示機能を実装する。GPUは、画像処理のためのマイクロプロセッサで、表示画面194およびアプリケーションプロセッサに接続される。GPUは、数学的計算および幾何学的計算を行うように構成され、グラフィックスレンダリングを行うように構成される。プロセッサ110は、1つ以上のGPUを含み、プログラム命令を実行して表示情報を生成または変更してもよい。
表示画面194は、画像、ビデオなどを表示するように構成される。表示画面194は、表示パネルを含む。表示パネルは、液晶ディスプレイ(liquid crystal display、LCD)、有機発光ダイオード(organic light-emitting diode、OLED)、アクティブマトリックス式有機発光ダイオード(active-matrix organic light emitting diode、AMOLED)、フレキシブル発光ダイオード(flex light-emitting diode、FLED)、MiniLed、MicroLed、Micro-oLed、量子ドット発光ダイオード(quantum dot light emitting diode、QLED)などを使用し得る。いくつかの実施形態では、電子デバイス100は、1つまたはN個の表示画面194を含んでいてもよく、Nは1より大きい正の整数である。
電子デバイス100は、ISP、カメラレンズ193、ビデオコーデック、GPU、表示画面194、アプリケーションプロセッサなどを介して写真撮影機能を実装し得る。
ISPは、カメラレンズ193によってフィードバックされたデータを処理するように構成される。例えば、写真撮影中、シャッタが押され、レンズを通してカメラレンズの受光素子に光が伝達され、光信号が電気信号に変換され、カメラレンズの受光素子は電気信号を処理のためにISPに送り、電気信号を視覚され得る画像に変換する。ISPは、画像のノイズ、輝度、および顔色に対してアルゴリズムの最適化をさらに実行する場合がある。ISPは、写真撮影シナリオの露出や色温度などのパラメータをさらに最適化し得る。いくつかの実施形態では、ISPはカメラレンズ193に配置され得る。
カメラレンズ193は、静止画像またはビデオをキャプチャするように構成される。レンズを通してボディの光学画像が生成され、その画像が受光素子に投影される。受光素子は、電荷結合デバイス(charge coupled device、CCD)、または相補形金属酸化膜半導体(complementary metal-oxide-semiconductor、CMOS)フォトトランジスタであり得る。受光素子は、光信号を電気信号に変換し、次いで、ISPが電気信号をデジタル画像信号に変換するために、電気信号をISPに送信する。ISPは、デジタル画像信号を処理のためのDSPに出力する。DSPは、デジタル画像信号をRGBやYUVなどの標準形式の画像信号に変換する。いくつかの実施形態では、電子デバイス100は、1つまたはN個のカメラレンズ193を含み得、Nは、1より大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて、別のデジタル信号をさらに処理することができる。例えば、電子デバイス100が周波数選択を行うとき、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換などを行うように構成されている。
ビデオコーデックは、デジタルビデオを圧縮または展開するように構成される。電子デバイス100は、1つ以上のビデオコーデックをサポートすることができる。このようにして、電子デバイス100は、複数の符号化フォーマット、例えば、動画専門家集団(moving picture experts group、MPEG)1、MPEG 2、MPEG 3、およびMPEG 4でビデオを再生または記録することができる。
NPUはニューラルネットワーク(neural-network、NN)コンピューティングプロセッサで、人間の脳神経細胞間の伝達のモードなどの生物学的ニューラルネットワーク構造を使用して入力情報を迅速に処理し、自己学習をさらに常に実行し得る。NPUは、電子デバイス100のインテリジェントな認知、例えば、画像認識、顔認識、音声認識、およびテキスト理解などのアプリケーションを実装するために使用され得る。
外部メモリインターフェース120は、電子デバイス100の記憶容量を拡張するために、Micro SDカードなどの外部記憶カードに接続するように構成され得る。外部記憶カードは、外部メモリインターフェース120を介してプロセッサ110と通信し、データ記憶機能を実装して、例えば、音楽やビデオなどのファイルを外部記憶カードに格納する。
内部メモリ121は、コンピュータ実行可能プログラムコードを格納するように構成されてもよく、実行可能プログラムコードは命令を含む。プロセッサ110は内部メモリ121に格納された命令を実行して、電子デバイス100の様々な機能アプリケーションおよびデータ処理を行う。内部メモリ121は、プログラム記憶領域およびデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能(例えば音声再生機能、または画像再生機能)に必要なアプリケーションなどを格納してもよい。データ記憶領域は、電子デバイス100が使用されるときに作成されたデータ(例えば、オーディオデータや名簿)など格納することができる。加えて、内部メモリ121は、高速ランダムアクセスメモリを含み得るか、または少なくとも1つの磁気ディスクメモリ、フラッシュメモリ、またはユニバーサルフラッシュストレージ(universal flash storage、UFS)などの不揮発性メモリを含み得る。
電子デバイス100は、オーディオモジュール170、ラウドスピーカ170A、電話受話器170B、マイクロフォン170C、ヘッドセットジャック170D、アプリケーションプロセッサなどを介して、音楽再生や録音などのオーディオ機能を実装することができる。
オーディオモジュール170は、デジタルオーディオ情報をアナログオーディオ信号出力に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにさらに構成される。オーディオモジュール170は、オーディオ信号を符号化および復号するようにさらに構成され得る。いくつかの実施形態では、オーディオモジュール170は、プロセッサ110に配置されてもよく、またはオーディオモジュール170のいくつかの機能モジュールがプロセッサ110に配置される。
ラウドスピーカ170Aは、オーディオ電気信号を音響信号に変換するように構成される。電子デバイス100は、ラウドスピーカ170Aを介してハンズフリーモードで音楽を聴いたり、通話に応答したりするために使用され得る。
電話受話器170Bは、オーディオ電気信号を音声信号に変換するように構成される。電子デバイス100が通話に応答するか、または音声情報を受信するために使用されるとき、電話受話器170Bは、音声情報を受信するために、人間の耳の近くに置かれ得る。
マイクロフォン170Cは、音響信号を電気信号に変換するように構成される。電話をかけるとき、または音声情報を送信するとき、ユーザは、口をマイクロフォン170Cに近づけて話し、音響信号をマイクロフォン170Cに入力することができる。少なくとも1つのマイクロフォン170Cが電子デバイス100に配置され得る。いくつかの他の実施形態では、2つのマイクロフォン170Cが電子デバイス100に配置され、音響信号を収集し、ノイズ低減機能を実装することができる。いくつかの他の実施形態では、3つ、4つ、またはそれ以上のマイクロフォン170Cが代替として、電子デバイス100に配置され、音響信号を収集し、ノイズ低減を実装し、音源を認識し、指向性記録機能を実装するなどができる。
ヘッドセットジャック170Dは、有線ヘッドセットに接続するように構成される。ヘッドセットジャック170Dは、USBインターフェース130であり得るか、または3.5mmオープンモバイル端末プラットフォーム(open mobile terminal platform、OMTP)標準インターフェース、または米国セルラー通信工業会(cellular telecommunications industry association of the USA、CTIA)標準インターフェースであり得る。
圧力センサ180Aは、圧量信号を感知するように構成され、圧力信号を電気信号に変換することができる。いくつかの実施形態では、圧力センサ180Aは、表示画面194上に配置され得る。複数のタイプの圧力センサ180A、例えば、抵抗式圧力センサ、誘導式圧力センサ、および静電容量式圧力センサがある。静電容量式圧力センサは、導電材料で作られる少なくとも2つの平行なプレートを含み得る。力が圧力センサ180Aに作用すると、電極間の静電容量が変化する。電子デバイス100は、静電容量の変化に基づいて圧力の強さを決定する。表示画面194上でタッチ操作が行われると、電子デバイス100は、圧力センサ180Aを使用することによってタッチ操作の強度を検出する。電子デバイス100は、圧力センサ180Aの検出信号に基づいて、タッチの位置をさらに計算することができる。いくつかの実施形態では、同じタッチ位置で行われるが、異なるタッチ操作強度を有するタッチ操作が、異なる操作命令に対応している場合がある。例えば、SMSメッセージアプリケーションのアイコン上で第1の圧力閾値未満のタッチ操作強度のタッチ操作が行われると、SMSメッセージをチェックする命令が実行される。SMSメッセージアプリケーションのアイコン上で第1の圧力閾値以上のタッチ操作強度のタッチ操作が行われると、新しいSMSメッセージを作成する命令が実行される。
ジャイロスコープセンサ180Bは、電子デバイス100の動き姿勢を決定するように構成され得る。いくつかの実施形態では、ジャイロスコープセンサ180Bは、3つの軸(すなわち、軸x、y、およびz)の周りの電子デバイス100の角速度を決定するために使用され得る。ジャイロスコープセンサ180Bは、写真撮影中に画像安定化を実行するように構成され得る。例えば、シャッタが押されると、ジャイロスコープセンサ180Bは、電子デバイス100のジッタ角度を検出し、角度に基づいて、レンズモジュールが補正する必要がある距離を計算し、レンズが逆方向の動きによって電子デバイス100のジッタの相殺を可能にして、画像安定化を実装する。ジャイロスコープセンサ180Bは、ナビゲーションシナリオおよび動きセンシングゲームシナリオのためにさらに使用され得る。
気圧センサ180Cは、大気圧を測定するように構成される。いくつかの実施形態では、電子デバイス100は、気圧センサ180Cによって測定された大気圧を使用して高度を計算して、測位およびナビゲーションを支援する。
磁気センサ180Dは、ホールセンサを含む。電子デバイス100は、磁気センサ180Dを使用することによって、フリップレザーカバーの開閉を検出することができる。いくつかの実施形態では、電子デバイス100がフリップデバイスであるとき、電子デバイス100は、磁気センサ180Dを使用することによってフリップカバーの開閉を検出し、検出されたレザーカバーの開閉状態、または検出されたフリップカバーの開閉状態に基づいてフリップカバーの自動ロック解除などの機能を設定することができる。
加速度センサ180Eは、様々な方向(通常は3つの軸上)での電子デバイス100の加速度の大きさを検出することができる。電子デバイス100が静止しているとき、加速度センサ180Eは、大きさおよび重力の方向を検出することができる。加速度センサ180Eは、電子デバイスの姿勢を認識するようにさらに構成することができ、横向き方向と垂直向き方向の間の切り替えおよび歩数計などのアプリケーションに適用される。
距離センサ180Fは、距離を測定するように構成される。電子デバイス100は、赤外線またはレーザーを通して距離を測定し得る。いくつかの実施形態では、写真撮影シナリオにおいて、電子デバイス100は、距離センサ180Fを使用することによって距離を測定して、素早いピント合わせを実装し得る。
光学式近接センサ180Gは、例えば、発光ダイオード(LED)およびフォトダイオードなどの光検出器を含み得る。発光ダイオードは、赤外線発光ダイオードであり得る。電子デバイス100は、発光ダイオードを使用して赤外光を発し得る。電子デバイス100は、フォトダイオードを使用することによって近くのボディからの赤外線反射光を検出する。十分な反射光を検出するとき、電子デバイス100は、電子デバイス100の近くにボディがあると決定することができる。不十分な反射光を検出するとき、電子デバイス100は、電子デバイス100の近くにボディはないと決定することができる。電子デバイス100は、光学式近接センサ180Gを使用することにより、ユーザが電子デバイス100を耳に近づけて会話することを検出し、自動画面オフが実施され、省電力を実現することができる。光学式近接センサ180Gは、レザーカバーモードおよびポケットモードで画面を自動的にロック解除およびロックするようにさらに構成され得る。
周囲光センサ180Lは、周囲光の輝度を感知するように構成される。電子デバイス100は、感知された周囲光の輝度に基づいて表示画面194の輝度を適応的に調整し得る。周囲光センサ180Lは、写真撮影時にホワイトバランスを自動的に調整するようにさらに構成され得る。周囲光センサ180Lは、光学式近接センサ180Gとさらに協調して、電子デバイス100がポケットにあるかどうかを検出して、偶発的なタッチを防止し得る。
指紋センサ180Hは、指紋を収集するように構成される。電子デバイス100は、収集された指紋の特徴を使用することにより、指紋ロック解除、アプリケーションアクセスロック、指紋写真撮影、指紋ベースの呼応答などを実装することができる。
温度センサ180Jは、温度を検出するように構成される。いくつかの実施形態では、電子デバイス100は、温度センサ180Jによって検出された温度を使用することによって温度処理ポリシーを実行する。例えば、温度センサ180Jによって報告された温度が閾値を超えるとき、電子デバイス100は、温度センサ180Jの近くのプロセッサの性能を落として、電力消費を減らして熱保護を実施する。いくつかの他の実施形態では、温度が別の閾値未満であるとき、電子デバイス100は、バッテリー142を暖めて、低温により引き起こされる電子デバイス100の異常なシャットダウンを回避する。いくつかの他の実施形態では、温度がさらに別の閾値未満であるとき、電子デバイス100は、低温によって引き起こされる異常なシャットダウンを回避するために、バッテリー142の出力電圧をブーストする。
タッチセンサ180Kは、「タッチパネル」とも呼ばれる。タッチセンサ180Kは、表示画面194に配置されてもよく、タッチセンサ180Kと表示画面194は、タッチ画面を構成する。タッチセンサ180Kは、タッチセンサ180K上またはその近くで行われたタッチ操作を検出するように構成される。タッチセンサは、検出されたタッチ操作を、タッチイベントタイプを決定するためにアプリケーションプロセッサに送信し得る。タッチセンサ180Kは、表示画面194を介して、タッチ操作に関連する視覚出力を提供することができる。いくつかの他の実施形態では、タッチセンサ180Kは、代替として、電子デバイス100の表面上に配置され得、表示画面194の位置とは異なる位置に配置される。
骨伝導センサ180Mは、振動信号を取得し得る。いくつかの実施形態では、骨伝導センサ180Mは、人間の声帯部分の振動する骨の振動信号を取得し得る。骨伝導センサ180Mは、人間の脈拍に接触し、血圧拍動信号を受信することができる。いくつかの実施形態では、骨伝導センサ180Mは、代替として、骨伝導ヘッドセットを得るために、ヘッドセットに配置され得る。オーディオモジュール170は、音声機能を実装するために、骨伝導センサ180Mによって取得された、声帯部分の振動する骨の振動信号に基づくパースを通して音声信号を取得し得る。アプリケーションプロセッサは、心拍検出機能を実装するために、骨伝導センサ180Mによって取得された血圧拍動信号に基づいて心拍情報をパースし得る。
ボタン190は、電源ボタン、音量ボタンなどを含む。ボタン190は、機械的ボタンであり得るか、またはタッチボタンであり得る。電子デバイス100は、ボタン入力を受け取り、電子デバイス100のユーザ設定および機能制御に関連したボタン信号入力を生成し得る。
モータ191は、振動プロンプトを生成し得る。モータ191は、着信通話に対して振動プロンプトを提供するように構成され得、タッチ振動フィードバックを提供するようにさらに構成され得る。例えば、異なるアプリケーション(例えば、写真撮影やオーディオ再生)上で行われたタッチ操作が異なる振動フィードバック効果に対応していてもよい。表示画面194の異なる領域で行われたタッチ操作に対して、モータ191はまた、異なる振動フィードバック効果に対応していてもよい。異なるアプリケーションシナリオ(例えば、時間プロンプト、情報受信、目覚まし時計、およびゲーム)が、異なる振動フィードバック効果に対応してもよい。タッチ振動フィードバック効果はさらにカスタマイズされ得る。
インジケータ192は、インジケータライトであってもよく、充電状況およびバッテリーの変化を示すように構成されてもよく、メッセージ、不在着信、通知などを示すように構成されてもよい。
SIMカードインターフェース195は、SIMカードに接続するように構成される。SIMカードは、電子デバイス100と接触するか、またはそれから取り外されるように実装するために、SIMカードインターフェース195に挿入されるか、またはSIMカードインターフェース195から取り外され得る。電子デバイス100は1つまたはN個のSIMカードインターフェースをサポートすることができ、Nは1より大きい正の整数である。SIMカードインターフェース195は、Nano SIMカード、Micro SIMカード、SIMカードなどをサポートすることができる。複数のカードが同時にSIMカードインターフェース195に挿入されてもよい。複数のカードは、同じタイプまたは異なるタイプのものであり得る。SIMカードインターフェース195は、代替として様々なタイプのSIMカードとの互換性があってもよい。SIMカードインターフェース195はまた、外部記憶カードと互換性があり得る。電子デバイス100は、SIMカードを使用することによってネットワークと相互作用し、会話およびデータ通信などの機能を実装する。いくつかの実施形態では、電子デバイス100は、eSIM、すなわち、組み込み式のSIMカードを使用する。eSIMカードは、電子デバイス100に組み込まれ得、電子デバイス100から取り外すことができない。
本出願のこの実施形態では、写真撮影シナリオにおいて、カメラレンズ193はカラー画像をキャプチャし、ISPはカメラレンズ193によってフィードバックされたデータを処理し、プロセッサ110のNPUは、ISPによって処理された画像に対して画像セグメンテーションを実行して、様々なボディが配置されている領域、または画像上の様々なボディタイプに対応する領域を決定し得る。プロセッサ110は、1つ以上の特定のボディが配置されている領域の色を保持し、1つ以上の特定のボディの領域以外の領域に対してグレースケール処理を実行して、特定のボディが配置される領域全体の色を保持することができる。
グレースケール処理とは、ピクセルのピクセル値がグレースケール値に変換され、カラー画像をグレースケール画像(モノクロ画像とも呼ばれる)に変換することを意味する。ピクセル値は、ピクセルの色を示すために使用され、例えば、ピクセル値は、R(赤)G(緑)B(青)値であり得る。グレースケール処理は、ピクセルのRGB値を、R値=G値=B値のように処理するために実行され得る。
電子デバイス100のソフトウェアシステムは、階層化アーキテクチャ、イベント駆動型アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、またはクラウドアーキテクチャを使用することができる。本出願のこの実施形態では、電子デバイス100のソフトウェア構造は、一例として階層化アーキテクチャを伴うAndroidシステムを使用することによって示されている。
図3は、本出願のこの実施形態での電子デバイス100のソフトウェア構造のブロック図である。階層化アーキテクチャでは、ソフトウェアはいくつかの層に分割され、各層は明確な役割とタスクを有する。各層は、ソフトウェアインターフェースを介して相互に通信する。いくつかの実施形態では、Androidシステムは、それぞれアプリケーション層、アプリケーションフレームワーク層、Androidランタイム(Android runtime)およびシステムライブラリ、ならびに上から下へのカーネル層である4つの層に分割される。アプリケーション層は、一連のアプリケーションパッケージを含んでもよい。
図3に示されるように、アプリケーションパッケージは、カメラ、写真、カレンダー、電話、地図、ナビゲーション、WLAN、ブルートゥース(登録商標)、音楽、ビデオ、およびSMSメッセージなどのアプリケーションを含み得る。
アプリケーションフレームワーク層は、アプリケーションプログラミングインターフェース(application programming interface、API)およびアプリケーション層のアプリケーション用のプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの事前定義された関数を含む。
図3に示されるように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、通知マネージャなどを含み得る。
ウィンドウマネージャは、ウィンドウアプリケーションを管理するように構成されている。ウィンドウマネージャは、表示画面のサイズを取得し、ステータスバーがあるかどうかを決定し、画面をロックし、画面をキャプチャするなどのことができる。
コンテンツプロバイダは、データを保存および取得するように構成されているため、データがアプリケーションによってアクセスされ得る。データは、ビデオ、画像、音声、発信および受信された通話、閲覧履歴およびブックマーク、名簿などを含み得る。
ビューシステムは、テキスト表示用の制御または画像表示用の制御などの視覚的制御を含む。ビューシステムは、アプリケーションを構築するように構成され得る。表示インターフェースは、1つ以上のビューを含み得る。例えば、SMSメッセージ通知アイコンを含む表示インターフェースは、テキスト表示用のビューおよび画像表示用のビューを含み得る。
電話マネージャは、例えば、通話ステータス(応答または拒否を含む)を管理するために、電子デバイス100の通信機能を提供するように構成される。
リソースマネージャは、ローカライズされた文字列、アイコン、画像、レイアウトファイル、ビデオ、ファイルなど、アプリケーションに様々なリソースを提供する。
通知マネージャを使用すると、アプリケーションでステータスバーに通知情報を表示することが可能である。通知情報は、通知タイプを示すために使用されるメッセージであり得、ユーザと対話することなく、短期間とどまった後に自動的に消えることがある。例えば、通知マネージャは、ダウンロードの完了、メッセージプロンプトなどを通知するように構成されている。通知マネージャは、グラフまたはスクロールバーテキストの形式でシステムの上部ステータスバーに表示される通知、例えば、バックグラウンドで実行されているアプリケーションの通知であり得、またはダイアログウィンドウの形式の画面上に表示される通知であり得る。例えば、テキスト情報がステータスバーに表示されたり、プロンプトトーンが鳴ったり、電子デバイスが振動したり、またはインジケータライトが点滅したりする。
Android Runtimeは、カーネルライブラリと仮想マシンを含む。Android runtimeは、Androidシステムのスケジューリングと管理を担当する。
カーネルライブラリには2つの部分がある、すなわち、1つの部分はJava言語がスケジュールする必要のあるパフォーマンス関数であり、もう1つの部分はAndroidのカーネルライブラリである。
アプリケーション層とアプリケーションフレームワーク層は仮想マシン上で実行される。仮想マシンは、アプリケーション層とアプリケーションフレームワーク層のJavaファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティと例外管理、ガベージコレクションなどの機能を実行するように構成されている。
システムライブラリは、サーフェスマネージャ(surface manager)、メディアライブラリ(Media libraries)、3次元グラフィックス処理ライブラリ(例えば、OpenGL ES)、および2Dグラフィックスエンジン(例えば、SGL)などの複数の汎用モジュールを含み得る。
サーフェスマネージャは、表示サブシステムを管理するように構成され、複数のアプリケーションの2D層と3D層を収束する。
メディアライブラリは、複数の一般的なオーディオおよびビデオフォーマット、静止画像ファイルなどの再生および記録をサポートする。メディアライブラリは、複数のオーディオおよびビデオ符号化フォーマット、例えば、MPEG 4、H.264、MP3、AAC、AMR、JPG、およびPNGをサポートすることができる。
3次元グラフィックス処理ライブラリは、3次元グラフィックス描画、画像レンダリング、合成、層処理などを実施するように構成されている。
2Dグラフィックエンジンは、2D描画用の描画エンジンである。
カーネル層は、ハードウェアとソフトウェアの間の層である。カーネル層は、少なくとも表示ドライブ、カメラレンズドライブ、オーディオドライブ、およびセンサドライブを含む。
本出願のこの実施形態では、図3を参照して、システムライブラリは、画像処理ライブラリをさらに含み得る。カメラアプリケーションが開始された後、カメラアプリケーションは、電子デバイスによってキャプチャされた画像を取得することができる。各ボディが配置される領域を取得した後、画像処理ライブラリは、1つ以上の特定のボディが配置される領域のピクセルのピクセル値を保持し、1つ以上の特定のボディが配置される領域以外の領域のピクセルのピクセル値をグレースケール値に変換して、特定のボディが配置される領域全体の色を保持することができる。
理解を容易にするために、本出願の以下の実施形態では、本出願の実施形態における写真撮影シナリオで画像を表示するための方法が、一例として図2および図3に示される構造を伴う携帯電話を使用することにより、添付の図面を参照して具体的に説明される。
図4Aおよび図4Bの(a)は、携帯電話のグラフィカルユーザインターフェース(graphical user interface、GUI)を示し、GUIは、携帯電話のデスクトップ401である。ユーザがデスクトップ401上のカメラアプリケーション(application、APP)のアイコン402をタップする操作を検出すると、携帯電話はカメラアプリケーションを起動し、図4図4Aおよび図4Bの(b)に示される別のGUIを表示することができる。GUIは、キャプチャ画面403と呼ばれ得る。キャプチャ画面403は、ビューファインダーフレーム404を含み得る。プレビュー状態では、ビューファインダーフレーム404は、リアルタイムでプレビュー画像を表示することができる。写真撮影モードとビデオ記録モード(すなわち、ビデオ撮影モード)では、ビューファインダーフレーム404は異なるサイズを有し得ることが理解され得る。例えば、図4Aおよび図4Bの(b)に示されるビューファインダーフレームは、写真撮影モードのビューファインダーフレームであり得る。ビデオ記録モードでは、ビューファインダーフレーム404はタッチ画面全体であり得る。
例えば、FIG 4図4Aおよび図4Bの(b)を参照すると、携帯電話がカメラを起動した後、ビューファインダーフレーム404は画像1を表示することができ、画像1はカラー画像である。キャプチャ画面は、写真撮影モードを示すために使用される制御405、ビデオ記録モードを示すために使用される制御406、および写真撮影制御407をさらに含み得る。写真撮影モードでは、携帯電話は、ユーザが写真撮影制御407をタップする操作を検出した後、写真撮影動作を実行する。ビデオ記録モードでは、携帯電話は、ユーザが写真撮影制御407をタップする操作を検出した後、ビデオ撮影動作を実行する。
本出願のこの実施形態では、カラー画像部分をスラッシュで塗りつぶすことにより、カラー画像部分がグレースケール画像部分と区別されることに留意されたい。
携帯電話は、色保持モードを示すためにユーザによって実行された操作を検出した後、色保持モードに入る。色保持モードでは、携帯電話は、カメラレンズによってキャプチャされたカラー元の画像に対して色保持処理を実行することができ、その結果、色保持処理後に取得された画像上の領域の一部はカラー画像であり、領域のもう一方の部分はグレースケール画像である。
ユーザは、複数の方法で色保持モードを示すことができる。
一実施形態では、キャプチャ画面は、色保持モードを示すために使用される第1の制御を含む。携帯電話は、ユーザが第1の制御をタップする操作を検出すると、色保持モードに入る。例えば、第1の制御は、図5の(a)に示される制御501、または図5の(b)に示される制御502、または図5の(c)に示される制御503であり得る。
別の実施形態では、図6Aおよび図6Bの(a)を参照すると、キャプチャ画面は、マジックワンド制御601を含む。図6Aおよび図6Bの(b)を参照して、ユーザが制御601をタップしたことを携帯電話が検出した後、携帯電話は機能リスト602を表示する。機能リスト602は、色保持モードを示すために使用される制御603、ポートレートブラーを示すために使用される制御、フィルタを示すために使用される制御などを含む。ユーザが制御603をタップしたことを携帯電話が検出した後、携帯電話は色保持モードに入る。
別の実施形態では、図7Aおよび図7Bの(a)を参照すると、キャプチャ画面は、写真撮影オプション701を含む。図7Aおよび図7Bの(b)を参照して、ユーザが撮影オプション701をタップしたことを携帯電話が検出した後、携帯電話は写真撮影モード画面を表示する。ユーザが写真撮影モード画面上で色保持モードを示すために使用される制御702をタップしたことを携帯電話が検出した後、携帯電話は色保持モードに入る。
別の実施形態では、キャプチャ画面上でユーザの事前設定されたジェスチャを検出した後、携帯電話は色保持モードに入る。例えば、図8A、図8B、および図8Cの(a)を参照すると、ユーザがキャプチャ画面上に丸いトラックを描くジェスチャ操作を検出した後、携帯電話は色保持モードに入る。別の例として、キャプチャ画面上のビューファインダーフレームでユーザのタッチアンドホールド操作を検出した後、携帯電話は色保持モードに入る。別の例として、キャプチャ画面のビューファインダーフレームでプレス動作を検出した後(プレスの強さが事前設定値以上である)、携帯電話は色保持モードに入る。
別の実施形態では、携帯電話がキャプチャ画面を表示した後、図8A、図8B、および図8Cの(b)を参照すると、ユーザが音声方式で色保持モードに入るまたは色保持機能を使用するように指示する操作を検出した場合、携帯電話は色保持モードに入る。
携帯電話が初めて色保持モードに入った後、または携帯電話が色保持モードに入るたびに、携帯電話は、タッチ画面にプロンプト説明を表示するか、または音声方式でプロンプト説明を提供することによって、ユーザにプロンプト説明を提供し、色保持モードの機能と役割をユーザに通知することができる。例えば、携帯電話は、「このモードでは、特定のボディが配置される領域の色を保持し、他の領域をグレースケール画像に変換することができる」ことをユーザに指示するテキスト情報を表示することができる。別の例として、図8A、図8B、および図8Cの(c)を参照すると、携帯電話は、ウィンドウ801を使用して、色保持モードにおいて、ユーザが、特定のボディが配置される領域の色を保持することができ、他の領域がグレースケール画像に変換されることをユーザに指示することができる。携帯電話は、ユーザに色保持効果の概略図802を提供するので、ユーザは色保持処理の機能を理解する。
色保持モードに入った後、携帯電話はユーザに別のプロンプトをさらに提供することができ、その結果、ユーザは、携帯電話が現在色保持モードにあることを知る。加えて、携帯電話は、色保持モードに入った後、現在カメラレンズでキャプチャされている元の画像に対して色保持処理を行い、色保持処理後に取得された画像2をビューファインダーフレームに表示することができる。元の画像はカラー画像である。画像2の領域上の領域の一部はカラー画像であり、領域の他の部分はグレースケール画像である。例えば、元の画像は、図9Aおよび図9Bの(a)に示される画像3であり得る。図9Aおよび図9Bの(a)を図4Aおよび図4Bの(b)と比較することにより、カメラレンズによってキャプチャされた元の画像がリアルタイムで変化し、異なる瞬間にカメラレンズによってキャプチャされた画像3と画像1は異なる場合があり、画像3と画像1上の少女の位置は異なることが知られ得る。
具体的には、携帯電話は、色保持モードに入った後、元の画像上にターゲットオブジェクト1が配置される領域に画像の色を保持し、ターゲットオブジェクト1がグレースケール画像として配置される領域以外の領域を処理して、色保持処理後に取得された画像2を取得することができる。言い換えれば、ターゲットオブジェクト1が画像2上に配置される領域の画像および色は、ターゲットオブジェクト1が元の画像上に配置された領域の画像および色と同じであり、ターゲットオブジェクト1が画像2上に配置される領域以外の領域の画像は、ターゲットオブジェクト1が元の画像上に配置される領域以外の領域の画像上のグレースケール画像である。
オブジェクトは1つ以上のボディタイプである場合もあれば、オブジェクトは1つ以上のボディである場合もある。1つの画像上で、1つのボディタイプは、そのタイプの1つ以上のボディに対応し得る。ターゲットオブジェクト1がボディタイプであるとき、ターゲットオブジェクト1は、ボディタイプのすべてのボディを含み、ボディタイプに対応する領域は、ボディタイプのすべてのボディが画像上に配置される領域である。例えば、1つの画像に人物1および人物2が含まれ、ボディタイプ「人」は人物1および人物2の2つのボディが含まれる場合がある。ターゲットオブジェクト1がボディタイプ「人」である場合、ターゲットオブジェクト1は、人物1および人物2も含み、ターゲットオブジェクト1が配置される領域は、人物1および人物2が配置される領域である。
言い換えれば、画像2上のカラー画像である領域は、ターゲットオブジェクト1に対応する1つ以上のボディが配置されるターゲット領域1であり、画像2上のカラー画像である領域は、ターゲットオブジェクト1に対応する1つ以上のボディの輪郭の領域であるか、または画像2上のカラー画像である領域は、ボディの領域の一部ではなく、ボディが配置される領域全体である。画像2上のグレースケール画像である領域は、ターゲット領域1以外の領域である。言い換えれば、ターゲットオブジェクト1に対応する1つ以上のボディが元の画像上に配置される領域の色は、画像2上に保持され、1つ以上のボディが元の画像上に配置されるすべての領域の色を保持することができる。
具体的には、本出願のこの実施形態では、携帯電話は、色保持モードに入った後、画像セグメンテーションを通して、各ボディが配置される領域または元の画像上の各ボディタイプに対応する領域を取得して、ターゲットオブジェクト1に対応する1つ以上のボディが元の画像上に配置される領域の色を保持し、元の画像上の他の領域をグレースケール画像に変換する。
本出願のこの実施形態で提供される色保持処理解決策では、色保持は、従来技術のような色ではなく、ボディに基づいて実行されることが知られ得る。したがって、ボディが画像上に配置される領域全体の色は保持され得るので、色保持処理後に取得される画像の色はより自然になり、ユーザの視覚効果がより良くなる。
一実施形態では、ターゲットオブジェクト1は、携帯電話によって事前設定されたターゲットオブジェクトであり得る。例えば、ターゲットオブジェクト1は、携帯電話によって事前設定されたボディタイプ「人」である。別の例として、ターゲットオブジェクト1は、携帯電話によって事前設定されたボディタイプ「バルーン」である。この実施形態では、色保持モードに入った後、携帯電話は事前設定されたターゲットオブジェクト1に基づいて画像2を自動的に表示することができる。
例えば、携帯電話が色保持モードに入った後、携帯電話によってキャプチャされた元の画像が図9Aおよび図9Bの(a)に示される画像3である場合、ターゲットオブジェクト1は事前設定されたターゲットオブジェクトであり、事前設定されたターゲットオブジェクトは、ボディタイプ「人」であり、図9Aおよび図9Bの(b)を参照すると、携帯電話は、テキスト情報901を使用することによって、「携帯電話は現在、色保持モードにあり、人の色はデフォルトで保持される」とユーザに指示し、図9Aと図9Bの(b)に示される画像2を表示することができる。画像2では、少女はタイプ「人」に属しているため、少女が配置された領域902(図ではスラッシュで塗りつぶされている)の色が保持され、少女が配置された領域はカラー画像であり、少女が配置された領域以外の領域はグレースケール画像である。
本出願のこの実施形態では、元の画像上の少女の衣服が黄色であり、ヘアアクセサリーがピンクである場合、図9Aおよび図9Bの(b)に示される画像2において、少女はまだ黄色で、ヘアアクセサリーはまだピンクであることに留意されたい。言い換えれば、携帯電話は、少女が配置された領域全体の色を完全に保持することできる。従来技術では、ユーザが色、すなわち黄色を保持するように指示した場合、色保持処理が行われた後、少女の衣服の色は保持され得るが、少女のヘアアクセサリーの色、すなわちピンクは保持されない。言い換えれば、少女の服の一部だけが黄色の画像であり、少女の他の部分はグレースケールの画像である。
別の例として、図9Aおよび図9Bの(c)を参照すると、ターゲットオブジェクト1は、事前設定されたターゲットオブジェクトであり、事前設定されたターゲットオブジェクトは、ボディタイプ「バルーン」である。携帯電話は、キャプチャ画面上に識別子903を表示して携帯電話が現在色保持モードにあることを示し、携帯電話は、テキスト情報904を使用することによって、「バルーンの色はデフォルトで保持される」とユーザに指示し、画像2を表示することができる。画像2の2つのバルーンの領域(図ではスラッシュで塗りつぶされている)はカラー画像であり、他の領域はグレースケール画像である。
別の例として、図9Aおよび図9Bの(d)を参照すると、ターゲットオブジェクト1は、事前設定されたターゲットオブジェクトであり、事前設定されたターゲットオブジェクトは、ボディタイプ「人」である。携帯電話は、キャプチャ画面上に識別子905を表示して携帯電話が現在色保持モードにあることを示し、携帯電話は、テキスト情報906を使用することによって、「人の色はデフォルトで保持される」とユーザに指示し、画像2を表示することができる。画像2の少女の領域(図ではスラッシュで塗りつぶされている)はカラー画像であり、他の領域はグレースケール画像である。
別の実施形態では、ターゲットオブジェクト1は、カメラレンズによってキャプチャされた元の画像上のボディ、ボディの位置、ボディのサイズなどに基づいて携帯電話によって自動的に決定されるターゲットオブジェクトであり得る。この実施形態では、色保持モードに入った後、携帯電話は、自動的に決定されたターゲットオブジェクト1に基づいて画像2を表示することができる。
例えば、複数のボディタイプの優先順位シーケンスが携帯電話に設定されている場合、すなわち、人の優先順位が動物の優先順位よりも高く、動物の優先順位が建物の優先順位よりも高い。例えば、元の画像に人、動物、建物が含まれる場合、最も高い優先順位を有するボディタイプ「人」がターゲットオブジェクト1であるか、または最も高い優先順位を有する2つのボディタイプ「人」および「動物」がターゲットオブジェクト1である。別の例として、元の画像が人を含んでいないが、動物やその他のボディを含んでいる場合、元の画像で最も高い優先順位を有する「動物」がターゲットオブジェクト1になる。
別の例として、携帯電話は、元の画像上で撮影される対象を自動的に決定することができ、撮影される対象がターゲットオブジェクト1であるか、または撮影される対象のボディタイプがターゲットオブジェクト1である。例えば、携帯電話は、元の画像の中間位置にあるボディが、撮影される対象およびターゲットオブジェクト1であると決定する。別の例として、携帯電話は、元の画像上で最大のサイズを有するボディが、撮影される対象およびターゲットオブジェクト1であると決定する。別の例として、携帯電話は、中間位置に近く、最大のサイズを有するボディが撮影される対象であり、中間位置に近く、最大のサイズを有するボディのボディタイプがターゲットオブジェクト1であると決定する。
例えば、携帯電話が色保持モードに入った後、携帯電話によってキャプチャされた元の画像が図9Aおよび図9Bの(a)に示される画像3である場合、図10を参照すると、携帯電話は、テキスト情報1001を使用することによって、携帯電話が「撮影対象は人とバルーンであり、人とバルーンの色は保持され得る」と決定したことをユーザに指示し、画像2を表示することができる。画像2では、少女が配置される領域1002ならびに2つのバルーンが配置される領域1003および領域1004(図ではスラッシュで塗りつぶされている)の色がすべて保持され、他の領域はグレースケール画像である。
別の実施形態では、ターゲットオブジェクト1は、ユーザによって指定されたターゲットオブジェクトであり得る。この実施形態では、色保持モードに入った後、携帯電話は、音声方式で、またはタッチ画面ディスプレイを通して、ユーザにターゲットオブジェクト1を指定するように指示することができる。例えば、図11Aおよび図11Bの(a)を参照すると、色保持モードに入った後、携帯電話は、テキスト情報1101を使用することによって、ユーザにターゲットオブジェクト1を指定するように指示することができる。ユーザは、音声方式またはジェスチャ操作を使用することによって、ターゲットオブジェクト1を指定することができる。携帯電話は、ユーザがターゲットオブジェクト1を指定したと決定した後、画像2を表示し、携帯電話は、ユーザがターゲットオブジェクト1を指定したことを携帯電話が検出しないとき、純粋なカラー画像または純粋なグレースケール画像を表示する。
携帯電話がユーザにターゲットオブジェクト1を指定するように指示した後、ユーザは、複数の方法でターゲットオブジェクト1を指定することができる。
例えば、図11Aおよび図11Bの(b)を参照すると、携帯電話は、ユーザがビューファインダーフレームのボディ(例えば、バルーン)をタップする操作を検出した後、そのボディは、ユーザによって指定されたターゲットオブジェクト1である。
別の例として、携帯電話は、ユーザがビューファインダーフレームに表示された画像上でボディ(例えば、バルーン)をタップする操作を検出した後、ボディのボディタイプは、ユーザによって指定されたターゲットオブジェクト1である。
別の例として、図11Aおよび図11Bの(c)を参照すると、ユーザがビューファインダーフレームに表示される画像上の複数のボディ(例えば、上部の少女およびバルーン)をタップして、決定制御1102をタップする操作を携帯電話が検出した後、複数のボディ(上部の少女およびバルーン)は、ユーザによって指定されたターゲットオブジェクト1である。複数のボディは、同じボディタイプに属していてもよく、異なるボディタイプに属していてもよい。ユーザがキャンセル制御1103をタップした後、ユーザは、ターゲットオブジェクト1を再指定することができる。
別の例として、図11Aおよび図11Bの(d)を参照すると、携帯電話は、ユーザがトラックを描くことによって、ビューファインダーフレームに表示された画像上の領域を選択する操作を検出した後、領域の主なボディ(例えば、2つのバルーン)は、ユーザによって指定されたターゲットオブジェクト1である。
別の例として、図12A、図12B、および図12Cの(a)を参照すると、携帯電話は、キャプチャ画面上にボディタイプリストを表示する。ボディタイプリストは、複数のボディタイプ(例えば、ビューファインダーフレームに現在表示されている画像に含まれるボディタイプ)を含み得る。ユーザがボディタイプ(例えば、人)をタップする操作を携帯電話が検出すると、そのボディタイプがターゲットオブジェクト1である。
別の例として、図12A、図12B、および図12Cの(b)を参照すると、携帯電話は、キャプチャ画面上にボディリストを表示する。ユーザがボディ(または複数のボディ)を選択する操作を携帯電話が検出すると、ユーザによって選択されたボディがターゲットオブジェクト1である。
別の例として、携帯電話はキャプチャ画面上にボディタイプリストおよびボディリストを表示する。ユーザがボディタイプまたはボディを選択する操作を携帯電話が検出すると、ユーザによって選択されたボディタイプまたはボディがターゲットオブジェクト1である。
別の例として、携帯電話のビューファインダーフレームに表示される画像のボディはすべて番号を有している。ユーザがボディの番号をタップする操作を携帯電話が検出すると、そのボディがターゲットオブジェクト1である。
別の例として、携帯電話は、キャプチャ画面上に選択制御1201を表示する。ユーザが選択制御1201をボディの位置にドラッグし、次に選択制御1201を解放すると、ボディがマークされる(例えば、チェックされる)。このようにして、ユーザは、複数のボディ(同じボディタイプに属していてもよいし、異なるボディタイプに属していてもよい)を選択することができる。ユーザが決定制御1202をタップすると、携帯電話は、マークされたすべてのボディがターゲットオブジェクト1であると決定する。
カメラレンズは、写真撮影シナリオで常にリアルタイムで画像をキャプチャする。したがって、携帯電話は、ターゲットオブジェクト1を決定した後、ターゲットオブジェクト1に基づいてリアルタイムで、カメラレンズによってキャプチャされた元の画像に対して色保持処理を実行して、ターゲットオブジェクト1が配置された領域の色を保持することができる。例えば、ターゲットオブジェクト1は人であり、写真撮影されるオブジェクトが図9Aおよび図9Bの(b)に示される少女およびバルーンから、近くのバスケットボールコートでバスケットボールのトレーニングを行っているチームに変化した後、ターゲットオブジェクト1に対応するボディは、複数のバスケットボール選手である。図13を参照すると、携帯電話がターゲットオブジェクト1に基づいて色保持処理を行った後に取得された画像について、バスケットボール選手が配置される領域(「1」でマークされた領域)はカラー画像であり、他の領域(例えば、バスケットボールが配置される領域、つまり「2」でマークされた領域)は、グレースケール画像である。
携帯電話がターゲットオブジェクト1を決定した後、カメラレンズによってキャプチャされた元の画像がターゲットオブジェクト1に対応するボディを含まない場合、携帯電話は元の画像の領域全体をグレースケール画像として処理することに留意されたい。例えば、ターゲットオブジェクト1が人で、携帯電話が動いたり、少女の位置が変わったりした場合、カメラレンズによってキャプチャされた元の画像は、風景のみを含むが、人を含まず、ビューファインダーフレームで表示され、色保持処理後に取得される画像全体はグレースケール画像である。
携帯電話がターゲットオブジェクト1に基づいて画像2を表示した後、ユーザがターゲットオブジェクトを変更する必要がある場合、ユーザは、音声方式またはジェスチャ操作を使用することによって、新しいターゲットオブジェクト2をさらに指定することができ、その結果、携帯電話は、色保持処理をその後行うとき、ターゲットオブジェクト2が配置される領域の色を保持し、ターゲットオブジェクト2が配置される領域以外の領域に対してグレースケール処理を行うことができる。
例えば、キャプチャ画面は、ターゲットオブジェクトを指定するために使用される第2の制御を表示する。携帯電話は、ユーザが第2の制御をタップする操作を検出した後、図11Aおよび図11Bの(b)から(d)ならびに図12A、図12B、および図12Cの(a)から(d)のターゲットオブジェクト1を指定する方法と同じ方法でターゲットオブジェクト2を指定することができる。ここでは詳細は繰り返し説明されない。例えば、第2の制御は、図12A、図12B、および図12Cの(d)に示される制御1201であり得る。別の例として、第2の制御は、図14に示される制御1401であり得る。
例えば、写真撮影されるオブジェクトは、図9Aおよび図9Bの(a)に示される少女およびバルーンであり、ターゲットオブジェクト1は人である。携帯電話がターゲットオブジェクト1に基づいて色保持処理を行った後に取得される画像については、図9Aおよび図9Bの(b)を参照されたい。ユーザがターゲットオブジェクト2を指定し、ターゲットオブジェクト2がバルーンであると、ターゲットオブジェクト1がターゲットオブジェクト2に変わる。携帯電話がターゲットオブジェクト2に基づいて色保持処理を行った後に取得される画像については、図9Aおよび図9Bの(c)を参照されたい。
一実施形態では、携帯電話は、色保持モードに入った後、デフォルトで、事前設定されたターゲットオブジェクト1(例えば、人)を使用することによって色保持処理を実行し、色保持処理後に取得された画像を表示することができる。ビューファインダーフレームに表示された画像上でユーザがボディ(例えば、バルーン)をタップすると、ボディのボディタイプがターゲットオブジェクト2である。
携帯電話は、写真を撮るために、ユーザによって実行された操作(例えば、ユーザがキャプチャ画面上で写真撮影制御をタップする操作)を検出した後、色保持処理がカメラレンズによって現在キャプチャされた元の画像に対して実行された後に取得された画像を格納することができ、つまり、写真撮影された画像は、色保持処理後に取得された画像である。具体的には、携帯電話は、現在のターゲットオブジェクト(例えば、変更前のターゲットオブジェクト1または変更後のターゲットオブジェクト2)に基づいて色保持処理を実行することができる。
例えば、単一の写真撮影モードでは、写真を撮るために、ユーザによって実行された操作を検出した後、携帯電話は、色保持処理後に取得された画像を格納することができる。
別の例として、連続キャプチャモードでは、写真を撮るためにユーザによって実行された操作を検出した後、携帯電話は、カメラレンズによってキャプチャされた元の画像に対してリアルタイムで色保持処理を実行し、色保持処理後に取得されたn枚の画像を格納することができ、nは、連続キャプチャモードで連続的に写真撮影され得る画像の事前設定量である。
別の例として、携帯電話がカメラアプリケーションを開いた後、携帯電話が、ビデオ記録モードを示すために使用され、図4Aおよび図4Bの(b)に示される制御406をユーザがタップする操作を検出した場合、携帯電話は、図15Aの(a)に示されるビデオ撮影画面を表示することができる。色保持モードに入った後に、写真を撮るためにユーザによって実行された操作(例えば、ユーザがビデオ撮影画面上の写真撮影制御をタップする操作)を検出した後、携帯電話はリアルタイムでカメラレンズによってキャプチャされた元の画像に対して色保持処理を実行して、色保持処理後に取得された画像をビデオ記録プロセスが終了するまで格納することができる。例えば、このプロセスにおいて、ビューファインダーフレームに携帯電話によって表示される複数の画像については、図15A-1および図A-2の(a)から(d)を参照されたい。スラッシュで塗りつぶされた部分はカラー画像である。ビデオ撮影プロセスにおいて、元の画像が現在のターゲットオブジェクトに対応するボディを含まない場合、色保持処理後に取得される画像全体はグレースケール画像となることに留意されたい。
別の実施形態では、携帯電話は、写真を撮るためにユーザによって実行された操作を検出した後、カメラレンズによって現在キャプチャされている元の画像に対して色保持処理が行われた後に取得された画像と元の画像の両方を格納する。
別の実施形態では、携帯電話は、ビデオ記録プロセスにおいて、通常モードから色保持モードにさらに切り替えることができる。例えば、ユーザが図4Aおよび図4Bの(a)に示されるアイコン402をタップしたことを検出した後、携帯電話はビデオ撮影画面を表示することができる。携帯電話は、ユーザが写真撮影制御をタップしたことを検出すると、ビデオの記録を開始し、カメラレンズによってキャプチャされたカラーの元の画像をリアルタイムで表示および格納することができる。携帯電話は、色保持モードを示すためにユーザによって実行された操作を検出した後、色保持モードに入る。色保持モードでは、携帯電話はビデオの記録を継続し、カメラレンズによってキャプチャされた元の画像に対して色保持処理が行われた後に取得された画像をリアルタイムで表示および格納する。言い換えれば、携帯電話によって記録されたビデオは、通常のビデオ記録モードで記録されたビデオセグメントおよび色保持モードで記録されたビデオセグメントを含み、通常のビデオ記録モードで記録されたビデオセグメントの画像はカラー画像であり、色保持モードで記録されたビデオセグメントの画像はグレースケール画像である。例えば、このプロセスにおいて、ビューファインダーフレームに携帯電話によって表示される複数の画像については、図15B-1および図15B-2の(a)から(d)を参照されたい。スラッシュで塗りつぶされた部分はカラー画像である。
一実施形態では、携帯電話は、色保持モードで取得された写真およびビデオをさらにマークすることができる。例えば、図16を参照すると、携帯電話は、写真およびビデオにタグを付けて、写真およびビデオが色保持処理後に取得されたことを示すことができる。別の例として、携帯電話は、色保持モードで写真撮影された写真を1つのファイルに分類し、色保持モードで撮影されたビデオを1つのファイルに分類することができる。
別の実施形態では、ロック画面状態またはデスクトップ上で、ユーザの別の事前設定されたジェスチャを検出した後(例えば、ユーザが指を使用することによってトラック「R」を描く)、携帯電話はカメラアプリケーションを直接開き、色保持モードに入り得る。
一実施形態では、色保持モードにおいて、現在の写真撮影操作(例えば、写真の写真撮影またはビデオの撮影)を完了した後、携帯電話は自動的に色写真撮影モードを終了することができる。
別の実施形態では、色保持モードにおいて、携帯電話は、現在の写真撮影操作を完了した後も依然として色保持モードにある。カメラアプリケーションを終了した後、携帯電話は自動的に色保持モードを終了することができる。
別の実施形態では、色保持モードにおいて、ユーザが色保持モードを終了するために音声方式またはジェスチャ操作を使用して指示したことを検出した後、携帯電話は色保持モードを終了することができる。例えば、色保持モードでは、ユーザがバック(back)制御をタップする操作を検出する場合、携帯電話は色保持モードを終了する。
別の例として、色保持モードで、キャプチャ画面が色保持モードを識別するために使用される制御を表示するとき、ユーザが携帯電話のタッチ画面の外に制御をドラッグしようとする操作を携帯電話が検出した場合、携帯電話は色保持モードを終了する。以前にカメラを終了したときに携帯電話が色保持モードを終了しない場合、携帯電話がカメラアプリケーションを現在開いた後、携帯電話は直接色保持モードに入る場合がある。
別の例として、色保持モードでは、キャプチャ画面は色保持モードを識別するために使用される制御を表示する。制御は、図9Aおよび図9Bの(d)に示される識別子905であり得、識別子905は、マーク「×」が付けられている。携帯電話は、ユーザが「×」のマークをタップする操作を検出すると、色保持モードを終了する。
本出願のこの実施形態の画像を表示するための方法は、一例として(写真またはビデオ)撮影シナリオを使用することによって上述されている。本出願のこの実施形態の画像を表示するための方法は、別のシナリオにさらに適用され得る。
例えば、本出願のこの実施形態での画像を表示するための方法は、先に写真撮影した画像または別のデバイスから取得された画像に対して色保持処理が行われる事例にさらに適用され得る。
例えば、図17A、図17B、および図17Cの(a)を参照すると、携帯電話が、ユーザが写真の写真撮影された画像1のサムネイル1701に触れて保持する操作を検出したとき(スラッシュで塗りつぶすことは、画像1がカラー画像であることを示すために使用されている)、図17A、図17B、および図17Cの(b)を参照すると、携帯電話はメニューリスト1702を表示することができる。メニューリスト1702は、色保持オプション1703、ポートレートブラーオプション、削除オプションなどを含む。ユーザが色保持オプションをタップする操作を検出した後、携帯電話は画像1を開き(言い換えれば、表示のために画像1を拡大し、スラッシュで塗りつぶすことは画像1がカラー画像であることを示すために使用される)、色保持モードに入ることができる。図17A、図17B、および図17Cの(c)に示されるように、携帯電話は、携帯電話が色保持モードに入ったことをユーザに指示し、色保持モードの識別子1704を表示することができる。
別の例として、ユーザが写真の写真撮影された画像1のサムネイル1701をタップする操作を検出した後、携帯電話は画像1を開く。携帯電話は、音声方式またはジェスチャ操作を使用して色保持モードを示すためにユーザによって実行された操作を検出した後、色保持モードに入る。
別の例として、画像1が開かれた後、画像1の表示インターフェースは、色保持モードを示すために使用される第3の制御を含む。ユーザが第3の制御をタップすると、携帯電話は色保持モードに入る。
別の例として、図18A、図18B、および図18Cの(a)を参照すると、画像1が開かれた後、画像1の表示インターフェース(スラッシュで塗りつぶされることは画像1がカラー画像であることを示すために使用される)は、マジックワンド制御1801を含む。携帯電話は、ユーザが制御1801をタップしたことを検出した後、携帯電話は機能リスト1802を表示する。機能リスト1802は、色保持モードを示すために使用される制御1803を含む。ユーザが制御1803をタップしたことを携帯電話が検出した後、携帯電話は色保持モードに入る。
別の例として、図18A、図18B、および図18Cの(b)を参照すると、画像1が開かれた後、画像1の表示インターフェース(スラッシュで塗りつぶされることは画像1がカラー画像であることを示すために使用される)は設定オプション1804を含む。図18A、図18B、および図18Cの(b)を参照すると、ユーザが設定オプション1804をタップする操作を携帯電話が検出した後、携帯電話は設定オプションインターフェースを表示する。ユーザが設定オプションインターフェース上で色保持モードを示すために使用される制御1805をタップしたことを携帯電話が検出した後、携帯電話は色保持モードに入る。
写真撮影シナリオと同様に、携帯電話は、色保持モードに入った後、ターゲットオブジェクトをさらに決定することができる(ターゲットオブジェクトは、事前設定され得るか、携帯電話によって自動的に決定され得るか、またはユーザによって指定され得る)。ユーザはターゲットオブジェクトをさらに変更することができ、携帯電話は現在のターゲットオブジェクトに基づいて画像1に対して色保持処理を行うことができる。
例えば、ターゲットオブジェクトが花である場合、画像1に対して色保持処理が行われた後に取得される画像については、図17A、図17B、および図17Cの(c)、または図18A、図18B、および図18Cの(c)を参照されたい。花が配置される領域(図ではスラッシュで塗りつぶされた領域)はカラー画像であり、他の領域はグレースケール画像である。
加えて、携帯電話が色保持モードに入った後、画像1の表示インターフェースは、色保持処理を決定するように指示するために使用される制御または画像を保存するように指示するために使用される制御をさらに表示することができる。一実施形態では、ユーザが制御をタップしたことを検出した後、携帯電話は、画像1に対して色処理が実行された後に取得された画像および画像1を格納することができる。別の実施形態では、ユーザが制御をタップしたことを検出した後、携帯電話は、画像1に対して色処理が実行された後に取得された画像を格納して、画像1を削除することができる。例えば、画像を格納するように指示するために使用される制御は、図18A、図18B、および図18Cの(c)に示される制御1805であり得る。
携帯電話が以前に写真撮影された画像または別のデバイスから取得された画像に対して色保持処理を実行するプロセスと同様に、本出願のこの実施形態の画像を表示するための方法は、色保持処理が以前に撮影されたビデオまたは別のデバイスから取得されたビデオに対して実行される事例にさらに適用され得る。ここでは詳細は繰り返し説明されない。簡単な一例では、ビデオ1を開くためにユーザによって実行された操作を検出した後、携帯電話は、ビデオ1に対応するインターフェースを表示することができる(ビデオ1は再生されない)。携帯電話は、色保持モードを示すためにユーザによって実行された操作を検出した後、色保持モードに入る。ビデオ1の再生を指示するためにユーザによって実行された操作を検知した後、携帯電話はビデオ1を再生し、携帯電話によって表示されたビデオ1の画像は、ビデオ1のカラーの元の画像に対して色保持処理が行われた後に取得された画像である。別の簡単な例では、ビデオ1を開くためにユーザによって実行された操作を携帯電話が検出した後、携帯電話は、ビデオ1に対応するインターフェースを表示することができる。ビデオ1の再生を指示するためにユーザによって実行された操作を検知した後、携帯電話はビデオ1を再生し、携帯電話によって表示されたビデオ1の画像はカラー画像である。色保持モードを示すためにユーザによって実行された操作を検出した後、携帯電話は色保持モードに入り、携帯電話によってその後に表示されるビデオ1の画像は、ビデオ1のカラーの元の画像に対して色保持処理が行われた後に取得された画像である。
前述の実施形態では、携帯電話は、色保持モードに入った後、カメラレンズによってキャプチャされた元の画像に対して画像セグメンテーションを実行して、各ボディが配置される領域または元の画像上の各ボディタイプに対応する領域を取得することができる。携帯電話がターゲットオブジェクトを決定した後、携帯電話は、ターゲットオブジェクトが配置される領域のピクセルのピクセル値を変更せずに保持し、言い換えれば、ターゲットオブジェクトに対応するターゲット領域はカラー画像であり、ターゲットオブジェクトが配置される領域以外の領域のピクセルのピクセル値をグレースケール値に変換する、言い換えれば、ターゲットオブジェクトに対応するターゲット領域以外の領域はグレースケール画像である。このように、色保持処理後に取得された画像上にターゲットオブジェクトが配置される領域の画像色は、元の画像上にターゲットオブジェクトが配置される領域の画像色と同じである。
上述のように、携帯電話は、複数のアルゴリズムを使用することによって画像セグメンテーションを行うことができ、本明細書では、CNNベースの深層学習アルゴリズムを使用することによって画像セグメンテーションが行われる一例が説明のために使用されている。
このアルゴリズムに基づいて、携帯電話は、カメラレンズによってキャプチャされた元の画像を取得した後、元の画像に対してダウンサンプリングを実行し、元の画像を複雑なCNNベースの計算のために比較的低解像度の画像に変換することができ、その結果、計算量を削減する。例えば、図19を参照すると、元の画像は画像1901であり、画像セグメンテーションの単位はボディタイプであり、ボディタイプは空、人、緑の植物、および背景を含む。携帯電話は、元の画像のM×Nのサイズ(つまり、M×Nの解像度)をm×nのサイズとして処理し、mはM未満で、nはN未満である。携帯電話は畳み込みおよびダウンサンプリング操作(stride畳み込み、poolingなどを含むがこれらに限定されない)を通して層ごとに画像層のセマンティック特徴を抽出して、サイズがそれぞれm1×n1、m2×n2、およびm3×n3であるマルチスケール特徴画像1902を取得し、m1、m2、およびm3の間に複数の関係が存在する場合、m1、m2、およびm3はm未満であり、n1、n2、およびn3の間に複数の関係が存在し、n1、n2、およびn3はn未満である。次に、携帯電話は、取得されたマルチスケール特徴画像1902を畳み込みおよびアップサンプリング操作によって収束し、m1×n1のサイズを伴う収束した特徴画像1903を取得する。次に、携帯電話は、収束した特徴画像1903に対して畳み込み計算を実行し、各ピクセル上の各オブジェクトのセグメンテーション値を計算して、空、人、緑の植物、および背景にそれぞれ対応する4つのフラクション画像1904を取得する。フラクション画像のサイズはm1×n1である。取得された4つのフラクション画像のそれぞれに対してアップサンプリング操作が実行され、m×nのサイズを伴う4つのフラクション画像1905を取得する。4つのフラクション画像上の対応するピクセルのセグメンテーション値はピクセルごとに互いに比較され、最大のセグメンテーション値のフラクション画像に対応するボディタイプは、現在のピクセルに対応するボディタイプであり、各ピクセルに対応するボディタイプを取得する、言い換えると、mask画像1906(m×nのサイズを伴う)を取得する。mask画像1906上で、異なるボディタイプに対応する領域は、異なるマークを有する。例えば、異なるボデ
ィタイプに対応する領域の色は異なる。
mask画像が取得された後、mask画像に対してアップサンプリングが行われ、元の画像と同じサイズのM×Nを取得する。このように、mask画像と比較を行うことによって、元の画像上の異なるボディタイプに対応するピクセル領域が取得され得る。携帯電話は、元の画像上のピクセルが、ターゲットオブジェクトが配置された領域にあるかどうかを1つずつ決定する。ターゲットオブジェクトが配置された領域にピクセルがある場合、携帯電話はピクセルのピクセル値を保持する。ターゲットオブジェクトが配置された領域にピクセルがない場合、携帯電話はピクセルのピクセル値をグレースケール値に変換する。このように、ターゲットオブジェクトが配置された領域はカラー画像であり、ターゲットオブジェクトが配置された領域以外の領域はグレースケール画像である。続いて、携帯電話は、色保持処理後に取得された画像を符号化するなどの処理を行い、その画像をキャプチャ画面に表示することができる。
前述の例は、画像セグメンテーションの単位がボディタイプであり、画像セグメンテーションの単位が代替としてボディであってもよい一例を使用することによって説明されていることに留意されたい。このように、元の画像上に各ボディが配置される領域は、画像セグメンテーションを通して取得され得、その結果、ターゲットオブジェクトが配置される領域(1つ以上のボディに対応し得る)は、各ボディが配置される領域に基づくカラー画像として保持することができ、ターゲットオブジェクトが配置される領域以外の領域はグレースケール画像に設定される。
例えば、カラーの元の画像の場合、画像セグメンテーションの単位がボディタイプであるとき、mask画像は、図20の(a)に示される画像であり得る。人物1と人物2が配置された領域は両方とも色1であり、人物1と人物2が同じボディタイプに対応していることを示している。馬が配置された領域は色2であり、背景が配置された領域は色3である。画像セグメンテーションの単位がボディであるとき、mask画像は、図20の(b)に示される画像であり得る。人物1が配置される領域は色1であり、人物2が配置される領域は色2であり、人物1と人物2は異なるボディである。馬が配置された領域は色3であり、背景が配置された領域は色4である。
前述の実施形態および関連する添付図面を参照して、本出願の一実施形態は、写真撮影シナリオで画像を表示するための方法を提供する。本方法は、図2および図3のタッチ画面およびカメラレンズを有する電子デバイス(例えば、携帯電話またはタブレットコンピュータ)によって実装され得る。図21に示されているように、方法は以下のステップを含んでよい。
2101.電子デバイスは、カメラを開くためにユーザによって実行された第1の操作を検出する。
例えば、第1の操作は、ユーザが図4Aおよび図4Bの(a)に示されるカメラのアイコン402をタップする操作であり得る。
2102.電子デバイスは、第1の操作に応答してタッチ画面上にキャプチャ画面を表示し、キャプチャ画面は、ビューファインダーフレームを含み、ビューファインダーフレームは、第1の画像を含み、第1の画像は、カラー画像である。
第1の操作に応答して、電子デバイスは写真撮影モードに入り、キャプチャ画面を表示する。キャプチャ画面はビューファインダーフレームを含む。写真撮影モードは、写真撮影モードでも、ビデオ記録モード(すなわち、ビデオ撮影モード)でもよい。例えば、キャプチャ画面は、図4図4Aおよび図4Bの(b)に示されるキャプチャ画面403であり得る。
2103.電子デバイスは、第1の処理モードを示すためにユーザによって実行された第2の操作を検出する。
第1の処理モードは、前述の色保持モードであり得る。例えば、キャプチャ画面は、第1の処理モードを示すために使用される制御を含み得、第2の操作は、ユーザが制御をタップする操作である。例えば、第2の操作は、ユーザが図5の(a)に示される制御501をタップする操作、またはユーザが図5の(b)に示される制御502をタップする操作であり得る。
別の例では、第2の操作は、ユーザが図6Aおよび図6Bの(a)に示される制御601をタップし、図6Aおよび図6Bの(b)に示される制御603をタップする操作であり得る。
2104.電子デバイスは、第2の操作に応答してビューファインダーフレームに第2の画像を表示し、第2の画像は、カメラレンズによってキャプチャされた第1の元の画像に対して第1の処理が実行された後に取得される画像である。
第1の処理は、前述の色保持処理であり得る。第2の画像は、第1の領域および第2の領域を含み、第1の領域は、第1のターゲットオブジェクトが第2の画像上に配置される領域であり、第2の領域は、第2の画像上の第1の領域以外の領域である。第1の領域はカラー画像であり、第2の領域はグレースケール画像である。第1のターゲットオブジェクトは1つ以上のボディタイプであるか、第1のターゲットオブジェクトは1つ以上のボディである。第1のターゲットオブジェクトがボディタイプであるとき、第1のターゲットオブジェクトが配置される領域は、第1のターゲットオブジェクトに属するボディが配置される領域である。
例えば、第1の元の画像は、図9Aおよび図9Bの(a)に示される画像3であり得、第1のターゲットオブジェクトは、人であり得、第2の画像は、図9Aおよび図9Bの(b)に示される画像2であり得、第1の領域は、少女が配置される領域であり得、第2の領域は、少女が配置される領域以外の領域であり得る。
第1の領域の画像は、第1のターゲットオブジェクトが第1の元の画像上に配置される領域の画像と同じであり、第1の領域の画像の色は、第1のターゲットオブジェクトが第1の元の画像上に配置される領域の画像の色と同じである。言い換えれば、第1のターゲットオブジェクトが第1の元の画像上に配置される領域の画像の色は、第2の画像上に保持される。加えて、第2の画像上の第2の領域の画像は、第1のターゲットオブジェクトが第1の元の画像上に配置される領域以外の領域の画像に対してグレースケール処理を行った後に取得される画像である。
ステップ2101からステップ2104で説明される解決策では、写真撮影シナリオにおいて、電子デバイスは、ボディまたはボディタイプに基づく色を保持して、ボディが画像上に配置される領域全体の色を完全に保持することができる。したがって、画像処理効果および画像表示効果を向上させるために、ボディの一部がカラー画像であり、ボディの他の部分がグレースケール画像であるという従来技術の事例は発生しない。
一実装形態では、電子デバイスがステップ2104のビューファインダーフレームに第2の画像を表示することは、電子デバイスによって、カメラレンズによってキャプチャされた第1の元の画像を取得するステップと、電子デバイスによって、第1の元の画像に含まれる複数のオブジェクトがそれぞれ配置される領域を取得するために、第1の元の画像に対して画像セグメンテーションを実行するステップであって、オブジェクトがボディタイプまたはボディである、ステップと、電子デバイスによって、第1のターゲットオブジェクトが第1の元の画像上に配置される第1の領域のピクセルのピクセル値を保持するステップと、第1の元の画像上の第1の領域以外の領域のピクセルのピクセル値をグレースケール値に変換するステップと、電子デバイスによって、第2の画像を生成および表示するステップとを具体的には含み得る。
言い換えれば、電子デバイスは、画像セグメンテーションを実行して、カラーの第1の元の画像に含まれる複数のボディタイプにそれぞれ対応する領域を取得するか、またはカラーの第1の元の画像に含まれる複数の体がそれぞれ配置される領域を取得することができる。次に、電子デバイスは、第1のターゲットオブジェクトが配置される領域の色を保持し、セグメンテーションを通して取得された領域に基づいて他の領域に対してグレースケール処理を実行して、第1のターゲットオブジェクトの各ボディが配置される領域全体の色を保持することができる。
一実施形態では、第1のターゲットオブジェクトは、事前設定されたターゲットオブジェクトである。
別の実装形態では、第1のターゲットオブジェクトは、第1の元の画像上の撮影される対象に基づいて自動的に決定されるターゲットオブジェクトである。
別の実施形態では、第1のターゲットオブジェクトは、ユーザによって指定されたターゲットオブジェクトである。この解決策では、ステップ2104は、具体的には、電子デバイスによって、ユーザに第1のターゲットオブジェクトを指定するように指示することを含み得る。例えば、図11Aおよび図11Bの(a)を参照すると、電子デバイスは、テキスト情報1101を使用することによって、ユーザにターゲットオブジェクトを指定するように指示することができる。
第1のターゲットオブジェクトを指定するためにユーザによって実行された第3の操作が検出される場合、第3の操作に応答して第2の画像がビューファインダーフレームに表示される。
例えば、第3の操作は、ユーザがビューファインダーフレームに表示された画像上で第1のボディをタップする操作であり得る。第1のターゲットオブジェクトは第1のボディであるか、第1のターゲットオブジェクトは第1のボディのボディタイプである。例えば、図11Aおよび図11Bの(b)を参照すると、ユーザがバルーンをタップすると、第1のターゲットオブジェクトはバルーンである。
別の例として、第3の操作は、電子デバイスが、ビューファインダーフレームに表示された画像上にトラック、第5の領域を描くことによって、ユーザが選択する操作を検出することであり得る。第1のターゲットオブジェクトは、第5の領域に含まれるボディであるか、第1のターゲットオブジェクトは、第5の領域に含まれるボディのボディタイプである。例えば、図11Aおよび図11Bの(d)を参照すると、ユーザがトラックを描くことによって選択された領域が2つのバルーンを含むとき、2つのバルーンが第1のターゲットオブジェクトである。
別の実施形態では、図22を参照すると、ステップ2104の後に、本方法は、以下のステップをさらに含み得る、すなわち、
2105.電子デバイスは、カメラレンズが第2の元の画像をキャプチャした後、ビューファインダーフレームに第3の画像を表示し、第3の画像は、第2の元の画像に対して第1の処理が実行された後に取得される画像である。
第3の画像は、第3の領域および第4の領域を含み、第3の領域は、第1のターゲットオブジェクトが第3の画像上に配置される領域であり、第4の領域は、第3の画像上の第3の領域以外の領域である。第3の領域はカラー画像であり、第4の領域はグレースケール画像であり、第3の領域の画像は、第1のターゲットオブジェクトが第2の元の画像上に配置される領域の画像と同じであり、第4の領域の画像は、第2の元の画像上で第1のターゲットオブジェクトが配置される領域以外の領域の画像に対してグレースケール処理が行われた後に取得される画像である。
例えば、第2の画像は、図9Aおよび図9Bの(b)に示される画像であり得、第3の画像は、図13に示される画像であり得る。図13に示される画像では、第3の領域はバスケットボール選手が配置される領域であり、第4の領域はバスケットボール選手が配置される領域以外の領域である。
言い換えれば、電子デバイスは、カメラレンズによってリアルタイムでキャプチャされた元の画像に基づいて色保持処理を実行し、色保持処理後に取得された画像をビューファインダーフレームにリアルタイムで表示することができる。ここでは詳細は繰り返し説明されない。
別の実施形態では、本方法は以下のステップをさらに含み得る。
2106.電子デバイスは、第2のターゲットオブジェクトを指定するためにユーザによって実行された第4の操作を検出し、第2のターゲットオブジェクトは1つ以上のボディタイプであるか、第2のターゲットオブジェクトは1つ以上のボディである。
例えば、第4の動作は、ユーザが図14に示される制御1401をタップする操作、および図12A、図12B、および図12Cにターゲットオブジェクトを指定するためにユーザによって実行された操作であり得る。
2107.電子デバイスは、第4の操作に応答してビューファインダーフレームに第4の画像を表示し、第4の画像は、カメラレンズによってキャプチャされた第3の元の画像に対して第1の処理が実行された後に取得される画像である。
第4の画像は、第5の領域および第6の領域を含み、第5の領域は、第2のターゲットオブジェクトが配置される領域であり、第6の領域は、第5の領域以外の領域である。第5の領域はカラー画像であり、第6の領域はグレースケール画像である。第5の領域の画像は、第2のターゲットオブジェクトが第3の元の画像上に配置される領域の画像と同じであり、第6の領域の画像は、第3の元の画像上で第2のターゲットオブジェクトが配置される領域以外の領域の画像に対してグレースケール処理が行われた後に取得される画像である。
例えば、第1のターゲットオブジェクトは人であり、第2の画像は、図9Aおよび図9Bの(b)に示される画像であり得る。第2のターゲットオブジェクトは人とバルーンであり、第4の画像は図10に示される画像(テキスト情報1001を除く)であり得、第5の領域は少女とバルーンが配置される領域であり、第6の領域は少女とバルーンが配置される領域以外の領域である。
別の実施形態では、本方法は以下のステップをさらに含み得る。
2108.電子デバイスは、写真を撮るように指示するためにユーザによって実行された第5の操作を検出する。
例えば、第5の操作は、ユーザが写真撮影制御407をタップする操作であり得る。
2109.第5の操作に応答して、電子デバイスはビューファインダーフレームに表示される画像を格納する。
ステップ2108は、電子デバイスによって、ビデオ撮影モードまたは連続キャプチャモードで写真を撮るように指示するためにユーザによって実行された第5の操作を検出するステップを含み得る。ステップ2109は、第5の操作に応答して、写真撮影プロセスにおいてビューファインダーフレームに表示された画像の複数のフレームを電子デバイスによって格納するステップを含み得、画像の複数のフレームは、カメラレンズによってキャプチャされた複数の元の画像が処理された後に取得された画像である。
例えば、図15A-1および図A-2を参照すると、ビデオ撮影プロセスにおいて、電子デバイスは、色保持モードに入った後、色保持処理後に取得された画像を格納する。
別の実施形態では、ステップ2103の前に、本方法は、以下のステップをさらに含み得る、すなわち2110。電子デバイスは、ビデオを撮影するように指示するためにユーザによって実行された第6の操作を検出し、第6の操作に応じて、電子デバイスは、ビューファインダーフレームに、ビデオ撮影プロセスのカメラレンズによってキャプチャされたカラー画像を表示し、カラー画像を格納する。ステップ2103は、具体的には、第2の操作に応答して、後続のビデオ撮影プロセスのビューファインダーフレームに、カメラレンズによってキャプチャされた元の画像の各フレームが処理された後に取得された第2の画像を表示するステップを含み得る。続いて、本方法は、電子デバイスによって、ビデオ記録プロセスにおいてビューファインダーフレームに表示された画像の複数のフレームを格納するステップをさらに含み得る。
例えば、図15B-1および図15B-2を参照すると、ビデオの記録を開始するとき、電子デバイスはカラー画像を格納する。色保持モードに入った後、電子デバイスは、色保持処理後に取得された画像を格納する。電子デバイスによって撮影されたビデオは、2のタイプの画像を含む。
本出願の別の実施形態では、ユーザが図4の(a)に示されるアイコン402をタップしたことを携帯電話が検出した後、携帯電話は、図24に示されるキャプチャ画面を表示し、現在指定されている画像の解像度に基づくプレビュー画像を表示することができる。例えば、現在指定されている画像の解像度は4:3または18:9であり得、4:3および18:9はそれぞれ、画像の長さと幅のピクセル比を示す。ユーザがビデオ記録モードを示すために使用される制御2401をタップする操作を携帯電話が検出した後、携帯電話はビデオ記録モードに入る。
ビデオ記録モードでは、ユーザは現在指定されている画像解像度を21:9に切り替えて、21:9の画像解像度でビデオを記録することができる。
例えば、ユーザが図24に示される設定制御2402をタップする操作を携帯電話が検出した後、図25Aおよび図25Bの(a)に示される設定インターフェース2501を表示することができる。ユーザがビデオ解像度を設定するために使用される制御2502をタップすることを携帯電話が検出した後、携帯電話は、図25Aおよび図25Bの(b)に示されるビデオ解像度インターフェースを表示することができる。図26に示されるように、ユーザが解像度21:9を示すために使用される制御(例えば、制御2503または制御2504)をタップすることを携帯電話が検出した後、携帯電話は、プレビュー状態の解像度21:9でプレビュー画像を表示することができる。図24の携帯電話によって表示されるプレビュー画像と比較を行うことによって、図26の携帯電話によって表示されるプレビュー画像の幅が減少し、図26の携帯電話によって表示されるプレビュー画像の長さが増加し、画像の幅に対する長さの比は21:9であることが知られ得る。
ユーザが図26の写真撮影制御2601をタップする操作を携帯電話が検出した後、携帯電話はビデオの記録を開始する。図27を参照すると、ビデオ記録プロセスでは、携帯電話によって記録されたビデオの画像の各フレームの解像度は21:9である。
上記の機能を実施するために、電子デバイスが機能を実行するための対応するハードウェアおよび/またはソフトウェアモジュールを含むと解されると考えることができる。本出願で開示される実施形態を参照して説明される例でのアルゴリズムステップは、本出願のハードウェアまたはハードウェアとコンピュータソフトウェアの組合せによって実装され得る。機能がハードウェアによって実装されるか、コンピュータソフトウェアによってハードウェアを駆動する方法で実装されるかは、特定の用途および技術的解決策の設計制約に依存する。当業者は、様々な方法を使用して、特定の用途ごとに記載された機能を実装することができるが、その実装形態が本出願の範囲を超えると考えられるべきではない。
実施形態では、電子デバイスの機能モジュールは、前述の方法の例に基づいて分割され得る。例えば、それぞれの機能モジュールがそれぞれの機能により分割され得、または2つ以上の機能が1つの処理モジュールに統合され得る。統合モジュールは、ハードウェアの形で実装され得る。実施形態におけるモジュール分割は一例であり、論理的な機能分割にすぎないことに留意されたい。実際の実装態様では、別の分割方法があり得る。
機能モジュールが、対応する機能を使用することによって分割を通して得られるとき、図23は、一実施形態による電子デバイス2300の可能な構成の概略図である。図23に示されるように、電子デバイス2300は、検出ユニット2301、表示ユニット2302、および記憶ユニット2303を含み得る。
検出ユニット2301は、ステップ2101、ステップ2103、ステップ2106、ステップ2108、および/または本明細書に記載の技術に使用される別のプロセスを実行する際に電子デバイス2300をサポートするように構成され得る。
表示ユニット2302は、ステップ2102、ステップ2104、ステップ2105、ステップ2107、および/または本明細書に記載の技術に使用される別のプロセスを実行する際に電子デバイス2300をサポートするように構成され得る。
記憶ユニット2303は、ステップ2109および/または本明細書に記載の技術に使用される別のプロセスを実行する際に電子デバイス2300をサポートするように構成され得る。
本方法の実施形態のステップの関連内容はどれも、参照により、対応する機能モジュールの機能の説明に組み入れ得ることに留意されたい。ここでは詳細は繰り返し説明されない。
この実施形態で提供される電子デバイスは、画像を表示するための方法を実行するように構成される。前述の実装形態の方法と同様の効果が達成され得る。
統合ユニットが使用されるとき、電子デバイスは、処理モジュール、記憶モジュール、および通信モジュールを含み得る。処理モジュールは、電子デバイスの動作を制御および管理するように構成することができ、例えば、検出ユニット2301および表示ユニット2302によって実行されるステップを実行する際に電子デバイスをサポートするように構成され得る。記憶モジュールは、記憶ユニット2303によって実行されるステップを実行する際に電子デバイスをサポートし、プログラムコード、データなどを格納するように構成され得る。通信モジュールは、電子デバイスと別のデバイスとの通信をサポートするように構成され得る。
処理モジュールは、プロセッサまたはコントローラであり得る。処理モジュールは、本出願に開示された内容を参照して説明された様々な例示的な論理ブロック、モジュール、および回路を実装または実行することができる。代替として、プロセッサは、計算機能を実装するプロセッサの組合せ、例えば、1つ以上のマイクロプロセッサの組合せ、またはデジタル信号プロセッサ(DSP)とマイクロプロセッサの組合せであってよい。記憶モジュールはメモリであり得る。通信モジュールは、具体的には、別の電子デバイス、例えば、無線周波数回路、ブルートゥース(登録商標)チップ、またはWi-Fiチップと連携するデバイスであり得る。
一実施形態では、処理モジュールがプロセッサであり、記憶モジュールがメモリであるとき、この実施形態の電子デバイスは、図2に示される構造のデバイスであり得る。
一実施形態は、コンピュータ記憶媒体をさらに提供する。コンピュータ記憶媒体は、コンピュータ命令を格納し、コンピュータ命令が電子デバイス上で実行されると、電子デバイスは、関連する方法ステップを実行して、前述の実施形態の画像を表示するための方法を実装することが可能にされる。
一実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータ上で実行されるとき、コンピュータは、関連するステップを実行して、前述の実施形態で画像を表示するための方法を実装する。
また、本出願の一実施形態は装置をさらに提供する。装置は、具体的には、チップ、コンポーネント、またはモジュールであり得る。装置は、接続されたプロセッサおよびメモリを含み得る。メモリは、コンピュータ実行可能命令を保存するように構成され、装置が動作すると、プロセッサは、メモリに格納されたコンピュータ実行可能命令を実行することができ、その結果チップは、方法実施形態における画像を表示するための方法を実行する。
実施形態で提供される電子デバイス、コンピュータ記憶媒体、コンピュータプログラム製品、またはチップは、上記の対応する方法を実行するように構成され得る。したがって、達成できる有益な効果については、上記の対応する方法の有益な効果を参照されたい。ここでは詳細は繰り返し説明されない。
実装形態の前述の説明により、当業者は、簡便かつ簡潔な説明を目的として、前述の機能モジュールの分割が単に説明のための一例として使用されていることを理解することができる。実際の適用においては、上記各機能を、要件による実装形態のため異なるモジュールに割り振られ得る、すなわち、装置の内部構造が上記の各機能の全部または一部を実装するための異なる機能モジュールに分割される。
本出願で提供されるいくつかの実施形態では、開示されている装置および方法が他の方法で実施され得ることを理解されたい。例えば、説明した装置実施形態は、単なる例示である。例えば、モジュールまたはユニット区分は、単なる論理機能区分であり、実際の実装において、他の区分としてもよい。例えば、複数のユニットまたは構成要素は、組み合わされても別の装置に統合されてもよく、または一部の特徴は、無視されても実行されなくてもよい。さらに、提示されたまたは述べられた相互結合または直接結合または通信接続は、いくつかのインターフェースを使用して実施されてもよい。装置またはユニット間の間接的な結合または通信接続は、電子的、機械的、または他の形態で実施されてもよい。
別々の部分として記載されるユニットは、物理的に分離していてもいなくてもよく、ユニットとして表示される部分は、1つ以上の物理ユニットであってもよく、一箇所に位置されてもよく、または異なる場所に分散させてもよい。実施形態の解決策の目的を達成するため、ユニットの一部または全部が実際の要件に基づいて選ばれてよい。
加えて、本出願の実施形態の機能ユニットは1つの処理ユニットに統合されてよく、あるいはそれぞれのユニットが物理的に単独で存在してもよく、あるいは2つ以上のユニットが1つのユニットに統合される。統合されたユニットは、ハードウェアの形態で実装されてもよく、あるいは、ソフトウェア機能ユニットの形態で実装されてもよい。
統合ユニットが、ソフトウェア機能ユニットの形態で実施され、独立した製品として販売または使用される場合、統合ユニットは、可読記憶媒体に記憶され得る。このような理解に基づき、本出願の実施形態の技術的解決手段は、あるいは先行技術に寄与する部分は、あるいは技術的解決手段の全部または一部は、ソフトウェア製品の形で実装されてよい。ソフトウェア製品は記憶媒体に保管され、本出願の実施形態での方法のステップの全部または一部を遂行することをデバイス(シングルチップマイクロコンピュータ、チップなどであり得る)またはプロセッサ(processor)に命令するいくつかの命令を含んでいる。上記記憶媒体は、例えば、USBフラッシュドライブ、取り外し可能ハードディスク、読み取り専用メモリ(read only Memory、ROM)、ランダムアクセスメモリ(random access memory、RAM)、磁気ディスク、光ディスクといった、プログラムコードを格納することができる任意の媒体を含む。
上記の内容は、本出願の特定の実施態様にすぎず、本出願の保護範囲はそれに限定されない。本出願で開示される技術的範囲内で当業者によって容易く考え出されるバリエーションや代替は、本出願の保護範囲に入るものとする。したがって、本出願の保護範囲は請求項の保護範囲に従うものとする。
01 領域
02 領域
03 領域
100 電子デバイス
110 プロセッサ
120 外部メモリインターフェース
121 内部メモリ
130 USBインターフェース
140 充電管理モジュール
141 電源管理モジュール
142 バッテリー
150 モバイル通信モジュール
160 無線通信モジュール
170 オーディオモジュール
170A ラウドスピーカ
170B 電話受話器
170C マイクロフォン
170D ヘッドセットジャック
180 センサモジュール
180A 圧力センサ
180B ジャイロスコープセンサ
180C 気圧センサ
180D 磁気センサ
180E 加速度センサ
180F 距離センサ
180G 光学式近接センサ
180H 指紋センサ
180J 温度センサ
180K タッチセンサ
180L 周囲光センサ
180M 骨伝導センサ
190 ボタン
191 モータ
192 インジケータ
193 カメラレンズ
194 表示画面
195 SIMカードインターフェース
401 デスクトップ
402 アイコン
403 キャプチャ画面
404 ビューファインダーフレーム
405 写真撮影モードを示すために使用される制御
406 ビデオ記録モードを示すために使用される制御
407 写真撮影制御
501 図5の(a)に示される制御
502 図5の(b)に示される制御
503 図5の(c)に示される制御
601 マジックワンド制御
602 機能リスト
603 色保持モードを示すために使用される制御
701 写真撮影オプション
702 色保持モードを示すために使用される制御
801 ウィンドウ
802 色保持効果の概略図
901 テキスト情報
904 テキスト情報
906 テキスト情報
902 少女が配置された領域
903 識別子
905 識別子
1001 テキスト情報
1002 少女が配置された領域
1003 バルーンが配置される領域
1004 バルーンが配置される領域
1101 テキスト情報
1102 決定制御
1103 キャンセル制御
1201 選択制御
1202 決定制御
1203 キャンセル
1401 図14に示される制御
1701 画像1のサムネイル
1702 メニューリスト
1703 色保持オプション
1704 識別子
1801 マジックワンド制御
1802 機能リスト
1803 色保持モードを示すために使用される制御
1804 設定オプション
1805 色保持モードを示すために使用される制御
1901 元の画像
1902 マルチスケール特徴画像
1903 収束した特徴画像
1904 フラクション画像
1905 フラクション画像
1906 mask画像
2300 電子デバイス
2301 検出ユニット
2302 表示ユニット
2303 記憶ユニット
2401 ビデオ記録モードを示すために使用される制御
2402 設定制御
2501 設定インターフェース
2502 ビデオ解像度を設定するために使用される制御
2503 解像度21:9を示すために使用される制御
2504 解像度21:9を示すために使用される制御
2601 写真撮影制御

Claims (27)

  1. タッチ画面およびカメラレンズを有する電子デバイスに適用される、画像を表示するための方法であって、前記方法が、
    カメラを開くためにユーザによって実行された第1の操作を検出する、ステップと、
    前記第1の操作に応答して前記タッチ画面上にキャプチャ画面を表示するステップであって、前記キャプチャ画面は、ビューファインダーフレームを備え、前記ビューファインダーフレームは第1の画像を備え、前記第1の画像はカラー画像である、ステップと、
    第1の処理モードを示すために前記ユーザによって実行された第2の操作を検出する、ステップと、
    前記第2の操作に応答して前記ビューファインダーフレームに第2の画像を表示するステップであって、前記第2の画像は、第1の処理が前記カメラレンズによってキャプチャされた第1の元の画像上で実行された後に取得される画像である、ステップと
    を含み、
    前記第2の画像は、第1の領域および第2の領域を備え、前記第1の領域は第1のターゲットオブジェクトが前記第2の画像上に配置された領域で、前記第2の領域は前記第2の画像上の前記第1の領域以外の領域であり、前記第1の領域はカラー画像で、前記第2の領域はグレースケール画像で、および前記第1のターゲットオブジェクトは1つ以上のボディタイプ、または前記第1のターゲットオブジェクトは1つ以上のボディである
    方法。
  2. 前記第1の領域の画像は、前記第1のターゲットオブジェクトが前記第1の元の画像上に配置される領域の画像と同じであり、および
    前記第2の領域の画像は、前記第1の元の画像上で前記第1のターゲットオブジェクトが配置される前記領域以外の領域の画像に対してグレースケール処理が行われた後に取得される画像である、請求項1に記載の方法。
  3. 前記第1のターゲットオブジェクトは、事前設定されたターゲットオブジェクトであるか、または前記第1のターゲットオブジェクトは、前記第1の元の画像上の撮影される対象に基づいて自動的に決定されるターゲットオブジェクトである、請求項1または2に記載の方法。
  4. 前記第2の操作に応答して前記ビューファインダーフレームに第2の画像を表示する前記ステップが、
    前記第2の操作に応答して、前記ユーザに前記第1のターゲットオブジェクトを指定するように指示する、ステップと、
    前記第1のターゲットオブジェクトを指定するために前記ユーザによって実行された第3の操作が検出された場合、前記第3の操作に応答して前記ビューファインダーフレームに前記第2の画像を表示する、ステップと
    を含む、請求項1または2に記載の方法。
  5. 前記ビューファインダーフレームに第2の画像を表示する前記ステップの後に、前記方法が、
    前記カメラレンズが第2の元の画像をキャプチャした後に、前記ビューファインダーフレームに第3の画像を表示するステップであって、前記第3の画像は、前記第2の元の画像に対して第1の処理が実行された後に取得された画像である、ステップ
    をさらに含み、
    前記第3の画像は、第3の領域および第4の領域を備え、前記第3の領域は、前記第1のターゲットオブジェクトが前記第3の画像上に配置される領域で、前記第4の領域は前記第3の画像上の前記第3の領域以外の領域であり、前記第3の領域はカラー画像で、ならびに前記第4の領域はグレースケール画像である、
    請求項1から4のいずれか一項に記載の方法。
  6. 前記方法が、
    第2のターゲットオブジェクトを指定するために前記ユーザによって実行された第4の操作を検出するステップであって、前記第2のターゲットオブジェクトは、1つ以上のボディタイプであるか、または前記第2のターゲットオブジェクトは、1つ以上のボディである、ステップと、
    前記第4の操作に応答して前記ビューファインダーフレームに第4の画像を表示するステップであって、前記第4の画像は、前記カメラレンズによってキャプチャされた第3の元の画像に対して第1の処理が実行された後に取得される画像である、ステップと
    をさらに含み、
    前記第4の画像は第5の領域および第6の領域を備え、前記第5の領域は前記第2のターゲットオブジェクトが前記第4の画像上に配置される領域であり、前記第6の領域は前記第4の画像上の前記第5の領域以外の領域であり、前記第5の領域はカラー画像であり、ならびに前記第6の領域はグレースケール画像である、
    請求項1から5のいずれか一項に記載の方法。
  7. 前記方法が、
    写真を撮るように指示するために前記ユーザによって実行された第5の操作を検出する、ステップと、
    前記第5の操作に応答して、前記ビューファインダーフレームに表示された画像を格納する、ステップと、
    をさらに含む、請求項1から6のいずれか一項に記載の方法。
  8. 写真を撮るように指示するために前記ユーザによって実行された第5の操作を検出する前記ステップが、
    ビデオ撮影モードまたは連続キャプチャモードで写真を撮るように指示するために前記ユーザによって実行された前記第5の操作を検出するステップを含み、
    前記第5の操作に応答して、前記ビューファインダーフレームに表示される画像を格納する前記ステップが、
    前記第5の操作に応答して、写真撮影プロセスの前記ビューファインダーフレームに表示される画像の複数のフレームを格納するステップであって、前記複数の画像フレームは、前記カメラレンズによってキャプチャされた元の画像の複数のフレームに対して第1の処理が実行された後に取得された画像である、ステップを含む、請求項7に記載の方法。
  9. 第1の処理モードを示すために前記ユーザによって実行された第2の操作を検出する前記ステップの前に、前記方法が、
    ビデオを撮影するように指示するために前記ユーザによって実行された第6の操作を検出する、ステップと、
    前記第6の操作に応答して、前記ビューファインダーフレームに、ビデオ撮影プロセスの前記カメラレンズによってキャプチャされたカラー画像を表示するステップと、前記カラー画像を格納する、ステップと
    をさらに含み、
    前記第2の操作が検出された後に、前記第2の操作に応答して前記ビューファインダーフレームに第2の画像を表示する前記ステップが、
    前記第2の操作に応答して、前記ビデオ撮影プロセスの前記ビューファインダーフレームに、前記カメラレンズによってキャプチャされた元の画像の各フレームに対して第1の処理が実行された後に取得された前記第2の画像を表示するステップを含み、
    前記方法が、
    前記ビデオ記録プロセスの前記ビューファインダーフレームに表示された画像の複数のフレームを格納するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
  10. 前記キャプチャ画面は、前記第1の処理モードを示すために使用される制御を含み、前記第2の操作は、前記ユーザが前記制御をタップする操作である、請求項1から9のいずれか一項に記載の方法。
  11. 前記第1のターゲットオブジェクトを指定するために前記ユーザによって実行された前記第3の操作が検出されることが、
    前記ユーザが前記ビューファインダーフレームに表示された前記画像上で第1のボディをタップする操作を検出するステップであって、前記第1のターゲットオブジェクトは前記第1のボディであるか、または前記第1のターゲットオブジェクトは前記第1のボディのボディタイプである、ステップ、あるいは
    前記ビューファインダーフレームに表示された前記画像上で、前記ユーザがトラックを描画することにより、第5の領域を選択する操作を検出するステップであって、前記第1のターゲットオブジェクトは前記第5の領域で構成されるボディであるか、または前記第1のターゲットオブジェクトは前記第5の領域で構成されるボディのボディタイプである、ステップを含む、請求項4から10のいずれか一項に記載の方法。
  12. 前記ビューファインダーフレームに第2の画像を表示する前記ステップが、
    前記カメラレンズによってキャプチャされた前記第1の元の画像を取得する、ステップと、
    前記第2の画像を生成および表示するために、前記第1の元の画像に対して第1の処理を実行するステップと
    を含み、
    前記第1の元の画像に対して第1の処理を実行する前記ステップが、
    前記第1の元の画像に含まれる複数のオブジェクトがそれぞれ配置される領域を取得するために、前記第1の元の画像に対して画像セグメンテーションを実行するステップであって、前記オブジェクトがボディタイプまたはボディである、ステップと、
    前記第1のターゲットオブジェクトが前記第1の元の画像上に配置される第1の領域のピクセルのピクセル値を保持する、ステップと
    前記第1の元の画像上の前記第1の領域以外の領域のピクセルのピクセル値をグレースケール値に変換する、ステップと
    を含む、請求項1から11のいずれか一項に記載の方法。
  13. 電子デバイスであって、
    タッチ画面であって、前記タッチ画面は、タッチセンシティブ表面およびディスプレイを備える、タッチ画面、カメラレンズ、1つ以上のプロセッサ、メモリ、複数のアプリケーション、ならびに1つ以上のコンピュータプログラムを含み、前記1つ以上のコンピュータプログラムが前記メモリに格納され、前記1つ以上のコンピュータプログラムは命令を含み、前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは、次のステップ、すなわち、
    カメラを開くためにユーザによって実行された第1の操作を検出する、ステップと、
    前記第1の操作に応答して前記タッチ画面上にキャプチャ画面を表示するステップであって、前記キャプチャ画面は、ビューファインダーフレームを備え、前記ビューファインダーフレームは第1の画像を備え、前記第1の画像はカラー画像である、ステップと、
    第1の処理モードを示すために前記ユーザによって実行された第2の操作を検出する、ステップと、
    前記第2の操作に応答して前記ビューファインダーフレームに第2の画像を表示するステップであって、前記第2の画像は、第1の処理が前記カメラレンズによってキャプチャされた第1の元の画像上で実行された後に取得される画像である、ステップと
    を実行することが可能にされ、
    前記第2の画像は、第1の領域および第2の領域を備え、前記第1の領域は第1のターゲットオブジェクトが前記第2の画像上に配置された領域で、前記第2の領域は前記第2の画像上の前記第1の領域以外の領域であり、前記第1の領域はカラー画像で、前記第2の領域はグレースケール画像で、および前記第1のターゲットオブジェクトは1つ以上のボディタイプ、または前記第1のターゲットオブジェクトは1つ以上のボディである
    電子デバイス。
  14. 前記第1の領域の画像は、前記第1のターゲットオブジェクトが前記第1の元の画像上に配置される領域の画像と同じであり、および
    前記第2の領域の画像は、前記第1の元の画像上で前記第1のターゲットオブジェクトが配置される前記領域以外の領域の画像に対してグレースケール処理が行われた後に取得される画像である、請求項13に記載の電子デバイス。
  15. 前記第1のターゲットオブジェクトは、事前設定されたターゲットオブジェクトであるか、または前記第1のターゲットオブジェクトは、前記第1の元の画像上の撮影される対象に基づいて自動的に決定されるターゲットオブジェクトである、請求項13または14に記載の電子デバイス。
  16. 前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは次のステップ、すなわち、
    前記第2の操作に応答して、前記ユーザに前記第1のターゲットオブジェクトを指定するように指示する、ステップと、
    前記第1のターゲットオブジェクトを指定するために前記ユーザによって実行された第3の操作が検出された場合、前記第3の操作に応答して前記ビューファインダーフレームに前記第2の画像を表示する、ステップと
    を具体的に実行する、請求項13または14に記載の電子デバイス。
  17. 前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは次のステップ、すなわち、
    前記ビューファインダーフレームに前記第2の画像を表示するステップと、前記カメラレンズが第2の元の画像をキャプチャした後に、前記ビューファインダーフレームに第3の画像を表示するステップであって、前記第3の画像は、前記第2の元の画像に対して第1の処理が実行された後に取得された画像である、ステップと
    をさらに実行することが可能にされ、
    前記第3の画像は、第3の領域および第4の領域を備え、前記第3の領域は、前記第1のターゲットオブジェクトが前記第3の画像上に配置される領域で、前記第4の領域は前記第3の画像上の前記第3の領域以外の領域であり、前記第3の領域はカラー画像で、ならびに前記第4の領域はグレースケール画像である、請求項13から16のいずれか一項に記載の電子デバイス。
  18. 前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは次のステップ、すなわち、
    第2のターゲットオブジェクトを指定するために前記ユーザによって実行された第4の操作を検出するステップであって、前記第2のターゲットオブジェクトは、1つ以上のボディタイプであるか、または前記第2のターゲットオブジェクトは、1つ以上のボディである、ステップと、
    前記第4の操作に応答して前記ビューファインダーフレームに第4の画像を表示するステップであって、前記第4の画像は、前記カメラレンズによってキャプチャされた第3の元の画像に対して第1の処理が実行された後に取得される画像である、ステップと
    をさらに実行することが可能にされ、
    前記第4の画像は第5の領域および第6の領域を備え、前記第5の領域は前記第2のターゲットオブジェクトが前記第4の画像上に配置される領域であり、前記第6の領域は前記第4の画像上の前記第5の領域以外の領域であり、前記第5の領域はカラー画像であり、ならびに前記第6の領域はグレースケール画像である、
    請求項13から17のいずれか一項に記載の電子デバイス。
  19. 前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは次のステップ、すなわち、
    写真を撮るように指示するために前記ユーザによって実行された第5の操作を検出する、ステップと、
    前記第5の操作に応答して、前記ビューファインダーフレームに表示された画像を格納する、ステップと、
    をさらに実行することが可能にされる、請求項13から18のいずれか一項に記載の電子デバイス。
  20. 前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは次のステップ、すなわち、
    ビデオ撮影モードまたは連続キャプチャモードで写真を撮るように指示するために前記ユーザによって実行された前記第5の操作を検出する、ステップと、
    前記第5の操作に応答して、写真撮影プロセスの前記ビューファインダーフレームに表示される画像の複数のフレームを格納するステップであって、前記複数の画像フレームは、前記カメラレンズによってキャプチャされた元の画像の複数のフレームに対して第1の処理が実行された後に取得された画像である、ステップと、
    を具体的に実行することが可能にされる、請求項19に記載の電子デバイス。
  21. 前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは次のステップ、すなわち、
    ビデオを撮影するように指示するために前記ユーザによって実行された第6の操作を検出する、ステップと、
    前記第6の操作に応答して、前記ビューファインダーフレームに、ビデオ撮影プロセスの前記カメラレンズによってキャプチャされたカラー画像を表示するステップ、および前記カラー画像を格納する、ステップと、
    前記第2の操作に応答して、前記ビデオ撮影プロセスの前記ビューファインダーフレームに、前記カメラレンズによってキャプチャされた元の画像の各フレームに対して第1の処理が実行された後に取得された前記第2の画像を表示する、ステップと、
    前記ビデオ記録プロセスの前記ビューファインダーフレームに表示された画像の複数のフレームを格納する、ステップと、
    をさらに実行することが可能にされる、請求項13から18のいずれか一項に記載の電子デバイス。
  22. 前記キャプチャ画面は、前記第1の処理モードを示すために使用される制御を含み、前記第2の操作は、前記ユーザが前記制御をタップする操作である、請求項13から21のいずれか一項に記載の電子デバイス。
  23. 前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは次のステップ、すなわち、
    前記ユーザが前記ビューファインダーフレームに表示された前記画像上で第1のボディをタップする操作を検出するステップであって、前記第1のターゲットオブジェクトは前記第1のボディであるか、または前記第1のターゲットオブジェクトは前記第1のボディのボディタイプである、ステップ、あるいは
    前記ビューファインダーフレームに表示された前記画像上で、前記ユーザがトラックを描画することにより、第5の領域を選択する操作を検出するステップであって、前記第1のターゲットオブジェクトは前記第5の領域で構成されるボディであるか、または前記第1のターゲットオブジェクトは前記第5の領域で構成されるボディのボディタイプである、ステップ
    を具体的に実行することが可能にされる、請求項16から22のいずれか一項に記載の電子デバイス。
  24. 前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは次のステップ、すなわち、
    前記カメラレンズによってキャプチャされた前記第1の元の画像を取得する、ステップと、
    前記第1の元の画像に含まれる複数のオブジェクトがそれぞれ配置される領域を取得するために、前記第1の元の画像に対して画像セグメンテーションを実行するステップであって、前記オブジェクトがボディタイプまたはボディである、ステップと、
    前記第1のターゲットオブジェクトが前記第1の元の画像上に配置される第1の領域のピクセルのピクセル値を保持する、ステップと、
    前記第1の元の画像上の前記第1の領域以外の領域のピクセルのピクセル値をグレースケール値に変換する、ステップと、
    前記第2の画像を生成および表示する、ステップと、
    を具体的に実行することが可能にされる、請求項13から23のいずれか一項に記載の電子デバイス。
  25. タッチ画面、メモリ、1つ以上のプロセッサ、複数のアプリケーション、および1つ以上のプログラムを備える電子デバイスであって、前記1つ以上のプログラムは前記メモリに格納され、前記1つ以上のプロセッサが前記1つ以上のプログラムを実行するとき、前記電子デバイスは、請求項1から12のいずれか一項に記載の画像を表示するための前記方法を実施することが可能にされる、電子デバイス。
  26. コンピュータ命令を含むコンピュータ記憶媒体であって、前記コンピュータ命令が電子デバイス上で実行されると、前記電子デバイスは請求項1から12のいずれか一項に記載の画像を表示するための前記方法を実行することが可能にされる、コンピュータ記憶媒体。
  27. コンピュータプログラム製品であって、前記コンピュータプログラム製品がコンピュータ上で実行されると、前記コンピュータは、請求項1から12のいずれか一項に記載の画像を表示するための前記方法を実行することが可能にされる、コンピュータプログラム製品。
JP2021520964A 2018-10-15 2018-10-15 写真撮影シナリオおよび電子デバイスで画像を表示するための方法 Active JP7238115B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/110306 WO2020077511A1 (zh) 2018-10-15 2018-10-15 一种拍摄场景下的图像显示方法及电子设备

Publications (2)

Publication Number Publication Date
JP2022512715A true JP2022512715A (ja) 2022-02-07
JP7238115B2 JP7238115B2 (ja) 2023-03-13

Family

ID=65713883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021520964A Active JP7238115B2 (ja) 2018-10-15 2018-10-15 写真撮影シナリオおよび電子デバイスで画像を表示するための方法

Country Status (6)

Country Link
US (2) US11223772B2 (ja)
EP (2) EP3846438A4 (ja)
JP (1) JP7238115B2 (ja)
KR (1) KR102535607B1 (ja)
CN (2) CN112532869B (ja)
WO (1) WO2020077511A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11223772B2 (en) * 2018-10-15 2022-01-11 Huawei Technologies Co., Ltd. Method for displaying image in photographing scenario and electronic device
EP3799785B1 (en) * 2019-05-22 2023-07-26 Shenzhen Goodix Technology Co., Ltd. Method for biometric recognition, fingerprint recognition apparatus, and electronic device
CN110377204B (zh) * 2019-06-30 2021-07-09 华为技术有限公司 一种生成用户头像的方法及电子设备
US11611714B2 (en) * 2019-08-01 2023-03-21 Meta Platforms, Inc. Generating customized, personalized reactions to social media content
CN112700525A (zh) * 2019-10-21 2021-04-23 华为技术有限公司 一种图像处理方法及电子设备
CN113138387B (zh) * 2020-01-17 2024-03-08 北京小米移动软件有限公司 图像采集方法、装置、移动终端及存储介质
CN113395441A (zh) * 2020-03-13 2021-09-14 华为技术有限公司 图像留色方法及设备
CN112669464A (zh) * 2020-03-20 2021-04-16 华为技术有限公司 一种分享数据的方法及设备
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN111768352B (zh) * 2020-06-30 2024-05-07 Oppo广东移动通信有限公司 图像处理方法及装置
CN113973173B (zh) * 2020-07-24 2023-04-21 华为技术有限公司 图像合成方法和电子设备
CN111966254B (zh) * 2020-08-06 2022-06-10 惠州Tcl移动通信有限公司 一种图像拍摄方法、装置、存储介质及终端
CN112035046B (zh) * 2020-09-10 2024-03-08 脸萌有限公司 榜单信息显示方法、装置、电子设备及存储介质
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN114827442B (zh) * 2021-01-29 2023-07-11 华为技术有限公司 生成图像的方法和电子设备
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
CN113727015B (zh) * 2021-05-31 2023-01-24 荣耀终端有限公司 一种视频拍摄方法及电子设备
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
CN115484390B (zh) * 2021-06-16 2023-12-19 荣耀终端有限公司 一种拍摄视频的方法及电子设备
CN113766130B (zh) * 2021-09-13 2023-07-28 维沃移动通信有限公司 视频拍摄方法、电子设备及装置
CN114245011B (zh) * 2021-12-10 2022-11-08 荣耀终端有限公司 图像处理方法、用户界面及电子设备
CN114398016B (zh) * 2022-01-12 2024-06-11 金华鸿正科技有限公司 界面显示方法和装置
CN115580690B (zh) * 2022-01-24 2023-10-20 荣耀终端有限公司 图像处理的方法和电子设备
CN115272138B (zh) * 2022-09-28 2023-02-21 荣耀终端有限公司 图像处理方法及其相关设备
CN117130511B (zh) * 2023-02-24 2024-09-20 荣耀终端有限公司 亮度控制方法及其相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232609A (ja) * 1999-02-10 2000-08-22 Matsushita Electric Ind Co Ltd 特殊効果処理方法及び画像処理装置
JP2013058921A (ja) * 2011-09-08 2013-03-28 Olympus Imaging Corp 撮影機器
CN104660905A (zh) * 2015-03-04 2015-05-27 深圳市欧珀通信软件有限公司 拍照处理方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3825740B2 (ja) * 2001-12-07 2006-09-27 株式会社リコー 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
US20100201705A1 (en) 2007-10-17 2010-08-12 Mariko Takahashi Image processing device
CN103137096A (zh) 2011-11-24 2013-06-05 林振慧 颜色转换器
KR101870902B1 (ko) 2011-12-12 2018-06-26 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
EP2634772A1 (en) 2012-02-28 2013-09-04 BlackBerry Limited Methods and devices for selecting objects in images
JP5867424B2 (ja) * 2013-02-28 2016-02-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム
KR20140134844A (ko) * 2013-05-15 2014-11-25 오충록 객체 기반 사진 촬영 방법 및 장치
CN103618886B (zh) 2013-12-13 2015-07-08 厦门美图网科技有限公司 一种根据主色调智能脱色的摄像方法
CN104967790B (zh) 2014-08-06 2018-09-11 腾讯科技(北京)有限公司 照片拍摄方法、装置及移动终端
US10038836B2 (en) 2015-03-17 2018-07-31 Mediatek Inc. Automatic image capture during preview and image recommendation
CN105118026A (zh) 2015-07-28 2015-12-02 小米科技有限责任公司 色域模式切换方法及装置
US20170091905A1 (en) * 2015-09-24 2017-03-30 Dell Products L.P. Information Handling System Defocus Tracking Video
US20170099476A1 (en) 2015-10-01 2017-04-06 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
US10298827B2 (en) 2015-10-13 2019-05-21 Huawei Technologies Co., Ltd. Shooting method and mobile device
CN105608668B (zh) * 2015-12-22 2019-07-26 联想(北京)有限公司 一种信息处理方法及装置
CN105812668A (zh) * 2016-04-19 2016-07-27 奇酷互联网络科技(深圳)有限公司 图像的处理方法、处理装置及拍照设备
CN105959554B (zh) 2016-06-01 2019-02-22 努比亚技术有限公司 视频拍摄装置及方法
CN106101666B (zh) 2016-06-30 2018-09-04 维沃移动通信有限公司 一种图像色彩保留的方法及移动终端
WO2018072267A1 (zh) * 2016-10-17 2018-04-26 华为技术有限公司 用于终端拍照的方法及终端
CN106506962A (zh) * 2016-11-29 2017-03-15 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106791379A (zh) 2016-12-05 2017-05-31 奇酷互联网络科技(深圳)有限公司 基于双摄像头图像合成的方法及装置
CN107329573B (zh) 2017-06-30 2020-09-25 联想(北京)有限公司 控制方法及电子设备
CN107170016A (zh) 2017-07-25 2017-09-15 京东方科技集团股份有限公司 一种图像处理方法、图像处理系统和显示面板
CN107809580A (zh) 2017-09-21 2018-03-16 努比亚技术有限公司 一种拍摄处理方法、终端及计算机可读存储介质
CN107730433A (zh) 2017-09-28 2018-02-23 努比亚技术有限公司 一种拍摄处理方法、终端及计算机可读存储介质
CN107909553B (zh) 2017-11-02 2021-10-26 海信视像科技股份有限公司 一种图像处理方法及设备
CN107835402A (zh) 2017-11-08 2018-03-23 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN108182031A (zh) 2017-12-28 2018-06-19 努比亚技术有限公司 一种拍照方法、终端及计算机可读存储介质
CN108234826B (zh) 2018-01-15 2021-03-02 厦门美图之家科技有限公司 图像处理方法及装置
US11223772B2 (en) * 2018-10-15 2022-01-11 Huawei Technologies Co., Ltd. Method for displaying image in photographing scenario and electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232609A (ja) * 1999-02-10 2000-08-22 Matsushita Electric Ind Co Ltd 特殊効果処理方法及び画像処理装置
JP2013058921A (ja) * 2011-09-08 2013-03-28 Olympus Imaging Corp 撮影機器
CN104660905A (zh) * 2015-03-04 2015-05-27 深圳市欧珀通信软件有限公司 拍照处理方法及装置

Also Published As

Publication number Publication date
JP7238115B2 (ja) 2023-03-13
WO2020077511A1 (zh) 2020-04-23
CN109496423B (zh) 2020-11-17
EP3846438A4 (en) 2021-09-15
KR102535607B1 (ko) 2023-05-26
US11223772B2 (en) 2022-01-11
KR20210064330A (ko) 2021-06-02
CN109496423A (zh) 2019-03-19
US11696018B2 (en) 2023-07-04
EP3846438A1 (en) 2021-07-07
CN112532869B (zh) 2021-11-19
US20220094859A1 (en) 2022-03-24
CN112532869A (zh) 2021-03-19
EP4325879A1 (en) 2024-02-21
BR112021007133A2 (pt) 2021-07-20
US20210344845A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
JP7238115B2 (ja) 写真撮影シナリオおよび電子デバイスで画像を表示するための方法
WO2020259452A1 (zh) 一种移动终端的全屏显示方法及设备
CN112532857B (zh) 一种延时摄影的拍摄方法及设备
CN113132620B (zh) 一种图像拍摄方法及相关装置
WO2021036585A1 (zh) 一种柔性屏显示方法和电子设备
WO2022127787A1 (zh) 一种图像显示的方法及电子设备
CN112532892B (zh) 图像处理方法及电子装置
CN113170037B (zh) 一种拍摄长曝光图像的方法和电子设备
CN113448382B (zh) 多屏幕显示电子设备和电子设备的多屏幕显示方法
WO2022007862A1 (zh) 图像处理方法、系统、电子设备及计算机可读存储介质
WO2022001258A1 (zh) 多屏显示方法、装置、终端设备及存储介质
CN112150499A (zh) 图像处理方法及相关装置
WO2022095906A1 (zh) 一种按键映射方法、电子设备及系统
WO2021238740A1 (zh) 一种截屏方法及电子设备
WO2021042878A1 (zh) 一种拍摄方法及电子设备
CN113542574A (zh) 变焦下的拍摄预览方法、终端、存储介质及电子设备
WO2022033344A1 (zh) 视频防抖方法、终端设备和计算机可读存储介质
WO2022062985A1 (zh) 视频特效添加方法、装置及终端设备
WO2021204103A1 (zh) 照片预览方法、电子设备和存储介质
CN116709018B (zh) 一种变焦条分割方法及电子设备
BR112021007133B1 (pt) Método para gerar uma imagem usando um dispositivo eletrônico tendo uma câmera colorida, e meio legível por computador

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221215

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221215

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221227

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230301

R150 Certificate of patent or registration of utility model

Ref document number: 7238115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150