JP2022535520A - 電子機器の制御方法及び電子機器 - Google Patents

電子機器の制御方法及び電子機器 Download PDF

Info

Publication number
JP2022535520A
JP2022535520A JP2021571485A JP2021571485A JP2022535520A JP 2022535520 A JP2022535520 A JP 2022535520A JP 2021571485 A JP2021571485 A JP 2021571485A JP 2021571485 A JP2021571485 A JP 2021571485A JP 2022535520 A JP2022535520 A JP 2022535520A
Authority
JP
Japan
Prior art keywords
image
housing
laser
electronic device
laser projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021571485A
Other languages
English (en)
Other versions
JP7376618B2 (ja
Inventor
ルー、シャンナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2022535520A publication Critical patent/JP2022535520A/ja
Application granted granted Critical
Publication of JP7376618B2 publication Critical patent/JP7376618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0272Details of the structure or mounting of specific components for a projector or beamer module assembly
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0214Foldable telephones, i.e. with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0241Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0241Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call
    • H04M1/0245Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call using open/close detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/21Combinations with auxiliary equipment, e.g. with clocks or memoranda pads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/22Illumination; Arrangements for improving the visibility of characters on dials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34Microprocessors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/16Details of telephonic subscriber devices including more than one display unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/54Details of telephonic subscriber devices including functional features of a projector or beamer module assembly

Abstract

電子機器(100)及び電子機器(100)の制御方法であって、制御方法は、筐体(11)の形態及び電子機器(100)の使用状態を決定するステップ(051)と、筐体(11)が折り畳み形態であり且つ電子機器(100)が第1の使用状態にある場合、レーザプロジェクタ(14)は第1のモードでレーザを投射するステップ(052)と、筐体(11)が折り畳み形態であり且つ電子機器(100)が第2の使用状態にある場合、レーザプロジェクタ(14)は第2のモードでレーザを投射するステップ(053)と、筐体(11)が展開形態である場合、レーザプロジェクタ(14)は第2のモードでレーザを投射するステップ(054)と、を含む。

Description

優先権情報
本願は、2019年5月31日に中国国家知識産業局に提出した、特許出願番号が「201910470396.9」である特許出願の優先権と利益を主張するものであり、その特許出願の全ての内容が、参照により本明細書に組み込まれる。
本願は消費者向け電子製品の技術分野に関し、特に電子機器の制御方法及び電子機器に関する。
レーザプロジェクタを備えた従来の携帯電話では、レーザプロジェクタは一般に携帯電話のフロントシェルに設けられ、かつレーザプロジェクタは、撮影距離が短い前向きの使用状態でのみ使用され、例えば、レーザプロジェクタは、深度画像を取得するための前向きの使用状態でのみ使用されるため、携帯電話の利用者がレーザプロジェクタを使用できるシーンが少なくなる。
本願の実施形態は、電子機器の制御方法及び電子機器を提供する。
本願の電子機器の制御方法であって、前記電子機器は筐体、フレキシブルディスプレイ及びレーザプロジェクタを含み、前記筐体は第1の筐体及び第2の筐体を含み、前記第2の筐体は、前記筐体を選択的に折り畳み形態又は展開形態とするように、前記第1の筐体に回動可能に取り付けられ、前記フレキシブルディスプレイは前記筐体の第1の面に設けられ、前記レーザプロジェクタは、前記第1の筐体の前記第1の面に背向する第2の面に設けられ、前記制御方法は、前記筐体の形態及び前記電子機器の使用状態を決定するステップと、前記筐体が前記折り畳み形態であり、前記電子機器が第1の使用状態にある場合、前記レーザプロジェクタは第1のモードでレーザを投射するステップと、前記筐体が前記折り畳み形態であり、前記電子機器が第2の使用状態にある場合、前記レーザプロジェクタは第2のモードでレーザを投射するステップであって、前記第2のモードで出射される前記レーザのエネルギーが、前記第1のモードで出射される前記レーザのエネルギーよりも大きいステップと、前記筐体が前記展開形態である場合、前記レーザプロジェクタは前記第2のモードでレーザを投射するステップと、を含む。
本願の電子機器は筐体、フレキシブルディスプレイ、レーザプロジェクタ及びプロセッサを含み、前記筐体は第1の筐体及び第2の筐体を含み、前記第2の筐体は、前記筐体を選択的に折り畳み形態又は展開形態とするように、前記第1の筐体に回動可能に取り付けられ、前記フレキシブルディスプレイは前記筐体の第1の面に設けられ、前記レーザプロジェクタは、前記第1の筐体の前記第1の面に背向する第2の面に設けられ、前記プロセッサは前記筐体の形態及び前記電子機器の使用状態を決定し、前記レーザプロジェクタは、前記筐体が前記折り畳み形態であり且つ前記電子機器が第1の使用状態にある場合、第1のモードでレーザを投射し、前記筐体が前記折り畳み形態であり且つ前記電子機器が第2の使用状態にある場合、第2のモードでレーザを投射し、前記第2のモードで出射される前記レーザのエネルギーが、前記第1のモードで出射される前記レーザのエネルギーよりも大きい。
本願の実施形態の付加的な特徴及びメリットは、以下の説明において一部が述べられ、一部が以下の説明においてさらに明瞭になり、又は本発明の実践を介して把握できる。
本願の上述及び/又は付加的な特徴及び利点は、以下の図面と組み合わせながら実施形態を説明する過程中に明瞭になり、容易に理解できる。
本願のいくつかの実施形態に係る電子機器の斜視概略構成図である。 本願のいくつかの実施形態に係る電子機器の斜視概略構成図である。 本願のいくつかの実施形態に係る電子機器の斜視概略構成図である。 本願のいくつかの実施形態に係る電子機器の斜視概略構成図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器のレーザプロジェクタのレーザ光源の概略構成図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器のシステムアーキテクチャの模式図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の原理を示す図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の原理を示す図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。
以下では、本願の実施形態を詳しく説明する。説明される実施形態の例は図面に示されており、始めから終わりまで、同一または類似の符号は同一または類似の素子、あるいは同一または類似の機能を有する素子を表す。以下での図面を参考して説明される実施形態は例示的なもので、本願の実施形態を説明するためのものに過ぎず、本願の実施形態への制限として理解すべきではない。
図1及び図2を参照すると、本願の電子機器100の制御方法は電子機器100に適用され、ここで、電子機器100は筐体11、フレキシブルディスプレイ12及びレーザプロジェクタ14を含み、筐体11は第1の筐体111及び第2の筐体112を含み、第2の筐体112は、筐体11を選択的に折り畳み形態(図3及び図4に示す)又は展開形態(図1及び図2に示す)とするように、第1の筐体111に回動可能に取り付けられ、フレキシブルディスプレイ12は筐体11の第1の面113に設けられ、レーザプロジェクタ14は、第1の筐体11の第1の面113に背向する第2の面114に設けられ、図5を参照すると、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ051と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ052と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ053と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ054と、を含む。
図2及び図7を参照すると、いくつかの実施形態では、電子機器100は、ホールセンサコンポーネント16をさらに含み、ホールセンサコンポーネント16は、第1のセンサ161及び第2のセンサ162を含み、第1のセンサ161は、第1の筐体111の第2の筐体112に近い一端に設けられ、第2のセンサ162は、第2の筐体112の第1の筐体111に近い一端に設けられ、第1のセンサ161に対応し、筐体11の形態を決定するステップは、
ホールセンサコンポーネント16を介して筐体11の形態を決定するステップを含む。
図2及び図7を参照すると、いくつかの実施形態では、ホールセンサコンポーネント16を介して筐体11の形態を決定するステップは、
ホールセンサコンポーネント16のホール値を取得するステップ0711と、
ホール値が第1の設定値よりも小さい場合、筐体111が展開形態であると決定するステップ0712と、
ホール値が第2の設定値よりも大きい場合、筐体111が折り畳み形態であると決定するステップ0713とを含む。
図13及び図14を参照すると、いくつかの実施形態では、電子機器100は、重力センサ17をさらに含み、筐体11が折り畳み形態である場合、電子機器100の使用状態を決定するステップは、
重力センサ17を介して電子機器100の使用状態を決定するステップを含む。
図13及び図14を参照すると、いくつかの実施形態では、筐体11が折り畳み形態である場合、重力センサ17を介して電子機器100の使用状態を決定するステップは、
重力センサ17のz軸の値を取得するステップ01414と、
z軸の値が第1の設定値よりも大きい場合、電子機器100が第1の使用状態にあると決定するステップ01415と、
z軸の値が第2の設定値よりも小さい場合、電子機器100が第2の使用状態にあると決定するステップ01416と、を含む。
図4を参照すると、いくつかの実施形態では、電子機器100は、プロセッサ20に電気的に接続された状態選択ボタン18をさらに含み、筐体11が折り畳み形態である場合、電子機器100の使用状態を決定するステップは、
状態選択ボタン18を介してレーザプロジェクタ14の使用状態を決定するステップを含む。
図6を参照すると、いくつかの実施形態では、レーザプロジェクタ14は、第1のモードでレーザを投射するパワーが、第2のモードでレーザを投射するパワーよりも小さい、及び/又は
レーザプロジェクタ14は、複数の点光源141を含み、複数の点光源141は独立して制御され、レーザプロジェクタ14は、第1のモードでオンにされる点光源141の数が、第2のモードでオンにされる点光源141の数よりも少ない。
図2及び図16を参照すると、いくつかの実施形態では、電子機器100は、画像収集装置15をさらに含み、画像収集装置15は、第1の筐体111の第2の面114に設けられ、レーザプロジェクタ14がレーザを投射する場合、レーザプロジェクタ14は第1の動作周波数でシーンにレーザを投射し、制御方法は、
画像収集装置15が、第1の動作周波数よりも大きい第2の動作周波数で収集画像を取得するステップ0165と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0166と
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0167と、をさらに含み。
図1及び図2を参照すると、本願の実施形態は、電子機器100をさらに提供する。電子機器100は筐体11、フレキシブルディスプレイ12、レーザプロジェクタ14及びプロセッサ20を含む。筐体11は、第1の筐体111及び第2の筐体112を含む。第2の筐体112は、筐体11を選択的に折り畳み形態又は展開形態とするように、第1の筐体111に回動可能に取り付けられる。フレキシブルディスプレイ12は筐体11の第1の面113に設けられる。レーザプロジェクタ14は、第1の筐体111の第1の面113に背向する第2の面114に設けられる。プロセッサ20は筐体11の形態及び電子機器100の使用状態を決定する。レーザプロジェクタ14は、筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、第1のモードでレーザを投射し、筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザを投射し、筐体11が展開形態である場合、第2のモードでレーザを投射する。第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きい。
図2を参照すると、いくつかの実施形態では、電子機器100は、ホールセンサコンポーネント16をさらに含む。ホールセンサコンポーネント16は、第1のセンサ及び第2のセンサを含む。第1のセンサは、第1の筐体111の第2の筐体112に近い一端に設けられる。第2のセンサは、第2の筐体112の第1の筐体111に近い一端に設けられ、第1のセンサに対応する。プロセッサ20はさらに、ホールセンサコンポーネント16を介して筐体11の形態を決定する。
図2を参照すると、いくつかの実施形態では、プロセッサ20はさらに、ホールセンサコンポーネント16のホール値を取得し、ホール値が第1の設定値よりも小さい場合、筐体11が展開形態であると決定し、ホール値が第2の設定値よりも大きい場合、筐体11が折り畳み形態であると決定する。
図13を参照すると、いくつかの実施形態では、電子機器100は、重力センサ17をさらに含み、筐体11が折り畳み形態である場合、プロセッサ20はさらに、重力センサ17を介して電子機器100の使用状態を決定する。
図13を参照すると、いくつかの実施形態では、筐体11が折り畳み形態である場合、プロセッサ20はさらに、重力センサ17のz軸の値を取得し、z軸の値が第1の設定値よりも大きい場合、電子機器100が第1の使用状態にあると決定し、z軸の値が第2の設定値よりも小さい場合、電子機器100が第2の使用状態にあると決定する。
図4を参照すると、いくつかの実施形態では、電子機器100は、状態選択ボタン18をさらに含み、筐体11が折り畳み形態である場合、プロセッサ20は、状態選択ボタン18を介して電子機器100の使用状態を決定する。
図1及び図2を参照すると、いくつかの実施形態では、レーザプロジェクタ14は、第1のモードでレーザを投射するパワーが、第2のモードでレーザを投射するパワーよりも小さい、及び/又は、レーザプロジェクタ14は、複数の点光源141を含み、複数の点光源141は独立して制御され、レーザプロジェクタ14は、第1のモードでオンにされる点光源141の数が、第2のモードでオンにされる点光源141の数よりも少ない。
図6を参照すると、いくつかの実施形態では、レーザプロジェクタ14は、レーザ光源140を含み、レーザ光源140は、複数の点光源141を含み、複数の点光源141は独立して制御され、複数の点光源141は複数の発光アレイ142を形成し、複数の発光アレイ142は独立して制御され、複数の発光アレイ142はリング状に配列される。
図6を参照すると、いくつかの実施形態では、発光アレイ142をオンにする方法は、レーザ光源140の中心から遠くなるほど、発光アレイ142は先にオンにされることである
図2を参照すると、いくつかの実施形態では、電子機器100は、画像収集装置15及びプロセッサ20をさらに含み、画像収集装置15は、第1の筐体111の第2の面114に設けられ、レーザプロジェクタ14がレーザを投射する場合、レーザプロジェクタ14は第1の動作周波数でシーンにレーザを投射し、画像収集装置15は、第2の動作周波数で収集画像を取得し、第2の動作周波数が第1の動作周波数よりも大きく、プロセッサ20は、収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別し、第1の画像、第2の画像及び参照画像に基づいて深度画像を計算する。
図2を参照すると、いくつかの実施形態では、電子機器100は、画像収集装置15をさらに含み、筐体11が展開形態である場合、レーザプロジェクタ14は、第1の筐体111の第2の筐体112から離れた一端に設けられ、レーザプロジェクタ14と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線に垂直であり、筐体11が折り畳み形態である場合、レーザプロジェクタ14と画像収集装置15は筐体11の外に露出する。
図1及び図2を参照すると、いくつかの実施形態では、フレキシブルディスプレイ12は、第2の筐体112に設けられるサブディスプレイ122を含み、サブディスプレイ122は、第2の筐体112から離れたディスプレイの表面123を含み、第1の筐体111は本体115と突出部116とを含み、フレキシブルディスプレイ12及び突出部116はそれぞれ、本体115の背向する両側に位置し、筐体11が展開形態である場合、突出部116は本体115の第2の筐体112から離れた一端に位置し、レーザプロジェクタ14は突出部116に設けられ、突出部116は、本体115から離れた突出部の表面117を含み、筐体11が折り畳み形態である場合、突出部の表面117は、ディスプレイの表面123と面一となっている。
図1及び図2を参照すると、本願の電子機器100の制御方法であって、電子機器100は、筐体11、フレキシブルディスプレイ12及びレーザプロジェクタ14を含み、筐体11は第1の筐体111及び第2の筐体112を含み、第2の筐体112は、筐体11を選択的に折り畳み形態(図3及び図4に示す)又は展開形態(図1及び図2に示す)とするように、第1の筐体111に回動可能に取り付けられ、フレキシブルディスプレイ12は筐体11の第1の面113に設けられ、レーザプロジェクタ14は、第1の筐体11の第1の面113に背向する第2の面114に設けられ、図5を参照すると、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ051と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ052と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射し、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギースよりも大きいテップ053と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ054と、を含む。
本願の電子機器100は上記の制御方法を実現するために使用することができ、具体的に、電子機器100は、プロセッサ20をさらに含み、ステップ051は、プロセッサ20により実現することができ、ステップ052、ステップ053及びステップ054は、いずれも、レーザプロジェクタ14により実現することができる。即ち、プロセッサ20は、筐体11の形態及び電子機器100の使用状態を決定し、レーザプロジェクタ14は、筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、第1のモードでレーザを投射し、筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、第2のモードでレーザを投射し、筐体11が展開形態である場合、第2のモードでレーザを投射する。
ここで、電子機器100は、携帯電話、タブレット、ノートパソコン、スマートウェアラブルデバイス(スマートウォッチ、スマートブレスレット、スマートヘルメット、スマートグラスなど)、及び仮想現実デバイスなどであってもよい。本願は、電子機器100が携帯電話であることを例として説明するが、電子機器100の形態は携帯電話に限定されない。
筐体11は第1の筐体111と第2の筐体112とを含み、第2の筐体112は、筐体11を選択的に折り畳み形態又は展開形態とするように、第1の筐体111に回動可能に取り付けられる。筐体11が展開形態である場合、第1の筐体111の第1の面113及び第2の筐体112の第1の面113は、筐体11の同じ側に位置し、第1の筐体111の第2の面114及び第2の筐体112の第2の面114は、筐体11の同じ側に位置する。筐体11が折り畳み形態である場合、第1の筐体111及び第2の筐体112は積層されている。
フレキシブルディスプレイ12は、筐体11の第1の面113に取り付けられる。具体的に、フレキシブルディスプレイ12は、接続されたメインディスプレイ121及びサブディスプレイ122を含み、メインディスプレイ121が、第1の筐体111の第1の面113に設けられ、サブディスプレイ122が、第2の筐体112の第1の面113に設けられる。本実施形態では、メインディスプレイ121の幅は、サブディスプレイ122の幅よりも大きい。もちろん、メインディスプレイ121の幅は、サブディスプレイ122の幅に等しくてもよい。サブディスプレイ122は、第2筐体112の回転に伴って折り曲げ可能であり、筐体11が折り畳み形態である場合、メインディスプレイ121及びサブディスプレイ121は、それぞれ筐体11の背向する両側に位置し、筐体11が展開形態である場合、メインディスプレイ121及びサブディスプレイ122は、筐体11の同じ側に位置する。フレキシブルディスプレイ12は、筐体11の第1の面113の面積の85%以上、例えば85%、86%、87%、88%、89%、90%、91%、92%、93%、95%さらには100%をカバーすることができる。フレキシブルディスプレイ12(メインディスプレイ121及びサブディスプレイ122)は、映像を表すために使用され、映像は文字、画像、ビデオ、アイコンなどの情報であってもよい。
レーザプロジェクタ14は、第1の筐体111の第2の面114に設けられ、具体的に、筐体11が展開形態である場合、レーザプロジェクタ14は第1の筐体111の第2の筐体112から離れた一端に位置する。筐体11が折り畳み形態である場合、レーザプロジェクタ14は筐体11の外に露出し、つまり、レーザプロジェクタ14は第2の筐体112によって遮断されない。
電子機器100は、画像収集装置15をさらに含み、筐体11が展開形態である場合、画像収集装置15は、第2の面114に設けられ、第1の筐体111の第2の筐体112から離れた一端に位置する。本実施形態では、レーザプロジェクタ14と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線(図2及び図3に示す)に垂直である。もちろん、他の実施形態では、レーザプロジェクタ14と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線に平行であってもよい。レーザプロジェクタ14は、測定対象物の深度情報の獲得、三次元モデリング、三次元画像の生成、距離測定などのために、画像収集装置15と組み合わせて使用される。レーザプロジェクタ14及び画像収集装置15がブラケットに取り付けられた後、ブラケット、レーザプロジェクタ14及び画像収集装置15をともに第1の筐体111内に取り付けることができる。
本願の実施形態では、筐体11が折り畳み形態である場合、電子機器100の使用状態は、第1の使用状態及び第2の使用状態を含む。電子機器100の利用者に対して、第1の使用状態と第2の使用状態におけるレーザプロジェクタ14の向きは反対である。ここで、第1の使用状態は前向きの使用状態とすることができ、電子機器100が前向きの使用状態にある場合、サブディスプレイ122及びレーザプロジェクタ14は電子機器100の利用者に面している。この場合、利用者はサブディスプレイ122に示された内容を見ることができ、レーザプロジェクタ14を使用して利用者側に向けてレーザを投射することができる。利用者は、レーザプロジェクタ14(及び画像収集装置15)を使用して、顔認識、虹彩認識などを実行することができる。第2の使用状態は後向きの使用状態とすることができ、電子機器100が後向きの使用状態にある場合、サブディスプレイ122及びレーザプロジェクタ14は電子機器100の利用者から離れ、メインディスプレイ121は電子機器100の利用者に面している。この場合、利用者は、メインディスプレイ121に示された内容を見ることができ、レーザプロジェクタ14を使用して、利用者から離れた側に向けてレーザを投射することができる。例えば、利用者はレーザプロジェクタ14(及び画像収集装置15)を使用して、電子機器100の利用者から離れた側にある測定対象物の深度画像を取得することができる。
一般に、電子機器100の利用者が電子機器100を使用する場合、フレキシブルディスプレイ12は利用者に面している。筐体11が展開形態である場合、利用者が電子機器100を使用するとき、メインディスプレイ121及びサブディスプレイ122はいずれも利用者に面しており、レーザプロジェクタ14は筐体11の利用者の反対側に位置する。この場合、利用者は、メインディスプレイ121とサブディスプレイ122とに示された内容をともに見ることができ、利用者はレーザプロジェクタ14を使用して、利用者から離れた側に向けてレーザを投射することができる。つまり、レーザプロジェクタ14は後向きのレーザプロジェクタとして使用されることができ、言い換えれば、電子機器100は後向きの使用状態(第2の使用状態)にある。
本願の実施形態では、レーザプロジェクタ14がレーザを投射するモードは、第1のモード及び第2のモードを含み、ここで、第1のモードは、レーザプロジェクタ14が前向きの使用状態にあることに対応し、第2のモードは、レーザプロジェクタ14が後向きの使用状態にあることに対応し、第2のモードで投射されるレーザのエネルギーが、第1のモードで投射されるレーザのエネルギーよりも大きい。具体的に、レーザプロジェクタ14が第1のモードでレーザを投射するパワーは、第2のモードでレーザを投射するパワーよりも小さくすることができ、それにより、第2のモードで投射されるレーザのエネルギーを、第1のモードで投射されるレーザのエネルギーよりも大きくすることができる。この場合、第2のモードでレーザプロジェクタ14によって投射されるレーザが到達できる最大距離(投射距離)は、第1のモードでレーザプロジェクタ14によって投射されるレーザが到達できる最大距離(投射距離)よりも大きい。同時に、後向きの使用状態でレーザプロジェクタ14が画像収集装置15に合わせて検出可能な後向きの距離範囲は、前向きの使用状態でレーザプロジェクタ14が画像収集装置15に合わせて検出可能な前向きの距離範囲よりも大きい。例えば、レーザプロジェクタ14が画像収集装置15に合わせて検出可能な前向きの距離範囲は25cm以内であり、レーザプロジェクタ14が画像収集装置15に合わせて検出可能な後向きの距離範囲は25cm(25cm以内の距離範囲の精度が悪い)よりも大きい。或いは、前向きの距離範囲と後向きの距離範囲はわずかに重なっている。例えばレーザプロジェクタ14が、画像収集装置15に合わせて検出可能な前向きの距離範囲は25cm以内であり、レーザプロジェクタ14が画像収集装置15に合わせて検出可能な後向きの距離範囲は20cmよりも大きい。
本願の電子機器100及び電子機器100の制御方法において、筐体11が折り畳み形態である場合、メインディスプレイ121及びサブディスプレイ122はそれぞれ、筐体11の背向する両側に位置し、レーザプロジェクタ14はサブディスプレイ122側に向けてレーザを投射することができ、電子機器100は、第1の使用状態(前向きの使用状態)又は第2の使用状態(後向きの使用状態)にあってもよい。筐体11が展開形態である場合、レーザプロジェクタ14は後向きの構造光として使用され、且つ第2の使用状態(後向きの使用状態)でレーザプロジェクタ14は投射できる最大距離が、第1の使用状態(前向きの使用状態)で投射できる最大距離よりも長いため、レーザプロジェクタ14は第1の使用状態及び第2の使用状態で使用可能であり、利用者が電子機器100を使用できる場面が増えるとともに、電子機器100には、第1の使用状態及び第2の使用状態でそれぞれ使用される2つのレーザプロジェクタ14が設けられる必要がないため、電子機器100のコストを削減する。
図6を参照すると、いくつかの実施形態では、レーザプロジェクタ14はレーザ光源140を含み、レーザ光源140が複数の点光源141を含み、複数の点光源141が独立して制御され、具体的に、各点光源141は、独立してオン及びオフにすることができる。レーザプロジェクタ14は、第1のモードでオンにされる点光源141の数が、第2のモードでオンにされる点光源141の数よりも少ない。この場合、各点光源141がレーザを投射するパワーを同じにすることで、第2のモードで投射されるレーザのエネルギーが、第1のモードで投射されるレーザのエネルギーよりも大きいため、第2のモードでレーザプロジェクタ14によって投射されるレーザが到達できる最大距離は、第1のモードでレーザプロジェクタ14によって投射されるレーザが到達できる最大距離よりも長い。
図6を参照すると、いくつかの実施形態では、複数の点光源141は複数の発光アレイ142を形成し、複数の発光アレイ142が独立して制御される。具体的に、各発光アレイ142内の複数の点光源141は、オン及びオフにすることができる。この場合、各発光アレイ142内の複数の点光源141のパワーは同じであってもよい。他の実施形態では、各発光アレイ142内の複数の点光源141も独立して制御することができる。
本実施形態では、複数の発光アレイ142はリング状に配列される。リング状に配列された発光アレイ142内の点光源141によって放出されるレーザは、より広い視野をカバーするため、測定対象物のより多くの深度情報を得ることができる。ここで、リング状は、正方形のリング状又は円形のリング状であってもよい。
図6を参照すると、いくつかの実施形態では、投射距離が増加するにつれて、発光アレイ142は、レーザ光源140の中心から遠い発光アレイ142が先にオンになるようにオンにされる。例えば、図6を組み合わせて、発光アレイ142の総数が6である。6つの発光アレイ142には、5つのリング状のサブアレ143と、1つの正方形のサブアレ144とが含まれる。レーザ光源140の中心に近い方向に、5つのリング状のサブアレ143が順次配列され、順次配列された5つのリング状のサブアレ143の番号は、A、B、C、D及びEである。本実施形態では、レーザプロジェクタ14がフレキシブルディスプレイ12の側を向いた場合、A及びBと番号が付けられたリング状のサブアレ143内の点光源141をオンにし、レーザプロジェクタ14がフレキシブルディスプレイ12の側から離れた場合、A、B及びCと番号が付けられたリング状のサブアレ143内の点光源141をオンにし、又はA、B、C及びDのリング状のサブアレ143内の点光源141、又はA、B、C、D及びEのリング状のサブアレ143内の点光源141をオンにし、又はA、B、C、D及びEのリング状サブアレ143内の点光源141及び正方形のサブアレ144内の点光源141をオンにする。
本実施形態では、レーザプロジェクタ14は、第1のモードでオンにされる点光源141の数が、第2のモードでオンにされる点光源141の数よりも少ないため、前向きの使用状態(第1の使用状態)で投射されるレーザのエネルギーが、後向きの使用状態(第2の使用状態)で投射されるレーザのエネルギーよりも小さい。
なお、レーザプロジェクタ14の回折光学素子(図示せず)の回折能力には限界があり、即ちレーザ光源140から出射されたレーザの一部は回折されずに直接出射され、直接出射されるレーザは、回折光学素子の回折減衰効果を受けない。直接出射されるレーザのエネルギーは大きくて、利用者の目に害を及ぼす可能性が非常に高い。従って、レーザプロジェクタ14は、フレキシブルディスプレイ12側に面している場合、第1のモードでレーザを投射し、つまり、レーザプロジェクタ14は、投射距離が小さい場合、レーザ光源140の中心から離れたリング状のサブアレ143を先にオンにすることにより、レーザ光源140によって投射されたレーザは、回折光学素子の回折減衰効果なしに、利用者の目に直接投射されることを回避することができ、レーザプロジェクタ14の安全性が向上する。レーザプロジェクタ14は、フレキシブルディスプレイ12側に面している場合、第2のモードでレーザを投射し、つまり、レーザプロジェクタ14は、投射距離が大きい場合、レーザ光源140の中心から離れたリング状のサブアレ143、及びレーザ光源140の中心に近いリング状のサブアレ143を同時にオンにすることにより、レーザプロジェクタ14によって投射されるレーザが到達できる最大距離を増加させる。
図2及び図7を参照すると、いくつかの実施形態では、電子機器100は、ホールセンサコンポーネント16をさらに含み、ホールセンサコンポーネント16は、第1のセンサ161と第2のセンサ162とを含み、第1のセンサ161が、第1の筐体111の第2の筐体112に近い一端に設けられ、第2のセンサ162は、第2の筐体112の第1の筐体111に近い一端に設けられ、第1のセンサ161に対応し、前記筐体111の形態を決定するステップは、ホールセンサコンポーネント16によって実現することができ、具体的に、制御方法は、
ホールセンサコンポーネント16のホール値を取得するステップ0711と、
ホール値が第1の設定値よりも小さい場合、筐体111が展開形態であると決定するステップ0712と、
ホール値が第2の設定値よりも大きい場合、筐体111が折り畳み形態であると決定するステップ0713と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ072と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ073と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ074と、を含む。
上記の制御方法は電子機器100によって実現することができ、ここで、ステップ0711、ステップ0712、及びステップ0713は、上記のステップ051のサブステップとすることができ、ステップ072が基本的に上記のステップ052と同じであり、ステップ073が基本的に上記のステップ053と同じであり、ステップ074が基本的に上記のステップ054と同じである。具体的に、プロセッサ20は、ホールセンサコンポーネント16に電気的に接続され、プロセッサ20はさらに、ホールセンサコンポーネント16を介して筐体11の形態を決定し、プロセッサ20はさらに、ステップ0711、ステップ0712及びステップ0713を実現する。つまり、プロセッサ20はさらに、ホールセンサコンポーネント16のホール値を取得し、ホール値が第1の設定値よりも小さい場合、筐体111が展開形態であると決定し、ホール値が第2の設定値よりも大きい場合、筐体111が折り畳み形態であると決定する。
本実施形態では、第1のセンサ161はホールセンサ161であってもよく、第2のセンサ162は磁石162であってもよい。ここで、ホールセンサ161は、ガウスメータ又はデジタルホールセンサであってもよく、ホール値は、ガウス値である。ホールセンサ161は、第1の筐体111の第2の筐体112に近い一端に設けられ、磁石162は、第2の筐体112の第1の筐体111に近い一端に設けられ、ホールセンサ161に対応する。図2を参照すると、筐体11が展開形態である場合、磁石162のN極は、磁石162のホールセンサ161に近い一端に位置し、磁石162のS極は、ホールセンサ161から離れた磁石162の端部に位置する。図8を参照すると、筐体11が折り畳み形態である場合、第1の筐体111と第2の筐体112は積層され、磁石162とホールセンサ161も積層されている。もちろん、図9を参照すると、筐体11が折り畳み形態である場合、第1の筐体111と第2の筐体112が積層され、磁石162とホールセンサ161が互いにずれていてもよく、ホールセンサ161が磁石162のS極側に位置する。磁石162のS極がホールセンサ161に近い場合、ホールセンサ161の磁場が強いほど、ホールセンサ161によって収集されるホール値は大きくなり且つ正の値となり、磁石162のN極がホールセンサ161に近くなると、ホールセンサ161によって収集されるホール値は小さくなり且つ負の値となる。
ホールセンサ161によって収集されるホール値が第1の設定値よりも小さい場合、例えば、プロセッサ20によって取得されたホールセンサ161のホール値が-90で、第1の設定値-85よりも小さい場合、筐体11が折り畳み形態であると決定し、ホールセンサ161によって収集されたホール値が第2の設定値よりも大きい場合、例えば、プロセッサ20によって取得されたホールセンサ161のホール値は40で、第2の設定値35よりも大きい場合、筐体11が展開形態であると決定する。もちろん、第1の設定値と第2の設定値の大きさは、磁石162の特性、ホールセンサ161と磁石162との間の距離などの要因に関連している。磁石162の特性は、磁石162の材料、形状及びサイズなどを含み、ホールセンサ161と磁石162との間の距離が小さいほど、ホールセンサ161によって収集されたホール値(絶対値)が大きくなる。
本願の実施形態の電子機器100及び制御方法は、ホールセンサコンポーネント16を介して筐体11の形態を決定するため、利用者は、筐体11の形態を手動で選択することなく、レーザプロジェクタ14を使用して、対応するモードでレーザを投射することができ、電子機器100の使用体験を向上させる。同時に、第1のセンサ161は、第1の筐体111の第2の筐体112に近い一端に設けられ、第2のセンサ162は、第2の筐体112の第1の筐体111に近い一端に設けられ、第1のセンサ161に対応し、第2の筐体112が第1の筐体111に対して回転すると、ホールセンサコンポーネント16によって収集されたホール値が大きく変化するため、プロセッサ20は、ホールセンサコンポーネント16によって収集されたホール値が、第1の設定値よりも小さいか又は第2の設定値よりも大きいかを容易に判断し、ホールセンサコンポーネント16は、筐体11の形態を正確に決定することができる。
図10及び図11を参照すると、他の実施形態では、第1のセンサ161は、第1の筐体111の第2の筐体112から離れた一端に設けられてもよく、第2のセンサ162は、第2の筐体112の第1の筐体111から離れた一端に設けられ、第1のセンサ161に対応する。図10を参照すると、筐体11が展開形態である場合、磁石162のN極は、磁石162のホールセンサ161に近い一端に位置し、磁石162のS極は、ホールセンサ161から離れた磁石162の端部に位置する。この場合、ホールセンサ161によって収集されたホール値が小さい。図11を参照すると、筐体11が折り畳み形態である場合、第1の筐体111と第2の筐体112は積層されている、磁石162とホールセンサ161も積層されている。もちろん、図12を参照すると、筐体11が折り畳み形態である場合、第1の筐体111と第2の筐体112は積層され、磁石162とホールセンサ161が互いにずれていてもよく、ホールセンサ161が磁石162のS極側に位置する。磁石162のS極がホールセンサ161に近い場合、ホールセンサ161の磁場が強いほど、ホールセンサ161によって収集されるホール値は大きくなり且つ正の値となり、磁石162のN極がホールセンサ161に近くなると、ホールセンサ161によって収集されるホール値は小さくなり且つ負の値(又は0)となる。ホールセンサ161によって収集されたホール値が第1の設定値よりも小さい場合、例えば、プロセッサ20によって取得されたホールセンサ161のホール値が0で、第1の設定値5よりも小さい場合、筐体11が折り畳み形態であると決定し、ホールセンサ161によって収集されたホール値が第2の設定値よりも大きい場合、例えば、プロセッサ20によって取得されたホールセンサ161のホール値が40で、第2の設定値35よりも大きい場合、筐体11が展開形態であると決定する。
図13及び図14を参照すると、いくつかの実施形態では、電子機器100は、重力センサ17をさらに含み、筐体11が折り畳み形態である場合、前記電子機器100の使用状態を決定するステップは、重力センサ17によって実現することができ、具体的に、制御方法は、
ホールセンサコンポーネント16のホール値を取得するステップ01411と、
ホール値が第1の設定値よりも小さい場合、筐体111が展開形態であると決定するステップ01412と、
ホール値が第2の設定値よりも大きい場合、筐体111が折り畳み形態であると決定するステップ01413と、
重力センサ17のz軸の値を取得するステップ01414と、
z軸の値が第1の設定値よりも大きい場合、電子機器100が前記第1の使用状態にあると決定するステップ01415と、
z軸の値が第2の設定値よりも小さい場合、電子機器100が前記第2の使用状態にあると決定するステップ01416と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0142と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0143と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0144と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ01411が基本的に上記のステップ0711と同じであり、ステップ01412が基本的に上記のステップ0712と同じであり、ステップ01413が基本的に上記のステップ0713と同じであり、ステップ01414、ステップ01415、ステップ01416は、上記のステップ051のサブステップとすることができ、ステップ0142が基本的に上記のステップ052と同じであり、ステップ0143が基本的に上記のステップ053と同じであり、ステップ0144が基本的に上記のステップ054と同じである。上記の制御方法は、プロセッサ20によっても実現することができ、具体的に、プロセッサ20は、重力センサ17に電気的に接続され、プロセッサ20はさらに、重力センサ17を介して電子機器100の使用状態を決定し、プロセッサ20はさらに、ステップ01414、ステップ01415及びステップ01416を実現する。つまり、プロセッサ20はさらに、重力センサ17のz軸の値を取得し、z軸の値が第1の設定値よりも大きい場合、電子機器100が前記第1の使用状態にあると決定し、z軸の値が第2の設定値よりも小さい場合、電子機器100が前記第2の使用状態にあると決定する。
本実施形態では、重力センサ17は、第2の筐体112に設けられ、重力センサ17は3軸加速度センサ16を含む。図13を参照すると、図13は、三軸加速度センサ17により電子機器100の使用状態を決定する原理を示す模式図である。図13に示すように、x軸、y軸、z軸はいずれも、第2の筐体112の位置を基準として、通常、y軸の方向は、第2の筐体112の上方向であり、x軸の方向は、第2の筐体112の右方向であり、z軸の方向は、第2の筐体112の第1の面113の外向きの方向に対して垂直である。z軸の値(加速度値)は、サブディスプレイ122の向きに対応する。
筐体11が折り畳み形態である場合、電子機器100(携帯電話)を使用するユーザから見ると、電子機器100が、サブディスプレイ122を上に向けてデスクに平らに置かれると、x軸の値はデフォルトで0になり、y軸の値はデフォルトで0になり、z軸の値はデフォルトで9.81m/sになり、電子機器100が、サブディスプレイ122を下に向けてデスクに下向きに置かれると、x軸の値はデフォルトで0になり、y軸の値はデフォルトで0になり、z軸の値は-9.81m/sであり、電子機器100を左に傾けた場合、x軸の値は正の値であり、電子機器100を右に傾けた場合、x軸の値は負の値であり、電子機器100を上向きに傾けた場合、y軸の値は負の値であり、電子機器100を下向きに傾けた場合、y軸の値は正の値である。
本実施形態では、筐体11が折り畳み形態であるとき、プロセッサ20によって取得された重力センサ17のz軸の値が第1の設定値よりも大きい場合、例えば、プロセッサ20によって取得された重力センサ17のz軸の値が6m/sで、第1の設定値3m/sよりも大きい場合、サブディスプレイ122が電子機器100の利用者に面していると決定され、このとき、プロセッサ20は、電子機器100が第1の使用状態にあると決定する。プロセッサ20によって取得された重力センサ17のz軸の値が第2の設定値よりも小さい場合、例えば、プロセッサ20によって取得された重力センサ17のz軸の値が-6m/sで、第2の設定値-3m/sよりも小さい場合、メインディスプレイ121が電子機器100の利用者に面していると決定され、このとき、プロセッサ20は、電子機器100が第2の使用状態にあると決定する。
本願の実施形態の電子機器100及び制御方法は、重力センサ17を介して電子機器100の使用状態を決定するため、利用者は、電子機器100の使用状態を手動で選択することなく、レーザプロジェクタ14を使用して、対応するモードでレーザを投射することができ、電子機器100の使用体験を向上させる。
図4を参照すると、いくつかの実施形態では、電子機器100は、プロセッサ20に電気的に接続された状態選択ボタン18をさらに含み、前記電子機器100の使用状態を決定するステップは、状態選択ボタン18によって実現することができ、具体的に、プロセッサ20はさらに状態選択ボタン18を介して電子機器100の使用状態を決定する。状態選択ボタン18は、物理ボタンであってもよく、第1の状態ボタン181及び第2の状態ボタン182を含む。筐体11が折り畳み形態である場合、プロセッサ20は、第1の状態ボタン181がトリガーされたことを検出すると、プロセッサ20は、レーザプロジェクタ14がフレキシブルディスプレイ12側に向けられていると決定し、プロセッサ20は、第2の状態ボタン182がトリガーされたことを検出すると、プロセッサ20は、レーザプロジェクタ14がフレキシブルディスプレイ12の側から離れていると決定する。他の実施形態では、状態選択ボタン18は仮想ボタンであってもよく、状態選択ボタン18は、メインディスプレイ121及びサブディスプレイ122によって示され、例えば、状態選択ボタン18は、メインディスプレイ121及びサブディスプレイ122に示された状態切替ボタンであってもよい。
本願の実施形態の電子機器100及び制御方法は、状態選択ボタン18を介して電子機器100の使用状態を決定するため、利用者が必要に応じて所望の使用状態を正確に選択することができる。
図2を参照すると、いくつかの実施形態では、電子機器100は、可視光カメラ40をさらに含み、可視光カメラ40はメインカメラ41及びサブカメラ42を含み、メインカメラ41及びサブカメラ42はいずれも第1の筐体111に取り付けられ、且つメインカメラ41及びサブカメラ42は、レーザプロジェクタ14が位置する片面に配置されている。メインカメラ41は広角カメラであってもよく、広角カメラは動きに対する感度が低く、低いシャッタースピードで画像の鮮明さが確保され、且つ広角カメラは視野が広く、幅広いシーンをカバーすることができ、前景を強調し、近距離と遠距離のコントラストを強調することができる。サブカメラ42は望遠カメラであってもよく、望遠カメラの望遠レンズは、より遠い物体を識別することができる。また、メインカメラ41はカラーカメラであり、サブカメラ42はモノクロカメラである。ここのカメラは、複数、3つ、4つ、又はそれ以上とすることができる。本実施形態では、レーザプロジェクタ14、サブカメラ42、メインカメラ41及び画像収集装置15は、順に間隔を空けて同一直線に配置され、レーザプロジェクタ14とサブカメラ42とメインカメラ41と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線に垂直である。他の実施形態では、レーザプロジェクタ14とサブカメラ42とメインカメラ41と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線に平行であってもよい。
図13を参照すると、いくつかの実施形態では、サブディスプレイ122は、第2の筐体112から離れたディスプレイの表面123を含む。第1の筐体111は、本体115及び突出部116を含み、メインディスプレイ121と突出部116はそれぞれ、本体115の背向する両側に位置し、筐体11が展開形態である場合、突出部116は、本体115の第2の筐体112から離れた一端に位置し、レーザプロジェクタ14は突出部116に設けられ、突出部116は本体115から離れた突出部の表面117を含み、筐体11が折り畳み形態である場合、突出部の表面117は、ディスプレイの表面123と面一となっている。このように、筐体11が折り畳み形態である場合、電子機器100の外観はより美しくなる。
図15を参照すると、いくつかの実施形態では、レーザプロジェクタ14は、レーザ光源140と第1のドライバー147とを含み、第1のドライバー147は、レーザ光源140を駆動して、測定対象物にレーザを投射することができる。レーザプロジェクタ14及び画像収集装置15はいずれもプロセッサ20に接続されている。プロセッサ20は、レーザプロジェクタ14にイネーブル信号を提供し、具体的に、プロセッサ20は、第1のドライバー147にイネーブル信号を提供することができる。画像収集装置15は、I2Cバスを介してプロセッサ20に接続されている。レーザプロジェクタ14は、例えば赤外線レーザなどのレーザを放出し、レーザが、シーン内の物体に到達すると反射され、反射されたレーザが、画像収集装置15によって受信される。プロセッサ20は、レーザプロジェクタ14から出射されたレーザ及び画像収集装置15によって受信されたレーザに基づいて、物体の深度情報を計算することができる。一例では、レーザプロジェクタ14及び画像収集装置15は、飛行時間(Time of flight、TOF)測距方式によって深度情報を取得することができ、別の例では、レーザプロジェクタ14及び画像収集装置15は、構造光方式の測距原理に基づいて深度情報を取得することができる。本願の明細書は、レーザプロジェクタ14及び画像収集装置15が構造光方式の測距原理に基づいて深度情報を取得することを例として説明し、この場合、レーザプロジェクタ14は赤外線レーザプロジェクタであり、画像収集装置15は赤外線カメラである。
画像収集装置15がレーザプロジェクタ14と組み合わせて使用される場合、一例では、画像収集装置15は、ストロボ信号(strobe信号)によってレーザプロジェクタ14の投射タイミングを制御することができる。ここで、strobe信号は、画像収集装置による画像取得のタイミングに基づいて生成され、strobe信号は、ハイレベルとローレベルとが交互に切り替わる電気信号と見なし、レーザプロジェクタ14は、strobeによって示されるレーザ投射タイミングに従って、レーザを投射する。具体的に、プロセッサ20は、I2Cバスを介して画像収集命令を送信して、レーザプロジェクタ14及び画像収集装置15を起動し、レーザプロジェクタ14及び画像収集装置15を動作させることができる。画像収集装置15は、画像収集命令を受信した後、strobe信号を介してスイッチデバイス30を制御する。strobe信号がハイレベルである場合、スイッチデバイス30は、第1のドライバー147に第1のパルス信号(pwn1)を送信し、第1のドライバー147は、第1のパルス信号に基づいて、シーンにレーザを投射するようにレーザ光源140を駆動し、strobe信号がローレベルである場合、スイッチデバイス30は、第1のパルス信号を第1のドライバー147に送信することを停止し、レーザ光源140は、レーザを投射しない。又は、strobe信号がローレベルである場合、スイッチデバイス30は第1のドライバー147に第1のパルス信号を送信し、第1のドライバー147は、第1のパルス信号に基づいて、シーンにレーザを投射するようにレーザ光源140を駆動し、strobe信号がハイレベルである場合、スイッチデバイス30は、第1のパルス信号を第1のドライバー147に送信することを停止し、レーザ光源140は、レーザを投射しない。別の例では、画像収集装置15がレーザプロジェクタ14と組み合わせて使用される場合、strobe信号が必要とされない。この場合、プロセッサ20は、画像収集命令を画像収集装置15に送信するとともに、レーザ投射命令を第1のドライバー147に送信し、画像収集装置15は、画像収集命令を受信した後、収集画像の取得を開始し、第1のドライバー147は、レーザ投射命令を受信すると、レーザ光源140を駆動してレーザを投射する。レーザプロジェクタ14がレーザを投射すると、レーザはスポットを有するレーザパターンを形成し、シーン内の測定対象物に投射される。画像収集装置15は、測定対象物によって反射されたレーザパターンを収集してスペックル画像を取得し、モバイルインダストリープロセッサインターフェース(Mobile Industry Processor Interface、MIPI)を介してスペックル画像をプロセッサ20に送信する。画像収集装置15は、1フレームのスペックル画像をプロセッサ20に送信する毎に、プロセッサ20は、1つのデータストリームを受信する。プロセッサ20は、スペックル画像及びプロセッサ20に予め記憶された参照画像に基づいて深度画像を計算することができる。
いくつかの実施形態では、可視光カメラ40もI2Cバスを介してプロセッサ20に接続され、つまり、メインカメラ41及びサブカメラ42はいずれもI2Cバスを介してプロセッサ20に接続される。可視光カメラ40は、可視光画像を収集することができ、つまり、メインカメラ41及びサブカメラ42はそれぞれ可視光画像を収集することができ、又はメインカメラ41がサブカメラ42と組み合わせて使用され、可視光画像を収集する。言い換えれば、メインカメラ41及びサブカメラ42のうちのいずれか一方または両方は可視光画像を収集することができる。可視光カメラ40(メインカメラ41及び/又はサブカメラ42)は1フレームの可視光画像をプロセッサ20に送信する毎に、プロセッサ20は、1つのデータストリームを受信する。可視光カメラ40は、単独で使用することができる。即ち、利用者が可視光画像のみを取得したい場合、プロセッサ20は、I2Cバスを介して可視光カメラ40(メインカメラ41及びサブカメラ42のうちのいずれか一方または両方)に画像収集命令を送信して、可視光カメラ40を起動して動作させる。可視光カメラ40は、画像収集命令を受信した後、シーンの可視光画像を収集し、モバイルインダストリープロセッサインターフェースを介してプロセッサ20に可視光画像を送信する。可視光カメラ40(メインカメラ41及びサブカメラ42のうちのいずれか一方、又はメインカメラ41及びサブカメラ42)はレーザプロジェクタ14及び画像収集装置15と組み合わせて使用されることもできる。即ち、利用者が、可視光画像及び深度画像を介して三次元画像を取得したい場合、画像収集装置15と可視光カメラ40の動作周波数が同じである場合、画像収集装置15及び可視光カメラ40は、sync信号によってハードウェア同期を実現する。具体的に、プロセッサ20は、I2Cバスを介して画像収集装置15に画像収集命令を送信する。画像収集装置15は、画像収集命令を受信した後、strobe信号を介して、第1のドライバー147に第1のパルス信号(pwn1)を送信するように、スイッチデバイス30を制御することで、第1のドライバー147が、第1のパルス信号に基づいて、レーザ光源140を駆動してレーザを投射する。同時に、画像収集装置15と可視光カメラ40は、sync信号によって同期され、このsync信号は、可視光カメラ40を制御して可視光画像を収集する。
図13及び図15を参照すると、電子機器100は、第1の筐体111の第1の面113に設けられたフラッドライト50をさらに含む。フラッドライト50は、シーンに均一な表面光を投射することができ、フラッドライト50はフラッドライト光源51及び第2のドライバー52を含み、第2のドライバー52は、フラッドライト光源51を駆動して均一な表面光を投射することができる。フラッドライト50によって放出される光は、赤外線または他の不可視光、例えば紫外線などであってもよい。本願では、フラッドライト50が赤外光を放出することを例として説明するが、フラッドライト50から出射される光の形態はこれに限定されない。フラッドライト50はプロセッサ20に接続され、プロセッサ20は、フラッドライト50を駆動するためのイネーブル信号を提供し、具体的に、プロセッサ20は、第2のドライバー52にイネーブル信号を提供することができる。フラッドライト50は、画像収集装置15と組み合わせて、赤外線画像を収集することができる。画像収集装置15がフラッドライト50と組み合わせて使用される場合、一例では、画像収集装置15は、ストロボ信号(strobe信号、このstrobe信号、及びレーザプロジェクタ14を制御するための画像収集装置15のstrobe信号は、2つの独立したstrobe信号である)を介して、フラッドライト50によって投射される赤外光の投射タイミングを制御することができ、strobe信号は、画像収集装置15による画像取得のタイミングに基づいて生成され、strobe信号は、ハイレベルとローレベルとが交互に切り替わる電気信号と見なし、フラッドライト50は、strobeによって示される赤外光投射タイミングに従って、レーザを投射する。具体的に、プロセッサ20は、I2Cバスを介して画像収集装置15に画像収集命令を送信し、画像収集装置15は、画像収集命令を受信した後、strobe信号を介してスイッチデバイス30を制御し、strobe信号がハイレベルである場合、第2のドライバー52は、第2のパルス信号(pwn2)を送信し、第2のドライバー52は、第2のパルス信号に基づいて、赤外光を投射するようにフラッドライト光源51を駆動し、strobe信号がローレベルである場合、スイッチデバイス30は、第2のパルス信号を第2のドライバー52に送信することを停止し、フラッドライト光源51、レーザを投射しない。又は、strobe信号がローレベルである場合、スイッチデバイス30は第2のドライバー52に第2のパルス信号を送信し、第2のドライバー52は、第2のパルス信号に基づいて、赤外光を投射するようにフラッドライト光源51を制御し、strobe信号がハイレベルである場合、スイッチデバイス30は、第2のパルス信号を第2のドライバー52に送信することを停止し、フラッドライト光源51は、赤外光を投射しない。フラッドライト50が赤外光を投射する場合、画像収集装置15は、シーン内の物体によって反射された赤外光を受信して赤外線画像を形成し、モバイルインダストリープロセッサインターフェースを介して赤外線画像をプロセッサ20に送信する。画像収集装置15は、1フレームの赤外線画像をプロセッサ20に送信する毎に、プロセッサ20は、1つのデータストリームを受信する。この赤外線画像は通常、虹彩認識、顔認識などに用いられる。
図2及び図16を参照すると、いくつかの実施形態では、電子機器100は、画像収集装置15をさらに含み、画像収集装置15は、第1の筐体111の第2の面114に設けられ、レーザプロジェクタ14がレーザを投射する場合(レーザプロジェクタ14が第1のモードでレーザを投射する場合、又はレーザプロジェクタ14が第2のモードでレーザを投射する場合)、レーザプロジェクタ14は第1の動作周波数でシーンにレーザを投射し、制御方法は、
画像収集装置15は、第1の動作周波数よりも大きい第2の動作周波数で収集画像を取得するステップ0165と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0166と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0167と、をさらに含む。
つまり、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0161と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0162と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0163と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0164と、
画像収集装置15は、第1の動作周波数よりも大きい第2の動作周波数で収集画像を取得するステップ0165と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0166と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0167と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0161が基本的に上記のステップ051と同じであり、ステップ0162が基本的に上記のステップ052と同じであり、ステップ0163が基本的に上記のステップ053と同じであり、ステップ0164が基本的に上記のステップ054と同じである。画像収集装置15は、ステップ0165を実現し、プロセッサ20はさらにステップ0166とステップ0167を実現することができる。つまり、画像収集装置15は、第2の動作周波数で収集画像を取得し、プロセッサ20はさらに、収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別し、第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算する。
具体的に、画像収集装置15とレーザプロジェクタ14の動作周波数が異なる(即ち第2の動作周波数が第1の動作周波数よりも大きい)場合、例えば、ロック解除、支払い、復号化、及び3次元モデリングなどの使用シナリオにおいて、深度画像を取得する必要がある。一例では、プロセッサ20は、I2Cバスを介して、深度画像を取得するための画像収集命令を、画像収集装置15及び第1のドライバー147に同時に送信する。第1のドライバー147は、画像収集命令を受信した後、第1の動作周波数でシーンに赤外線レーザを投射するように、レーザ光源140を駆動する。画像収集装置15は、画像収集命令を受信した後、第2の動作周波数で、シーン内の物体によって反射された赤外線レーザを収集して、収集画像を取得する。例えば、図17に示すように、実線は、レーザプロジェクタ14がレーザを投射するタイミングを表し、破線は、画像収集装置15が収集画像を取得するタイミング、及び収集画像のフレーム数を表し、一点鎖線は、第1の画像及び第2の画像から得られた第3の画像のフレーム数を表し、図17の上から下は、実線、破線及び一点鎖線の順であり、ここで、第2の動作周波数は、第1の動作周波数の2倍である。図17の実線及び破線を参照すると、画像収集装置15は、レーザプロジェクタ14がレーザを投射していないときに、環境内の赤外光(以下、環境赤外光と呼ぶ)を先に受信して、第Nフレームの収集画像(この場合は第1の画像であり、背景画像とも呼ばれる)を取得し、モバイルインダストリープロセッサインターフェースを介して第Nフレームの収集画像をプロセッサ20に送信する。そして、画像収集装置15は、レーザプロジェクタ14がレーザを投射する場合、環境赤外光、及びレーザプロジェクタ14から出射される赤外線レーザを受信して、第N+1フレームの収集画像(この場合は第2の画像であり、干渉スペックル画像とも呼ばれる)を取得し、モバイルインダストリープロセッサインターフェースを介して、第N+1フレームの収集画像をプロセッサ20に送信する。続いて、画像収集装置15は、レーザプロジェクタ14がレーザを投射していないときに、環境赤外光を受信して、第N+2フレームの収集画像(この場合は第1の画像)を取得し、モバイルインダストリープロセッサインターフェースを介して、第N+2フレームの収集画像をプロセッサ20に送信し、類推により、画像収集装置15は、第1の画像と第2の画像を交互に取得する。
別の例では、プロセッサ20は、I2Cバスを介して、深度画像を取得するための収集命令を画像収集装置15に送信する。画像収集装置15は、画像収集命令を受信した後、strobe信号を介して、第1のドライバー147に第1のパルス信号を送信するようにスイッチを制御し、第1のドライバー147は、第1のパルス信号に基づいて、レーザ光源140を駆動して、第1の動作周波数でレーザを投射する(即ちレーザプロジェクタ14は第1の動作周波数でレーザを投射する)。同時に、画像収集装置15は、第2の動作周波数でシーン内の物体によって反射された赤外線レーザを収集して、収集画像を取得する。図17に示すように、実線は、レーザプロジェクタ14がレーザを投射するタイミングを表し、破線は、画像収集装置15が収集画像を取得するタイミング、及び収集画像のフレーム数を表し、一点鎖線は、第1の画像及び第2の画像から得られた第3の画像のフレーム数を表し、図17の上から下は、実線、破線及び一点鎖線の順であり、ここで、第2の動作周波数は、第1の動作周波数の2倍である。図17の実線及び破線を参照すると、画像収集装置15は、レーザプロジェクタ14がレーザを投射していないときに、環境赤外光を先に受信して、第Nフレームの収集画像(この場合は第1の画像であり、背景画像とも呼ばれる)を取得し、モバイルインダストリープロセッサインターフェースを介して第Nフレームの収集画像をプロセッサ20に送信する。そして、画像収集装置15は、レーザプロジェクタ14がレーザを投射する場合、環境赤外光、及びレーザプロジェクタ14から出射される赤外線レーザを受信して、第N+1フレームの収集画像(この場合は第2の画像であり、干渉スペックル画像とも呼ばれる)を取得し、モバイルインダストリープロセッサインターフェースを介して、第N+1フレームの収集画像をプロセッサ20に送信する。続いて、画像収集装置15は、レーザプロジェクタ14がレーザを投射していないときに、環境赤外光を受信して、第N+2フレームの収集画像(この場合は第1の画像)を取得し、モバイルインダストリープロセッサインターフェースを介して、第N+2フレームの収集画像をプロセッサ20に送信し、類推により、画像収集装置15は、第1の画像と第2の画像を交互に取得する。
なお、画像収集装置15は、収集画像をプロセッサ20に送信すると同時に、収集画像の取得を実行することができる。また、画像収集装置15も、先に第2の画像を取得し、次に第1の画像を取得し、この順で収集画像の取得を交互に行うことができる。また、上記の第2の動作周波数と第1の動作周波数との倍数関係は一例に過ぎず、他の実施例では、第2の動作周波数と第1の動作周波数との倍数関係は三倍、四倍、五倍、又は六倍などであってもよい。
プロセッサ20は、1フレームの収集画像を受信するたびに、受信された収集画像を区別し、収集画像が第1の画像であるか第2の画像であるかを判断する。プロセッサ20は、少なくとも1フレームの第1の画像、及び少なくとも1フレームの第2の画像を受信した後、第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算することができる。具体的に、第1の画像は、レーザプロジェクタ14がレーザを投射していないときに収集されるため、第1の画像を形成する光は、環境赤外光のみを含み、第2の画像は、レーザプロジェクタ14がレーザを投射しているときに収集されるため、第2の画像を形成する光は、環境赤外光と、レーザプロジェクタ14から出射された赤外線レーザとを含む。従って、プロセッサ20は、第1の画像に基づいて、第2の画像における、環境赤外光によって形成された収集画像の部分を除去することができる。これにより、赤外線レーザのみによって形成された収集画像(即ち、赤外線レーザによって形成されたスペックル画像)を取得する。
なお、環境光は、レーザプロジェクタ14から出射される赤外線レーザと同じ波長を有する赤外線を含む(例えば、940nmの環境赤外光を含む)。画像収集装置15は、収集画像を取得する場合、この部分の赤外光も受信する。シーンの明るさが高い場合、画像収集装置15が受信する光において環境赤外光で占められる割合が増加し、収集画像におけるレーザスペックルが目立たなくなり、深度画像の計算に影響を与える。
本願の制御方法は、レーザプロジェクタ14及び画像収集装置15が異なる動作周波数で動作するように制御し、画像収集装置15は、環境赤外光のみによって形成された第1の画像と、環境赤外光及びレーザプロジェクタ14から出射される赤外線レーザによって形成された第2の画像とを収集し、第1の画像に基づいて、第2の画像における、環境赤外光によって形成された画像の部分を除去することができる。これにより、レーザスペックルを区別し、レーザプロジェクタ14から出射される赤外線レーザのみによって形成された収集画像を採用して、深度画像を計算することができる。レーザスペックルのマッチングは影響を受けず、深度情報の部分的または完全な損失を回避できるため、深度画像の精度が向上する。
図2及び図18を参照すると、いくつかの実施形態では、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0181と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0182と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0183と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0184と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0185と、
各フレームの収集画像に画像タイプを追加するステップ01861と、
画像タイプに応じて、第1の画像と第2の画像とを区別するステップ01862と
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0187と、を含む。
図2及び図19を参照すると、いくつかの実施形態では、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0191と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0192と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0193と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0194と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0195と、
各フレームの収集画像の収集時間に応じて、収集時間にレーザプロジェクタ14の動作状態を決定するステップ019611と、
動作状態に基づいて、各フレームの収集画像に画像タイプを追加するステップ019612と、
画像タイプに応じて、第1の画像と第2の画像とを区別するステップ01962と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0197と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0181が基本的に上記のステップ051と同じであり、ステップ0182が基本的に上記のステップ052と同じであり、ステップ0183が基本的に上記のステップ053と同じであり、ステップ0184が基本的に上記のステップ054と同じであり、ステップ0185が基本的に上記のステップ0165と同じであり、ステップ01861及びステップ01862は、上記のステップ0166のサブステップとすることができ、ステップ0187が基本的に上記のステップ0167と同じであり、ステップ0191が基本的に上記のステップ051と同じであり、ステップ0192が基本的に上記のステップ052と同じであり、ステップ0193が基本的に上記のステップ053と同じであり、ステップ0194が基本的に上記のステップ054と同じであり、ステップ0195が基本的に上記のステップ0165と同じであり、ステップ019611とステップ019612は、上記のステップ01861のサブステップとすることができ、ステップ01962が基本的に上記のステップ01862と同じであり、ステップ0197が基本的に上記のステップ0167と同じである。ステップ01861、ステップ01862、ステップ019611、ステップ019612及びステップ01962は、いずれもプロセッサ20によって実現することができる。即ち、プロセッサ20はさらに、各フレームの収集画像に画像タイプを追加し、画像タイプに応じて、第1の画像と第2の画像とを区別する。プロセッサ20は、各フレームの収集画像に画像タイプを追加する場合、具体的に、各フレームの収集画像の収集時間に応じて、収集時間にレーザプロジェクタ14の動作状態を決定し、動作状態に基づいて、各フレームの収集画像に画像タイプを追加する。
具体的に、プロセッサ20は、後続の処理において、画像タイプに従って、第1の画像と第2の画像とを区別するように、画像収集装置15から1フレームの収集画像を受信するたびに、収集画像に画像タイプ(stream_type)を追加する。具体的に、画像収集装置15が収集画像を取得する間、プロセッサ20は、I2Cバスを介してリアルタイムにレーザプロジェクタ14の動作状態を監視する。プロセッサ20は、画像収集装置15から1フレームの収集画像を受信するたびに、先に収集画像の収集時間を取得し、次に収集画像の収集時間に従って、レーザプロジェクタ14の動作状態が、収集画像の収集時にレーザを投射しているか否かを判断し、その判断結果に基づいて、収集画像に画像タイプを追加する。ここで、収集画像の収集時間は、画像収集装置15が各フレームの収集画像を取得する開始時間、終了時間、及び開始時間と終了時間との間の任意の時間などであってもよい。このように、各フレームの収集画像と、当該フレームの収集画像を取得する間にレーザプロジェクタ14の動作状態(レーザを投射しているか否か)との対応を実現し、収集画像のタイプを正確に区別することができる。一例では、画像タイプstream_typeの構造は表1に示すとおりである。
Figure 2022535520000002
表1において、streamが0である場合、この時のデータストリームが赤外光及び/又は赤外線レーザによって形成された画像であることを表す。lightが00の場合、この時のデータストリームが、赤外光及び/又は赤外線レーザ(環境赤外光のみ)を投射するためのデバイスなしで取得されることを表し、プロセッサ20は、収集画像に000という画像タイプを追加し、この収集画像を第1の画像として識別することができる。lightが01の場合、この時のデータストリームは、レーザプロジェクタ14が赤外線レーザ(環境赤外光と赤外線レーザの両方)を投射するときに取得されることを表す。プロセッサ20は、収集画像に001という画像タイプを追加し、この収集画像を第2の画像として識別することができる。次に、プロセッサ20は、stream_typeに従って収集画像の画像タイプを区別することができる。
図2及び図20を参照すると、いくつかの実施形態では、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0201と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0202と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0203と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0204と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0205と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0206と、
第1の画像と第2の画像とに基づいて第3の画像を計算するステップであって、第1の画像の収集時間と第2の画像の収集時間との差が所定の差よりも小さいステップ02071と、
第3の画像と参照画像とに基づいて深度画像を計算するステップ02072と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0201が基本的に上記のステップ051と同じであり、ステップ0202が基本的に上記のステップ052と同じであり、ステップ0203が基本的に上記のステップ053と同じであり、ステップ0204が基本的に上記のステップ054と同じであり、ステップ0205が基本的に上記のステップ0165と同じであり、ステップ0206が基本的に上記のステップ0166と同じであり、ステップ02071とステップ02072は、上記のステップ0167のサブステップとすることができる。ステップ02071及びステップ02072はいずれもプロセッサ20によって実現することができる。即ち、プロセッサ20はさらに、第1の画像と第2の画像とに基づいて第3の画像を計算し、第3の画像と参照画像とに基づいて深度画像を計算する。ここで、第1の画像の収集時間と第2の画像の収集時間との差が所定の差よりも小さい。
深度画像を計算するうちに、プロセッサ20は、先に第1の画像と第2の画像とを区別し、次に収集時間に基づいて、任意のフレームの第2の画像と、この任意のフレームの第2の画像に対応する特定のフレームの第1の画像を選択し、ここで、この特定のフレームの第1の画像の収集時間とこの任意のフレームの第2の画像の収集時間との間の差が、所定の差よりも小さい。続いて、プロセッサ20は、この特定のフレームの第1の画像とこの任意のフレームの第2の画像とに基づいて、第3の画像を計算し、第3の画像は、レーザプロジェクタ14によって出射される赤外線レーザのみによって形成された収集画像であり、実際のスペックル画像とも呼ばれる。具体的に、第1の画像における複数のピクセルポイントと第2の画像における複数のピクセルポイントは1対1で対応しており、第1の画像がP1であり、第2の画像がP2であり、第3の画像がP3である場合、プロセッサ20は、第2の画像におけるピクセルポイントP2i、jのピクセル値から、第1の画像におけるピクセルポイントP1i、jのピクセル値を差し引いて、第3の画像におけるピクセルポイントP3i、jのピクセル値を取得することができる。即ち、P3i、j=P2i、j-P1i、j、i∈N+、j∈N+である。続いて、プロセッサ20は、第3の画像と参照画像に基づいて深度画像を計算し、ここで、第2の画像のフレーム数、第3の画像のフレーム数及び深度画像のフレーム数はすべて等しい。なお、第1の画像の収集時間と第2の画像の収集時間との差が小さいため、第1の画像の環境赤外光の強度は、第2の画像の環境赤外光の強度により近い。第1の画像と第2の画像とに基づいて計算された第3の画像の精度がより高く、深度画像の取得に対する環境赤外光の影響をさらに低減するのに有益である。
いくつかの実施形態では、プロセッサ20はまた、収集画像を処理した後に取得された各データストリームを区別するように、第3の画像及び深度画像に画像タイプを追加することができる。表2に示すとおりである。
Figure 2022535520000003
表2のstreamが0である場合、この時点でのデータストリームが、赤外光及び/又は赤外線レーザによって形成された画像であり、streamが1である場合、この時点でのデータストリームが深度画像であることを表す。lightが11である場合、背景除去処理を表し、背景除去処理は、収集画像から環境赤外光によって形成された部分を除去することを表す。プロセッサ20は、背景除去処理後のデータストリームに011という画像タイプを追加して、このデータストリームを第3の画像として識別することができる。LightがXXである場合、Xは値が制限されていないことを表し、プロセッサ20は、深度計算後に得られたデータストリームに、1XXという画像タイプを追加して、このデータストリームを深度画像として識別することができる。
いくつかの実施形態では、深度画像の計算に関与する第1の画像及び第2の画像では、第1の画像の収集時間は、第2の画像の収集時間の前であってもよいし、第2の画像の収集時間の後であってもよく、ここで限定されない。
いくつかの実施形態では、第1の画像の収集時間と第2の画像の収集時間との差が所定の差よりも小さい場合、第1の画像と第2の画像は、隣接するフレームの画像であってもよいし、隣接しないフレームの画像であってもよい。例えば、第2の動作周波数が第1の動作周波数の2倍である場合、第1の画像と第2の画像との差が所定の差よりも小さい画像は、隣接するフレームの画像である。第2の動作周波数と第1の動作周波数との間の倍数が2倍よりも大きい場合、例えば、第2の動作周波数が第1の動作周波数の3倍である場合、第1の画像と第2の画像との差が所定の差よりも小さい画像は、隣接するフレームの画像であってもよいし、隣接しないフレームの画像(この場合、第1の画像と第2の画像との間に1フレームの第1の画像が存在する)であってもよい。
いくつかの実施形態では、深度画像の計算に関与する第1の画像のフレーム数は複数のフレームであってもよい。例えば、第2の動作周波数が第1の動作周波数の3倍である場合、2フレームの隣接する第1の画像及び当該2フレームの第1の画像に隣接する1フレームの第2の画像を選択して、第3の画像を計算することができる。この場合、プロセッサ20は、先に2フレームの第1の画像に対して融合処理を実行し、例えば、2フレームの第1の画像に対応するピクセルポイントのピクセル値を加算し、次に平均値を取得して融合処理後の第1の画像を取得し、融合処理後の第1の画像及び上記の隣接する1フレームの第2の画像を採用して、第3の画像を計算することができる。
いくつかの実施形態では、プロセッサ20は、複数のフレームの第3の画像を算出し、例えば図17の第(N+1)-Nフレームの第3の画像、第(N+3)-(N+2)フレームの第3の画像、第(N+5)-(N+4)フレームの第3の画像などを算出し、複数のフレームの第3の画像に応じて、複数のフレームの深度画像を算出することができる。もちろん、他の実施形態では、プロセッサ20は、1フレームの第3の画像のみを算出し、1フレームの第3の画像に応じて1フレームの深度画像を算出することもできる。第3の画像のフレーム数は、適用シナリオのセキュリティレベルに応じて決定することができる。具体的に、適用シナリオのセキュリティレベルが高い場合、例えば支払いなどのセキュリティレベルが高い適用シナリオに対して、第3の画像のフレーム数を増やす必要がある。この場合、支払いのセキュリティを向上させるために、支払い動作を実行する前に、複数のフレームの深度画像が、利用者の深度テンプレートを正常に一致させる必要がある。適用シナリオのセキュリティレベルが低い場合、例えば、深度情報に基づくポートレート美化の適用シナリオに対しては、第3の画像のフレーム数が少なくてもよく、例えば、1フレームである。この場合、ポートレート美化には1フレームの深度画像で十分であるため、プロセッサ20の計算量や消費電力を低減し、画像処理の速度を上げることができる。
図2及び図21を参照すると、いくつかの実施形態では、制御方法は、
第3の動作周波数で可視光画像を収集するステップであって、第3の動作周波数が、第2の動作周波数よりも大きい又は小さいステップ0218と、
各フレームの可視光画像及び各フレームの収集画像に収集時間を追加するステップ0219と、
可視光画像の収集時間、収集画像の収集時間及び収集画像の画像タイプに応じて、フレーム同期の可視光画像と第2の画像を決定するステップ0220と、をさらに含む。
つまり、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0211と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0212と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0213と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0214と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0215と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0216と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0217と、
第3の動作周波数で可視光画像を収集するステップであって、第3の動作周波数が、第2の動作周波数よりも大きい又は小さいステップ0218と、
各フレームの可視光画像及び各フレームの収集画像に収集時間を追加するステップ0219と、
可視光画像の収集時間、収集画像の収集時間及び収集画像の画像タイプに応じて、フレーム同期の可視光画像と第2の画像を決定するステップ0220とを含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0211が基本的に上記のステップ051と同じであり、ステップ0212が基本的に上記のステップ052と同じであり、ステップ0213が基本的に上記のステップ053と同じであり、ステップ0214が基本的に上記のステップ054と同じであり、ステップ0215が基本的に上記のステップ0165と同じであり、ステップ0216が基本的に上記のステップ0166と同じであり、ステップ0217が基本的に上記のステップ0167と同じである。ステップ0218は、可視光カメラ40(メインカメラ41及びサブカメラ42のうちのいずれか一方、又はメインカメラ41及びサブカメラ42)によって実現することができる。ステップ0219及びステップ0220は、プロセッサ20によって実現することができる。即ち、可視光カメラ40は、第3の動作周波数で可視光画像を収集し、第3の動作周波数が、第2の動作周波数よりも大きい又は小さい。プロセッサ20は、各フレームの可視光画像及び各フレームの収集画像に収集時間を追加し、可視光画像の収集時間、収集画像の収集時間及び収集画像の画像タイプに応じて、フレーム同期の可視光画像と第2の画像を決定する。
いくつかの適用シナリオでは、例えば、シーン内の物体の3次元モデリングが行われる適用シナリオでは、画像収集装置15を介してシーン内の物体の深度情報を取得し、可視光カメラ40を介してシーン内の物体の色情報を取得することで、3次元モデリングが可能となる。この場合、プロセッサ20は、画像収集装置15をオンにして深度画像を取得するとともに、可視光カメラ40をオンにして可視光画像を取得する必要がある。
画像収集装置15が、可視光カメラ40と同じ動作周波数を有する場合、即ち画像収集装置15と可視光カメラ40の両方が第2の動作周波数で動作する場合、プロセッサ20は、I2Cバスを介して画像収集命令を画像収集装置15に送信し、画像収集装置15が画像収集命令を受信した後、画像収集装置15と可視光カメラ40は、sync信号によって同期され、このsync信号は、可視光カメラ40を制御して可視光画像の収集を開始し、画像収集装置15と可視光カメラ40との間のハードウェア同期を実現する。この場合、収集画像のフレーム数は、可視光画像のフレーム数と一致しており、各フレームの収集画像は、各フレームの可視光画像にそれぞれ対応する。
一方、画像収集装置15と可視光カメラ40の動作周波数が異なる場合、即ち画像収集装置15が第2の動作周波数で動作し、可視光カメラ40が第2の動作周波数と等しくない第3の動作周波数で動作する場合、画像収集装置15及び可視光カメラ40は、ハードウェア同期を達成することができない。この場合、プロセッサ20は、ソフトウェア同期により、画像収集装置15と可視光カメラ40とを同期させる必要がある。具体的に、プロセッサ20は、画像収集装置15に接続されたI2Cバスを介して、画像収集命令を画像収集装置15に送信するとともに、可視光カメラ40に接続されたI2Cバスを介して、画像収集命令を可視光カメラ40に送信する。プロセッサ20は、1フレームの収集画像を受信するたびに、各フレームの収集画像に画像タイプを追加して、各フレームの収集画像に収集時間を追加する。また、プロセッサ20は、1フレームの可視光画像を受信するたびに、各フレームの可視光画像に収集時間を追加する。ここで、収集画像の収集時間は、画像収集装置15による各フレームの収集画像を収集する開始時間、終了時間、及び開始時間と終了時間との間の任意の時間などであってもよい。可視光画像の収集時間は、可視光カメラ40による各フレームの可視光画像を収集する開始時間、終了時間、及び開始時間と終了時間との間の任意の時間などであってもよい。その後、深度画像及び可視光画像に基づいてさらなる処理(例えば、3次元モデリング、深度情報によるポートレート美化などの処理)を行う場合、プロセッサ20は、先に可視光画像の収集時間、収集画像の収集時間及び収集画像のタイプに基づいて、フレーム同期の可視光画像と第2の画像を決定することができる。ここで、フレーム同期とは、決定された第2の画像の収集時間と可視光画像の収集時間との差が、予め設定された時間差よりも小さいことを意味し、可視光画像の収集時間は、第2の画像の収集時間の前であってもよいし、第2の画像の収集時間の後であってもよい。その後、プロセッサ20は、決定された第2の画像に基づいて、第1の画像を選択して、さらに第2の画像、第1の画像及び参照画像に基づいて、深度画像を計算する。最後、プロセッサ20は、深度画像と、決定された可視光画像とに基づいて、後続の処理を実行する。
いくつかの実施形態では、プロセッサ20は、先に各フレームの深度画像に収集時間を追加し、次に可視光画像の収集時間と深度画像の収集時間とに基づいて、フレーム同期の可視光画像及び深度画像を決定し、最後にフレーム同期の可視光画像及び深度画像を処理することもできる。ここで、各フレームの深度画像の収集時間は、当該フレームの深度画像に対応する第2の画像の収集時間である。
図22を参照すると、いくつかの実施形態では、収集画像は、赤外線画像をさらに含み、赤外線画像は、フラッドライト50から出射された赤外光を収集する画像収集装置15によって得られる画像である。プロセッサ20は、各フレームの収集画像に画像タイプを追加するとともに、赤外線画像に画像タイプを追加する。一例では、赤外線画像の画像タイプは表3に示すとおりである。
Figure 2022535520000004
表3のstreamが0である場合、この時点でのデータストリームが、赤外光及び/又は赤外線レーザによって形成された画像であることを表す。lightが10の場合、この時点でのデータストリームが、フラッドライト50が赤外光を投射し且つレーザプロジェクタ14がレーザを投射していないときに取得されることを表す。このように、プロセッサ20は、収集画像に010という画像タイプを追加し、これは、この1フレームの収集画像を赤外線画像として識別する。
いくつかの適用シナリオでは、例えば、深度画像と深度テンプレートのマッチング、及び赤外線画像と赤外線テンプレートのマッチングに基づいて、アイデンティティ検証を実現する適用シナリオでは、画像収集装置15は、フラッドライト50及びレーザプロジェクタ14と組み合わせて使用する必要があり、画像収集装置15は、時分割方式で第1の画像、第2の画像及び赤外線画像を取得することができる。図22に示すように、実線は、レーザプロジェクタ14がレーザを投射するタイミングを表し、二点鎖線は、フラッドライト50が赤外光を投射するタイミングを表し、破線は、画像収集装置15が収集画像を取得するタイミング、及び収集画像のフレーム数を表し、一点鎖線は、第1の画像及び第2の画像から得られた第3の画像のフレーム数を表し、図22の上から下は、実線、二点鎖線、破線及び一点鎖線の順であり、ここで、第2の動作周波数は、第1の動作周波数の3倍であり、第2の動作周波数は、第4の動作周波数の3倍である。プロセッサ20は、I2Cバスを介して、リアルタイムにフラッドライト50の動作状態を監視することができる。プロセッサ20は、画像収集装置15から1フレームの収集画像を受信するたびに、先に収集画像の収集時間を取得し、次に収集画像の収集時間に基づいて、フラッドライト50の動作状態が、収集画像の収集時に赤外光を投射しているか否かを判断し、その判断結果に基づいて、収集画像に画像タイプを追加する。その後、プロセッサ20は、赤外線画像の収集時間と第2の画像の収集時間とに基づいて、収集時間の差が、所定の差よりも小さい赤外線画像、及び第2の画像を決定し、さらに、プロセッサ20は、赤外線画像及び深度画像を決定し、この赤外線画像及びこの深度画像を使用して、アイデンティティ検証を行うことができる。
図2及び図23を参照すると、いくつかの実施形態では、制御方法は、
シーンの明るさ及びタイプを取得するステップ0231と、
明るさが明るさ閾値よりも大きく、かつタイプが室外シーンであるか否かを判断するテップ0232と、
そうである場合、筐体11の形態及び電子機器100の使用状態を決定するステップ(ステップ0233)と、をさらに含む。
つまり、制御方法は、
シーンの明るさ及びタイプを取得するステップ0231と、
明るさが明るさ閾値よりも大きく、かつタイプが室外シーンであるか否かを判断するテップ0232と、
そうである場合、筐体11の形態及び電子機器100の使用状態を決定するステップ0233と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0234と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0235と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0236と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0237と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0238と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0239と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0233が基本的に上記のステップ051と同じであり、ステップ0234が基本的に上記のステップ052と同じであり、ステップ0235が基本的に上記のステップ053と同じであり、ステップ0236が基本的に上記のステップ054と同じであり、ステップ0237が基本的に上記のステップ0165と同じであり、ステップ0238が基本的に上記のステップ0166と同じであり、ステップ0239が基本的に上記のステップ0167と同じである。ステップ0231とステップ0232はいずれもプロセッサ20によって実現することができる。即ち、プロセッサ20は、シーンの明るさ及びタイプを取得し、明るさが明るさ閾値よりも大きく、かつタイプが室外シーンであるか否かを判断する。レーザプロジェクタ14は、明るさが明るさ閾値よりも大きく、かつタイプが室外シーンである場合、第1の動作周波数でシーンにレーザを投射する。
具体的に、シーンの明るさは、画像収集装置15によって取得された収集画像又は可視光カメラ40(メインカメラ41とサブカメラ42のうちのいずれか一方、又はメインカメラ41及びサブカメラ42)によって取得された可視光画像を分析することによって得ることができる。又は、シーンの明るさは、光センサによって直接検出してもよく、プロセッサ20は、光センサから、検出された信号を読み取り、シーンの明るさを取得する。シーンのタイプは、画像収集装置15によって取得された収集画像又は可視光カメラ40によって取得された可視光画像を分析することによって得ることができる。例えば、収集画像又は可視光カメラ40によって取得された可視光画像内の物体を分析して、シーンのタイプが室外シーンであるか室内シーンであるかを判断する。シーンのタイプは、地理的位置に基づいて直接決定してもよく、具体的に、プロセッサ20は、グローバル衛星測位システムによるシーンの測位結果を取得し、さらに測位結果に基づいて、シーンのタイプを判断し、例えば、シーンの測位結果が特定のオフィスビルである場合、そのシーンが室内シーンであることを意味し、シーンの測位結果が特定の公園である場合、そのシーンが室外シーンであることを意味し、シーンの測位結果が特定の回路である場合、そのシーンが室外シーンであることを意味する。
なお、シーンの明るさが高い(例えば明るさが明るさ閾値よりも大きい)場合、収集画像における環境赤外光が大きな割合を占めるため、ポイントの認識に大きな影響を与える。この場合、環境赤外光の干渉を取り除く必要がある。一方、シーンの明るさが低い場合、収集画像における環境赤外光の割合が小さいため、ポイントの認識への影響が少なくなり、無視できるようになる。この場合、画像収集装置15及びレーザプロジェクタ14は、同じ動作周波数で動作することができ、プロセッサ20は、画像収集装置15によって取得された収集画像(即ち第2の画像)及び参照画像に基づいて、深度画像を直接計算することができる。また、シーンの明るさが高い場合は、室内灯の強い光が原因である可能性があり、光には赤外光が含まれていないため、スポット認識に大きな影響を与えない。この場合、画像収集装置15及びレーザプロジェクタ14は、同じ動作周波数で動作し、プロセッサ20は、画像収集装置15によって取得された収集画像(即ち第2の画像)と参照画像とに基づいて深度画像を直接計算する。このようにして、画像収集装置15の動作周波数を低減し、画像収集装置15の消費電力を低減することができる。
もちろん、いくつかの実施形態では、制御方法は、シーンの明るさのみに基づいて、ステップ0233を実行するか否かを判断することができる。具体的に、プロセッサ20は、シーンの明るさのみを取得し、シーンの明るさが明るさ閾値よりも大きいかを判断し、レーザプロジェクタ14は、明るさが明るさ閾値よりも大きい場合、第1の動作周波数でシーンにレーザを投射する。
いくつかの実施形態では、プロセッサ20は、各データストリームに状態情報(status)を追加することができる。一例では、表4に示すとおりである。
Figure 2022535520000005
状態情報statusが0である場合、この時点でのデータストリームが、背景除去処理を受けていないことを表し、状態情報statusが1の場合、このデータストリームが、背景除去処理を受けていることを表す。表4において、0000は、第1の画像を表し、0010は、第2の画像を表し、0100は、フラッドライト50がオンになったときに画像収集装置15によって取得された赤外線画像を表し、0111は、第3の画像を表し、1XX1は、背景除去処理後の深度画像を表し、1XX0は、背景除去処理なしの深度画像を表す。このように、各データストリームに状態情報が追加され、プロセッサ20は、各データストリームが背景除去処理を受けたか否かを区別することができる。
いくつかの実施形態では、プロセッサ20は、第1の記憶領域、第2の記憶領域及び論理減算回路を含み、論理減算回路は、第1の記憶領域と第2の記憶領域の両方に接続されている。ここで、第1の記憶領域は、第1の画像を記憶するために使用され、第2の記憶領域は、第2の画像を記憶するために使用され、論理減算回路は、第1の画像及び第2の画像を処理して第3の画像を取得するために使用される。具体的に、論理減算回路は、第1の記憶領域から第1の画像を読み取り、第2の記憶領域から第2の画像を読み取り、第1の画像及び第2の画像を取得した後、第1の画像及び第2の画像に対して減算処理を実行して第3の画像を取得する。論理減算回路はまた、プロセッサ20内の深度計算モジュール(例えば、深度を計算するために専用の集積回路ASICなど)に接続され、論理減算回路は、第3の画像を深度計算モジュールに送信し、深度計算モジュールは、第3の画像と参照画像とに基づいて深度画像を計算する。
本明細書の説明においては、「一実施形態」、「いくつかの実施形態」、「例示的な実施形態」、「例」、「示例」「具体的な例」、又は「いくつかの例」などの用語を参照した説明は、実施形態又は例を参照しながら説明した特定の特徴、構造、材料又は特性が、本願の少なくとも1つの実施形態又は例に含まれることを意味している。本明細書において、上記用語の模式的な表現は同じ実施形態又は例に、必ずしも言及しているというわけではない。また、説明した特定の特徴、構造、材料又は特性は任意の1つ又は複数の実施形態又は例において、適切な方法で組み合わせてもよい。また、相互に矛盾しない場合において、当業者は本明細書に記載された異なる実施例又は例示、及び異なる実施例又は例示の特徴を結合する及び組み合わせることができる。
フローチャートに記載されている、または他の方法で本明細書に記載されているプロセスまたは方法は、そのプロセス内の特定の論理的機能またはステップを実現するための実行可能な命令のコードの1つまたは複数のモジュール、セグメントまたは部分を含むと理解することができ、本願の好ましい実施形態の範囲は他の実施態様を含み、実行の順序は、必ずしも図示または議論されている順序にしたがって機能を実行するわけではなく、関連する機能に従って、ほぼ同時に実行する場合も、逆の順序で実行する場合もある、このことは当業者なら理解するであろう。
以上、本願の実施形態を例示して説明したが、上記の実施形態は例示なものに過ぎず、本出願への制限として理解すべきではない。当業者であれば、本願の原理及び趣旨から逸脱せずに、上記の実施形態に対して様々な変更、修正、置換や変形を行うことができることを理解されたい。
優先権情報
本願は、2019年5月31日に中国国家知識産業局に提出した、特許出願番号が「201910470396.9」である特許出願の優先権と利益を主張するものであり、その特許出願の全ての内容が、参照により本明細書に組み込まれる。
本願は消費者向け電子製品の技術分野に関し、特に電子機器の制御方法及び電子機器に関する。
レーザプロジェクタを備えた従来の携帯電話では、レーザプロジェクタは一般に携帯電話のフロントシェルに設けられ、かつレーザプロジェクタは、撮影距離が短い前向きの使用状態でのみ使用され、例えば、レーザプロジェクタは、深度画像を取得するための前向きの使用状態でのみ使用されるため、携帯電話の利用者がレーザプロジェクタを使用できるシーンが少なくなる。
本願の実施形態は、電子機器の制御方法及び電子機器を提供する。
本願の電子機器の制御方法であって、前記電子機器は筐体、フレキシブルディスプレイ及びレーザプロジェクタを含み、前記筐体は第1の筐体及び第2の筐体を含み、前記第2の筐体は、前記筐体を選択的に折り畳み形態又は展開形態とするように、前記第1の筐体に回動可能に取り付けられ、前記フレキシブルディスプレイは前記筐体の第1の面に設けられ、前記レーザプロジェクタは、前記第1の筐体の前記第1の面に背向する第2の面に設けられ、前記制御方法は、前記筐体の形態及び前記電子機器の使用状態を決定するステップと、前記筐体が前記折り畳み形態であり、前記電子機器が第1の使用状態にある場合、前記レーザプロジェクタは第1のモードでレーザを投射するステップと、前記筐体が前記折り畳み形態であり、前記電子機器が第2の使用状態にある場合、前記レーザプロジェクタは第2のモードでレーザを投射するステップであって、前記第2のモードで出射される前記レーザのエネルギーが、前記第1のモードで出射される前記レーザのエネルギーよりも大きいステップと、前記筐体が前記展開形態である場合、前記レーザプロジェクタは前記第2のモードでレーザを投射するステップと、を含む。
本願の電子機器は筐体、フレキシブルディスプレイ、レーザプロジェクタ及びプロセッサを含み、前記筐体は第1の筐体及び第2の筐体を含み、前記第2の筐体は、前記筐体を選択的に折り畳み形態又は展開形態とするように、前記第1の筐体に回動可能に取り付けられ、前記フレキシブルディスプレイは前記筐体の第1の面に設けられ、前記レーザプロジェクタは、前記第1の筐体の前記第1の面に背向する第2の面に設けられ、前記プロセッサは前記筐体の形態及び前記電子機器の使用状態を決定し、前記レーザプロジェクタは、前記筐体が前記折り畳み形態であり且つ前記電子機器が第1の使用状態にある場合、第1のモードでレーザを投射し、前記筐体が前記折り畳み形態であり且つ前記電子機器が第2の使用状態にある場合、第2のモードでレーザを投射し、前記第2のモードで出射される前記レーザのエネルギーが、前記第1のモードで出射される前記レーザのエネルギーよりも大きい。
本願の実施形態の付加的な特徴及びメリットは、以下の説明において一部が述べられ、一部が以下の説明においてさらに明瞭になり、又は本発明の実践を介して把握できる。
本願の上述及び/又は付加的な特徴及び利点は、以下の図面と組み合わせながら実施形態を説明する過程中に明瞭になり、容易に理解できる。
本願のいくつかの実施形態に係る電子機器の斜視概略構成図である。 本願のいくつかの実施形態に係る電子機器の斜視概略構成図である。 本願のいくつかの実施形態に係る電子機器の斜視概略構成図である。 本願のいくつかの実施形態に係る電子機器の斜視概略構成図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器のレーザプロジェクタのレーザ光源の概略構成図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の概略構成図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器のシステムアーキテクチャの模式図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の原理を示す図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。 本願のいくつかの実施形態に係る電子機器の制御方法の原理を示す図である。 本願のいくつかの実施形態に係る電子機器の制御方法の概略フローチャートである。
以下では、本願の実施形態を詳しく説明する。説明される実施形態の例は図面に示されており、始めから終わりまで、同一または類似の符号は同一または類似の素子、あるいは同一または類似の機能を有する素子を表す。以下での図面を参考して説明される実施形態は例示的なもので、本願の実施形態を説明するためのものに過ぎず、本願の実施形態への制限として理解すべきではない。
図1及び図2を参照すると、本願の電子機器100の制御方法は電子機器100に適用され、ここで、電子機器100は筐体11、フレキシブルディスプレイ12及びレーザプロジェクタ14を含み、筐体11は第1の筐体111及び第2の筐体112を含み、第2の筐体112は、筐体11を選択的に折り畳み形態(図3及び図4に示す)又は展開形態(図1及び図2に示す)とするように、第1の筐体111に回動可能に取り付けられ、フレキシブルディスプレイ12は筐体11の第1の面113に設けられ、レーザプロジェクタ14は、第1の筐体111の第1の面113に背向する第2の面114に設けられ、図5を参照すると、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ051と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ052と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ053と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ054と、を含む。
図2及び図7を参照すると、いくつかの実施形態では、電子機器100は、ホールセンサコンポーネント16をさらに含み、ホールセンサコンポーネント16は、第1のセンサ161及び第2のセンサ162を含み、第1のセンサ161は、第1の筐体111の第2の筐体112に近い一端に設けられ、第2のセンサ162は、第2の筐体112の第1の筐体111に近い一端に設けられ、第1のセンサ161に対応し、筐体11の形態を決定するステップは、
ホールセンサコンポーネント16を介して筐体11の形態を決定するステップを含む。
図2及び図7を参照すると、いくつかの実施形態では、ホールセンサコンポーネント16を介して筐体11の形態を決定するステップは、
ホールセンサコンポーネント16のホール値を取得するステップ0711と、
ホール値が第1の設定値よりも小さい場合、筐体11が展開形態であると決定するステップ0712と、
ホール値が第2の設定値よりも大きい場合、筐体11が折り畳み形態であると決定するステップ0713とを含む。
図13及び図14を参照すると、いくつかの実施形態では、電子機器100は、重力センサ17をさらに含み、筐体11が折り畳み形態である場合、電子機器100の使用状態を決定するステップは、
重力センサ17を介して電子機器100の使用状態を決定するステップを含む。
図13及び図14を参照すると、いくつかの実施形態では、筐体11が折り畳み形態である場合、重力センサ17を介して電子機器100の使用状態を決定するステップは、
重力センサ17のz軸の値を取得するステップ01414と、
z軸の値が第1の設定値よりも大きい場合、電子機器100が第1の使用状態にあると決定するステップ01415と、
z軸の値が第2の設定値よりも小さい場合、電子機器100が第2の使用状態にあると決定するステップ01416と、を含む。
図4を参照すると、いくつかの実施形態では、電子機器100は、プロセッサ20に電気的に接続された状態選択ボタン18をさらに含み、筐体11が折り畳み形態である場合、電子機器100の使用状態を決定するステップは、
状態選択ボタン18を介して電子機器100の使用状態を決定するステップを含む。
図6を参照すると、いくつかの実施形態では、レーザプロジェクタ14は、第1のモードでレーザを投射するパワーが、第2のモードでレーザを投射するパワーよりも小さい、及び/又は
レーザプロジェクタ14は、複数の点光源141を含み、複数の点光源141は独立して制御され、レーザプロジェクタ14は、第1のモードでオンにされる点光源141の数が、第2のモードでオンにされる点光源141の数よりも少ない。
図2及び図16を参照すると、いくつかの実施形態では、電子機器100は、画像収集装置15をさらに含み、画像収集装置15は、第1の筐体111の第2の面114に設けられ、レーザプロジェクタ14がレーザを投射する場合、レーザプロジェクタ14は第1の動作周波数でシーンにレーザを投射し、制御方法は、
画像収集装置15が、第1の動作周波数よりも大きい第2の動作周波数で収集画像を取得するステップ0165と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0166と
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0167と、をさらに含み。
図1及び図2を参照すると、本願の実施形態は、電子機器100をさらに提供する。電子機器100は筐体11、フレキシブルディスプレイ12、レーザプロジェクタ14及びプロセッサ20を含む。筐体11は、第1の筐体111及び第2の筐体112を含む。第2の筐体112は、筐体11を選択的に折り畳み形態又は展開形態とするように、第1の筐体111に回動可能に取り付けられる。フレキシブルディスプレイ12は筐体11の第1の面113に設けられる。レーザプロジェクタ14は、第1の筐体111の第1の面113に背向する第2の面114に設けられる。プロセッサ20は筐体11の形態及び電子機器100の使用状態を決定する。レーザプロジェクタ14は、筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、第1のモードでレーザを投射し、筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザを投射し、筐体11が展開形態である場合、第2のモードでレーザを投射する。第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きい。
図2を参照すると、いくつかの実施形態では、電子機器100は、ホールセンサコンポーネント16をさらに含む。ホールセンサコンポーネント16は、第1のセンサ及び第2のセンサを含む。第1のセンサは、第1の筐体111の第2の筐体112に近い一端に設けられる。第2のセンサは、第2の筐体112の第1の筐体111に近い一端に設けられ、第1のセンサに対応する。プロセッサ20はさらに、ホールセンサコンポーネント16を介して筐体11の形態を決定する。
図2を参照すると、いくつかの実施形態では、プロセッサ20はさらに、ホールセンサコンポーネント16のホール値を取得し、ホール値が第1の設定値よりも小さい場合、筐体11が展開形態であると決定し、ホール値が第2の設定値よりも大きい場合、筐体11が折り畳み形態であると決定する。
図13を参照すると、いくつかの実施形態では、電子機器100は、重力センサ17をさらに含み、筐体11が折り畳み形態である場合、プロセッサ20はさらに、重力センサ17を介して電子機器100の使用状態を決定する。
図13を参照すると、いくつかの実施形態では、筐体11が折り畳み形態である場合、プロセッサ20はさらに、重力センサ17のz軸の値を取得し、z軸の値が第1の設定値よりも大きい場合、電子機器100が第1の使用状態にあると決定し、z軸の値が第2の設定値よりも小さい場合、電子機器100が第2の使用状態にあると決定する。
図4を参照すると、いくつかの実施形態では、電子機器100は、状態選択ボタン18をさらに含み、筐体11が折り畳み形態である場合、プロセッサ20は、状態選択ボタン18を介して電子機器100の使用状態を決定する。
図1及び図2を参照すると、いくつかの実施形態では、レーザプロジェクタ14は、第1のモードでレーザを投射するパワーが、第2のモードでレーザを投射するパワーよりも小さい、及び/又は、レーザプロジェクタ14は、複数の点光源141を含み、複数の点光源141は独立して制御され、レーザプロジェクタ14は、第1のモードでオンにされる点光源141の数が、第2のモードでオンにされる点光源141の数よりも少ない。
図6を参照すると、いくつかの実施形態では、レーザプロジェクタ14は、レーザ光源140を含み、レーザ光源140は、複数の点光源141を含み、複数の点光源141は独立して制御され、複数の点光源141は複数の発光アレイ142を形成し、複数の発光アレイ142は独立して制御され、複数の発光アレイ142はリング状に配列される。
図6を参照すると、いくつかの実施形態では、発光アレイ142をオンにする方法は、レーザ光源140の中心から遠くなるほど、発光アレイ142は先にオンにされることである
図2を参照すると、いくつかの実施形態では、電子機器100は、画像収集装置15及びプロセッサ20をさらに含み、画像収集装置15は、第1の筐体111の第2の面114に設けられ、レーザプロジェクタ14がレーザを投射する場合、レーザプロジェクタ14は第1の動作周波数でシーンにレーザを投射し、画像収集装置15は、第2の動作周波数で収集画像を取得し、第2の動作周波数が第1の動作周波数よりも大きく、プロセッサ20は、収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別し、第1の画像、第2の画像及び参照画像に基づいて深度画像を計算する。
図2を参照すると、いくつかの実施形態では、電子機器100は、画像収集装置15をさらに含み、筐体11が展開形態である場合、レーザプロジェクタ14は、第1の筐体111の第2の筐体112から離れた一端に設けられ、レーザプロジェクタ14と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線に垂直であり、筐体11が折り畳み形態である場合、レーザプロジェクタ14と画像収集装置15は筐体11の外に露出する。
図1及び図2を参照すると、いくつかの実施形態では、フレキシブルディスプレイ12は、第2の筐体112に設けられるサブディスプレイ122を含み、サブディスプレイ122は、第2の筐体112から離れたディスプレイの表面123を含み、第1の筐体111は本体115と突出部116とを含み、フレキシブルディスプレイ12及び突出部116はそれぞれ、本体115の背向する両側に位置し、筐体11が展開形態である場合、突出部116は本体115の第2の筐体112から離れた一端に位置し、レーザプロジェクタ14は突出部116に設けられ、突出部116は、本体115から離れた突出部の表面117を含み、筐体11が折り畳み形態である場合、突出部の表面117は、ディスプレイの表面123と面一となっている。
図1及び図2を参照すると、本願の電子機器100の制御方法であって、電子機器100は、筐体11、フレキシブルディスプレイ12及びレーザプロジェクタ14を含み、筐体11は第1の筐体111及び第2の筐体112を含み、第2の筐体112は、筐体11を選択的に折り畳み形態(図3及び図4に示す)又は展開形態(図1及び図2に示す)とするように、第1の筐体111に回動可能に取り付けられ、フレキシブルディスプレイ12は筐体11の第1の面113に設けられ、レーザプロジェクタ14は、第1の筐体111の第1の面113に背向する第2の面114に設けられ、図5を参照すると、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ051と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ052と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射し、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギースよりも大きいテップ053と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ054と、を含む。
本願の電子機器100は上記の制御方法を実現するために使用することができ、具体的に、電子機器100は、プロセッサ20をさらに含み、ステップ051は、プロセッサ20により実現することができ、ステップ052、ステップ053及びステップ054は、いずれも、レーザプロジェクタ14により実現することができる。即ち、プロセッサ20は、筐体11の形態及び電子機器100の使用状態を決定し、レーザプロジェクタ14は、筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、第1のモードでレーザを投射し、筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、第2のモードでレーザを投射し、筐体11が展開形態である場合、第2のモードでレーザを投射する。
ここで、電子機器100は、携帯電話、タブレット、ノートパソコン、スマートウェアラブルデバイス(スマートウォッチ、スマートブレスレット、スマートヘルメット、スマートグラスなど)、及び仮想現実デバイスなどであってもよい。本願は、電子機器100が携帯電話であることを例として説明するが、電子機器100の形態は携帯電話に限定されない。
筐体11は第1の筐体111と第2の筐体112とを含み、第2の筐体112は、筐体11を選択的に折り畳み形態又は展開形態とするように、第1の筐体111に回動可能に取り付けられる。筐体11が展開形態である場合、第1の筐体111の第1の面113及び第2の筐体112の第1の面113は、筐体11の同じ側に位置し、第1の筐体111の第2の面114及び第2の筐体112の第2の面114は、筐体11の同じ側に位置する。筐体11が折り畳み形態である場合、第1の筐体111及び第2の筐体112は積層されている。
フレキシブルディスプレイ12は、筐体11の第1の面113に取り付けられる。具体的に、フレキシブルディスプレイ12は、接続されたメインディスプレイ121及びサブディスプレイ122を含み、メインディスプレイ121が、第1の筐体111の第1の面113に設けられ、サブディスプレイ122が、第2の筐体112の第1の面113に設けられる。本実施形態では、メインディスプレイ121の幅は、サブディスプレイ122の幅よりも大きい。もちろん、メインディスプレイ121の幅は、サブディスプレイ122の幅に等しくてもよい。サブディスプレイ122は、第2筐体112の回転に伴って折り曲げ可能であり、筐体11が折り畳み形態である場合、メインディスプレイ121及びサブディスプレイ122は、それぞれ筐体11の背向する両側に位置し、筐体11が展開形態である場合、メインディスプレイ121及びサブディスプレイ122は、筐体11の同じ側に位置する。フレキシブルディスプレイ12は、筐体11の第1の面113の面積の85%以上、例えば85%、86%、87%、88%、89%、90%、91%、92%、93%、95%さらには100%をカバーすることができる。フレキシブルディスプレイ12(メインディスプレイ121及びサブディスプレイ122)は、映像を表すために使用され、映像は文字、画像、ビデオ、アイコンなどの情報であってもよい。
レーザプロジェクタ14は、第1の筐体111の第2の面114に設けられ、具体的に、筐体11が展開形態である場合、レーザプロジェクタ14は第1の筐体111の第2の筐体112から離れた一端に位置する。筐体11が折り畳み形態である場合、レーザプロジェクタ14は筐体11の外に露出し、つまり、レーザプロジェクタ14は第2の筐体112によって遮断されない。
電子機器100は、画像収集装置15をさらに含み、筐体11が展開形態である場合、画像収集装置15は、第2の面114に設けられ、第1の筐体111の第2の筐体112から離れた一端に位置する。本実施形態では、レーザプロジェクタ14と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線(図2及び図3に示す)に垂直である。もちろん、他の実施形態では、レーザプロジェクタ14と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線に平行であってもよい。レーザプロジェクタ14は、測定対象物の深度情報の獲得、三次元モデリング、三次元画像の生成、距離測定などのために、画像収集装置15と組み合わせて使用される。レーザプロジェクタ14及び画像収集装置15がブラケットに取り付けられた後、ブラケット、レーザプロジェクタ14及び画像収集装置15をともに第1の筐体111内に取り付けることができる。
本願の実施形態では、筐体11が折り畳み形態である場合、電子機器100の使用状態は、第1の使用状態及び第2の使用状態を含む。電子機器100の利用者に対して、第1の使用状態と第2の使用状態におけるレーザプロジェクタ14の向きは反対である。ここで、第1の使用状態は前向きの使用状態とすることができ、電子機器100が前向きの使用状態にある場合、サブディスプレイ122及びレーザプロジェクタ14は電子機器100の利用者に面している。この場合、利用者はサブディスプレイ122に示された内容を見ることができ、レーザプロジェクタ14を使用して利用者側に向けてレーザを投射することができる。利用者は、レーザプロジェクタ14(及び画像収集装置15)を使用して、顔認識、虹彩認識などを実行することができる。第2の使用状態は後向きの使用状態とすることができ、電子機器100が後向きの使用状態にある場合、サブディスプレイ122及びレーザプロジェクタ14は電子機器100の利用者から離れ、メインディスプレイ121は電子機器100の利用者に面している。この場合、利用者は、メインディスプレイ121に示された内容を見ることができ、レーザプロジェクタ14を使用して、利用者から離れた側に向けてレーザを投射することができる。例えば、利用者はレーザプロジェクタ14(及び画像収集装置15)を使用して、電子機器100の利用者から離れた側にある測定対象物の深度画像を取得することができる。
一般に、電子機器100の利用者が電子機器100を使用する場合、フレキシブルディスプレイ12は利用者に面している。筐体11が展開形態である場合、利用者が電子機器100を使用するとき、メインディスプレイ121及びサブディスプレイ122はいずれも利用者に面しており、レーザプロジェクタ14は筐体11の利用者の反対側に位置する。この場合、利用者は、メインディスプレイ121とサブディスプレイ122とに示された内容をともに見ることができ、利用者はレーザプロジェクタ14を使用して、利用者から離れた側に向けてレーザを投射することができる。つまり、レーザプロジェクタ14は後向きのレーザプロジェクタとして使用されることができ、言い換えれば、電子機器100は後向きの使用状態(第2の使用状態)にある。
本願の実施形態では、レーザプロジェクタ14がレーザを投射するモードは、第1のモード及び第2のモードを含み、ここで、第1のモードは、レーザプロジェクタ14が前向きの使用状態にあることに対応し、第2のモードは、レーザプロジェクタ14が後向きの使用状態にあることに対応し、第2のモードで投射されるレーザのエネルギーが、第1のモードで投射されるレーザのエネルギーよりも大きい。具体的に、レーザプロジェクタ14が第1のモードでレーザを投射するパワーは、第2のモードでレーザを投射するパワーよりも小さくすることができ、それにより、第2のモードで投射されるレーザのエネルギーを、第1のモードで投射されるレーザのエネルギーよりも大きくすることができる。この場合、第2のモードでレーザプロジェクタ14によって投射されるレーザが到達できる最大距離(投射距離)は、第1のモードでレーザプロジェクタ14によって投射されるレーザが到達できる最大距離(投射距離)よりも大きい。同時に、後向きの使用状態でレーザプロジェクタ14が画像収集装置15に合わせて検出可能な後向きの距離範囲は、前向きの使用状態でレーザプロジェクタ14が画像収集装置15に合わせて検出可能な前向きの距離範囲よりも大きい。例えば、レーザプロジェクタ14が画像収集装置15に合わせて検出可能な前向きの距離範囲は25cm以内であり、レーザプロジェクタ14が画像収集装置15に合わせて検出可能な後向きの距離範囲は25cm(25cm以内の距離範囲の精度が悪い)よりも大きい。或いは、前向きの距離範囲と後向きの距離範囲はわずかに重なっている。例えばレーザプロジェクタ14が、画像収集装置15に合わせて検出可能な前向きの距離範囲は25cm以内であり、レーザプロジェクタ14が画像収集装置15に合わせて検出可能な後向きの距離範囲は20cmよりも大きい。
本願の電子機器100及び電子機器100の制御方法において、筐体11が折り畳み形態である場合、メインディスプレイ121及びサブディスプレイ122はそれぞれ、筐体11の背向する両側に位置し、レーザプロジェクタ14はサブディスプレイ122側に向けてレーザを投射することができ、電子機器100は、第1の使用状態(前向きの使用状態)又は第2の使用状態(後向きの使用状態)にあってもよい。筐体11が展開形態である場合、レーザプロジェクタ14は後向きの構造光として使用され、且つ第2の使用状態(後向きの使用状態)でレーザプロジェクタ14は投射できる最大距離が、第1の使用状態(前向きの使用状態)で投射できる最大距離よりも長いため、レーザプロジェクタ14は第1の使用状態及び第2の使用状態で使用可能であり、利用者が電子機器100を使用できる場面が増えるとともに、電子機器100には、第1の使用状態及び第2の使用状態でそれぞれ使用される2つのレーザプロジェクタ14が設けられる必要がないため、電子機器100のコストを削減する。
図6を参照すると、いくつかの実施形態では、レーザプロジェクタ14はレーザ光源140を含み、レーザ光源140が複数の点光源141を含み、複数の点光源141が独立して制御され、具体的に、各点光源141は、独立してオン及びオフにすることができる。レーザプロジェクタ14は、第1のモードでオンにされる点光源141の数が、第2のモードでオンにされる点光源141の数よりも少ない。この場合、各点光源141がレーザを投射するパワーを同じにすることで、第2のモードで投射されるレーザのエネルギーが、第1のモードで投射されるレーザのエネルギーよりも大きいため、第2のモードでレーザプロジェクタ14によって投射されるレーザが到達できる最大距離は、第1のモードでレーザプロジェクタ14によって投射されるレーザが到達できる最大距離よりも長い。
図6を参照すると、いくつかの実施形態では、複数の点光源141は複数の発光アレイ142を形成し、複数の発光アレイ142が独立して制御される。具体的に、各発光アレイ142内の複数の点光源141は、オン及びオフにすることができる。この場合、各発光アレイ142内の複数の点光源141のパワーは同じであってもよい。他の実施形態では、各発光アレイ142内の複数の点光源141も独立して制御することができる。
本実施形態では、複数の発光アレイ142はリング状に配列される。リング状に配列された発光アレイ142内の点光源141によって放出されるレーザは、より広い視野をカバーするため、測定対象物のより多くの深度情報を得ることができる。ここで、リング状は、正方形のリング状又は円形のリング状であってもよい。
図6を参照すると、いくつかの実施形態では、投射距離が増加するにつれて、発光アレイ142は、レーザ光源140の中心から遠い発光アレイ142が先にオンになるようにオンにされる。例えば、図6を組み合わせて、発光アレイ142の総数が6である。6つの発光アレイ142には、5つのリング状のサブアレ144と、1つの正方形のサブアレ143とが含まれる。レーザ光源140の中心に近い方向に、5つのリング状のサブアレ144が順次配列され、順次配列された5つのリング状のサブアレ144の番号は、A、B、C、D及びEである。本実施形態では、レーザプロジェクタ14がフレキシブルディスプレイ12の側を向いた場合、A及びBと番号が付けられたリング状のサブアレ144内の点光源141をオンにし、レーザプロジェクタ14がフレキシブルディスプレイ12の側から離れた場合、A、B及びCと番号が付けられたリング状のサブアレ144内の点光源141をオンにし、又はA、B、C及びDのリング状のサブアレ144内の点光源141、又はA、B、C、D及びEのリング状のサブアレ144内の点光源141をオンにし、又はA、B、C、D及びEのリング状サブアレ144内の点光源141及び正方形のサブアレ143内の点光源141をオンにする。
本実施形態では、レーザプロジェクタ14は、第1のモードでオンにされる点光源141の数が、第2のモードでオンにされる点光源141の数よりも少ないため、前向きの使用状態(第1の使用状態)で投射されるレーザのエネルギーが、後向きの使用状態(第2の使用状態)で投射されるレーザのエネルギーよりも小さい。
なお、レーザプロジェクタ14の回折光学素子(図示せず)の回折能力には限界があり、即ちレーザ光源140から出射されたレーザの一部は回折されずに直接出射され、直接出射されるレーザは、回折光学素子の回折減衰効果を受けない。直接出射されるレーザのエネルギーは大きくて、利用者の目に害を及ぼす可能性が非常に高い。従って、レーザプロジェクタ14は、フレキシブルディスプレイ12側に面している場合、第1のモードでレーザを投射し、つまり、レーザプロジェクタ14は、投射距離が小さい場合、レーザ光源140の中心から離れたリング状のサブアレ143を先にオンにすることにより、レーザ光源140によって投射されたレーザは、回折光学素子の回折減衰効果なしに、利用者の目に直接投射されることを回避することができ、レーザプロジェクタ14の安全性が向上する。レーザプロジェクタ14は、フレキシブルディスプレイ12側に面している場合、第2のモードでレーザを投射し、つまり、レーザプロジェクタ14は、投射距離が大きい場合、レーザ光源140の中心から離れたリング状のサブアレ143、及びレーザ光源140の中心に近いリング状のサブアレ143を同時にオンにすることにより、レーザプロジェクタ14によって投射されるレーザが到達できる最大距離を増加させる。
図2及び図7を参照すると、いくつかの実施形態では、電子機器100は、ホールセンサコンポーネント16をさらに含み、ホールセンサコンポーネント16は、第1のセンサ161と第2のセンサ162とを含み、第1のセンサ161が、第1の筐体111の第2の筐体112に近い一端に設けられ、第2のセンサ162は、第2の筐体112の第1の筐体111に近い一端に設けられ、第1のセンサ161に対応し、前記筐体111の形態を決定するステップは、ホールセンサコンポーネント16によって実現することができ、具体的に、制御方法は、
ホールセンサコンポーネント16のホール値を取得するステップ0711と、
ホール値が第1の設定値よりも小さい場合、筐体111が展開形態であると決定するステップ0712と、
ホール値が第2の設定値よりも大きい場合、筐体111が折り畳み形態であると決定するステップ0713と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ072と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ073と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ074と、を含む。
上記の制御方法は電子機器100によって実現することができ、ここで、ステップ0711、ステップ0712、及びステップ0713は、上記のステップ051のサブステップとすることができ、ステップ072が基本的に上記のステップ052と同じであり、ステップ073が基本的に上記のステップ053と同じであり、ステップ074が基本的に上記のステップ054と同じである。具体的に、プロセッサ20は、ホールセンサコンポーネント16に電気的に接続され、プロセッサ20はさらに、ホールセンサコンポーネント16を介して筐体11の形態を決定し、プロセッサ20はさらに、ステップ0711、ステップ0712及びステップ0713を実現する。つまり、プロセッサ20はさらに、ホールセンサコンポーネント16のホール値を取得し、ホール値が第1の設定値よりも小さい場合、筐体111が展開形態であると決定し、ホール値が第2の設定値よりも大きい場合、筐体111が折り畳み形態であると決定する。
本実施形態では、第1のセンサ161はホールセンサ161であってもよく、第2のセンサ162は磁石162であってもよい。ここで、ホールセンサ161は、ガウスメータ又はデジタルホールセンサであってもよく、ホール値は、ガウス値である。ホールセンサ161は、第1の筐体111の第2の筐体112に近い一端に設けられ、磁石162は、第2の筐体112の第1の筐体111に近い一端に設けられ、ホールセンサ161に対応する。図2を参照すると、筐体11が展開形態である場合、磁石162のN極は、磁石162のホールセンサ161に近い一端に位置し、磁石162のS極は、ホールセンサ161から離れた磁石162の端部に位置する。図8を参照すると、筐体11が折り畳み形態である場合、第1の筐体111と第2の筐体112は積層され、磁石162とホールセンサ161も積層されている。もちろん、図9を参照すると、筐体11が折り畳み形態である場合、第1の筐体111と第2の筐体112が積層され、磁石162とホールセンサ161が互いにずれていてもよく、ホールセンサ161が磁石162のS極側に位置する。磁石162のS極がホールセンサ161に近い場合、ホールセンサ161の磁場が強いほど、ホールセンサ161によって収集されるホール値は大きくなり且つ正の値となり、磁石162のN極がホールセンサ161に近くなると、ホールセンサ161によって収集されるホール値は小さくなり且つ負の値となる。
ホールセンサ161によって収集されるホール値が第1の設定値よりも小さい場合、例えば、プロセッサ20によって取得されたホールセンサ161のホール値が-90で、第1の設定値-85よりも小さい場合、筐体11が展開形態であると決定し、ホールセンサ161によって収集されたホール値が第2の設定値よりも大きい場合、例えば、プロセッサ20によって取得されたホールセンサ161のホール値は40で、第2の設定値35よりも大きい場合、筐体11が折り畳み形態であると決定する。もちろん、第1の設定値と第2の設定値の大きさは、磁石162の特性、ホールセンサ161と磁石162との間の距離などの要因に関連している。磁石162の特性は、磁石162の材料、形状及びサイズなどを含み、ホールセンサ161と磁石162との間の距離が小さいほど、ホールセンサ161によって収集されたホール値(絶対値)が大きくなる。
本願の実施形態の電子機器100及び制御方法は、ホールセンサコンポーネント16を介して筐体11の形態を決定するため、利用者は、筐体11の形態を手動で選択することなく、レーザプロジェクタ14を使用して、対応するモードでレーザを投射することができ、電子機器100の使用体験を向上させる。同時に、第1のセンサ161は、第1の筐体111の第2の筐体112に近い一端に設けられ、第2のセンサ162は、第2の筐体112の第1の筐体111に近い一端に設けられ、第1のセンサ161に対応し、第2の筐体112が第1の筐体111に対して回転すると、ホールセンサコンポーネント16によって収集されたホール値が大きく変化するため、プロセッサ20は、ホールセンサコンポーネント16によって収集されたホール値が、第1の設定値よりも小さいか又は第2の設定値よりも大きいかを容易に判断し、ホールセンサコンポーネント16は、筐体11の形態を正確に決定することができる。
図10及び図11を参照すると、他の実施形態では、第1のセンサ161は、第1の筐体111の第2の筐体112から離れた一端に設けられてもよく、第2のセンサ162は、第2の筐体112の第1の筐体111から離れた一端に設けられ、第1のセンサ161に対応する。図10を参照すると、筐体11が展開形態である場合、磁石162のN極は、磁石162のホールセンサ161に近い一端に位置し、磁石162のS極は、ホールセンサ161から離れた磁石162の端部に位置する。この場合、ホールセンサ161によって収集されたホール値が小さい。図11を参照すると、筐体11が折り畳み形態である場合、第1の筐体111と第2の筐体112は積層されている、磁石162とホールセンサ161も積層されている。もちろん、図12を参照すると、筐体11が折り畳み形態である場合、第1の筐体111と第2の筐体112は積層され、磁石162とホールセンサ161が互いにずれていてもよく、ホールセンサ161が磁石162のS極側に位置する。磁石162のS極がホールセンサ161に近い場合、ホールセンサ161の磁場が強いほど、ホールセンサ161によって収集されるホール値は大きくなり且つ正の値となり、磁石162のN極がホールセンサ161に近くなると、ホールセンサ161によって収集されるホール値は小さくなり且つ負の値(又は0)となる。ホールセンサ161によって収集されたホール値が第1の設定値よりも小さい場合、例えば、プロセッサ20によって取得されたホールセンサ161のホール値が0で、第1の設定値5よりも小さい場合、筐体11が展開形態であると決定し、ホールセンサ161によって収集されたホール値が第2の設定値よりも大きい場合、例えば、プロセッサ20によって取得されたホールセンサ161のホール値が40で、第2の設定値35よりも大きい場合、筐体11が折り畳み形態であると決定する。
図13及び図14を参照すると、いくつかの実施形態では、電子機器100は、重力センサ17をさらに含み、筐体11が折り畳み形態である場合、前記電子機器100の使用状態を決定するステップは、重力センサ17によって実現することができ、具体的に、制御方法は、
ホールセンサコンポーネント16のホール値を取得するステップ01411と、
ホール値が第1の設定値よりも小さい場合、筐体11が展開形態であると決定するステップ01412と、
ホール値が第2の設定値よりも大きい場合、筐体11が折り畳み形態であると決定するステップ01413と、
重力センサ17のz軸の値を取得するステップ01414と、
z軸の値が第1の設定値よりも大きい場合、電子機器100が前記第1の使用状態にあると決定するステップ01415と、
z軸の値が第2の設定値よりも小さい場合、電子機器100が前記第2の使用状態にあると決定するステップ01416と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0142と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0143と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0144と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ01411が基本的に上記のステップ0711と同じであり、ステップ01412が基本的に上記のステップ0712と同じであり、ステップ01413が基本的に上記のステップ0713と同じであり、ステップ01414、ステップ01415、ステップ01416は、上記のステップ051のサブステップとすることができ、ステップ0142が基本的に上記のステップ052と同じであり、ステップ0143が基本的に上記のステップ053と同じであり、ステップ0144が基本的に上記のステップ054と同じである。上記の制御方法は、プロセッサ20によっても実現することができ、具体的に、プロセッサ20は、重力センサ17に電気的に接続され、プロセッサ20はさらに、重力センサ17を介して電子機器100の使用状態を決定し、プロセッサ20はさらに、ステップ01414、ステップ01415及びステップ01416を実現する。つまり、プロセッサ20はさらに、重力センサ17のz軸の値を取得し、z軸の値が第1の設定値よりも大きい場合、電子機器100が前記第1の使用状態にあると決定し、z軸の値が第2の設定値よりも小さい場合、電子機器100が前記第2の使用状態にあると決定する。
本実施形態では、重力センサ17は、第2の筐体112に設けられ、重力センサ17は3軸加速度センサ17を含む。図13を参照すると、図13は、三軸加速度センサ17により電子機器100の使用状態を決定する原理を示す模式図である。図13に示すように、x軸、y軸、z軸はいずれも、第2の筐体112の位置を基準として、通常、y軸の方向は、第2の筐体112の上方向であり、x軸の方向は、第2の筐体112の右方向であり、z軸の方向は、第2の筐体112の第1の面113の外向きの方向に対して垂直である。z軸の値(加速度値)は、サブディスプレイ122の向きに対応する。
筐体11が折り畳み形態である場合、電子機器100(携帯電話)を使用するユーザから見ると、電子機器100が、サブディスプレイ122を上に向けてデスクに平らに置かれると、x軸の値はデフォルトで0になり、y軸の値はデフォルトで0になり、z軸の値はデフォルトで9.81m/sになり、電子機器100が、サブディスプレイ122を下に向けてデスクに下向きに置かれると、x軸の値はデフォルトで0になり、y軸の値はデフォルトで0になり、z軸の値は-9.81m/sであり、電子機器100を左に傾けた場合、x軸の値は正の値であり、電子機器100を右に傾けた場合、x軸の値は負の値であり、電子機器100を上向きに傾けた場合、y軸の値は負の値であり、電子機器100を下向きに傾けた場合、y軸の値は正の値である。
本実施形態では、筐体11が折り畳み形態であるとき、プロセッサ20によって取得された重力センサ17のz軸の値が第1の設定値よりも大きい場合、例えば、プロセッサ20によって取得された重力センサ17のz軸の値が6m/sで、第1の設定値3m/sよりも大きい場合、サブディスプレイ122が電子機器100の利用者に面していると決定され、このとき、プロセッサ20は、電子機器100が第1の使用状態にあると決定する。プロセッサ20によって取得された重力センサ17のz軸の値が第2の設定値よりも小さい場合、例えば、プロセッサ20によって取得された重力センサ17のz軸の値が-6m/sで、第2の設定値-3m/sよりも小さい場合、メインディスプレイ121が電子機器100の利用者に面していると決定され、このとき、プロセッサ20は、電子機器100が第2の使用状態にあると決定する。
本願の実施形態の電子機器100及び制御方法は、重力センサ17を介して電子機器100の使用状態を決定するため、利用者は、電子機器100の使用状態を手動で選択することなく、レーザプロジェクタ14を使用して、対応するモードでレーザを投射することができ、電子機器100の使用体験を向上させる。
図4を参照すると、いくつかの実施形態では、電子機器100は、プロセッサ20に電気的に接続された状態選択ボタン18をさらに含み、前記電子機器100の使用状態を決定するステップは、状態選択ボタン18によって実現することができ、具体的に、プロセッサ20はさらに状態選択ボタン18を介して電子機器100の使用状態を決定する。状態選択ボタン18は、物理ボタンであってもよく、第1の状態ボタン181及び第2の状態ボタン182を含む。筐体11が折り畳み形態である場合、プロセッサ20は、第1の状態ボタン181がトリガーされたことを検出すると、プロセッサ20は、レーザプロジェクタ14がフレキシブルディスプレイ12側に向けられていると決定し、プロセッサ20は、第2の状態ボタン182がトリガーされたことを検出すると、プロセッサ20は、レーザプロジェクタ14がフレキシブルディスプレイ12の側から離れていると決定する。他の実施形態では、状態選択ボタン18は仮想ボタンであってもよく、状態選択ボタン18は、メインディスプレイ121及びサブディスプレイ122によって示され、例えば、状態選択ボタン18は、メインディスプレイ121及びサブディスプレイ122に示された状態切替ボタンであってもよい。
本願の実施形態の電子機器100及び制御方法は、状態選択ボタン18を介して電子機器100の使用状態を決定するため、利用者が必要に応じて所望の使用状態を正確に選択することができる。
図2を参照すると、いくつかの実施形態では、電子機器100は、可視光カメラ40をさらに含み、可視光カメラ40はメインカメラ41及びサブカメラ42を含み、メインカメラ41及びサブカメラ42はいずれも第1の筐体111に取り付けられ、且つメインカメラ41及びサブカメラ42は、レーザプロジェクタ14が位置する片面に配置されている。メインカメラ41は広角カメラであってもよく、広角カメラは動きに対する感度が低く、低いシャッタースピードで画像の鮮明さが確保され、且つ広角カメラは視野が広く、幅広いシーンをカバーすることができ、前景を強調し、近距離と遠距離のコントラストを強調することができる。サブカメラ42は望遠カメラであってもよく、望遠カメラの望遠レンズは、より遠い物体を識別することができる。また、メインカメラ41はカラーカメラであり、サブカメラ42はモノクロカメラである。ここのカメラは、複数、3つ、4つ、又はそれ以上とすることができる。本実施形態では、レーザプロジェクタ14、サブカメラ42、メインカメラ41及び画像収集装置15は、順に間隔を空けて同一直線に配置され、レーザプロジェクタ14とサブカメラ42とメインカメラ41と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線に垂直である。他の実施形態では、レーザプロジェクタ14とサブカメラ42とメインカメラ41と画像収集装置15との中心を結ぶ線は、第1の筐体111と第2の筐体112との中心を結ぶ線に平行であってもよい。
図13を参照すると、いくつかの実施形態では、サブディスプレイ122は、第2の筐体112から離れたディスプレイの表面123を含む。第1の筐体111は、本体115及び突出部116を含み、メインディスプレイ121と突出部116はそれぞれ、本体115の背向する両側に位置し、筐体11が展開形態である場合、突出部116は、本体115の第2の筐体112から離れた一端に位置し、レーザプロジェクタ14は突出部116に設けられ、突出部116は本体115から離れた突出部の表面117を含み、筐体11が折り畳み形態である場合、突出部の表面117は、ディスプレイの表面123と面一となっている。このように、筐体11が折り畳み形態である場合、電子機器100の外観はより美しくなる。
図15を参照すると、いくつかの実施形態では、レーザプロジェクタ14は、レーザ光源140と第1のドライバー147とを含み、第1のドライバー147は、レーザ光源140を駆動して、測定対象物にレーザを投射することができる。レーザプロジェクタ14及び画像収集装置15はいずれもプロセッサ20に接続されている。プロセッサ20は、レーザプロジェクタ14にイネーブル信号を提供し、具体的に、プロセッサ20は、第1のドライバー147にイネーブル信号を提供することができる。画像収集装置15は、I2Cバスを介してプロセッサ20に接続されている。レーザプロジェクタ14は、例えば赤外線レーザなどのレーザを放出し、レーザが、シーン内の物体に到達すると反射され、反射されたレーザが、画像収集装置15によって受信される。プロセッサ20は、レーザプロジェクタ14から出射されたレーザ及び画像収集装置15によって受信されたレーザに基づいて、物体の深度情報を計算することができる。一例では、レーザプロジェクタ14及び画像収集装置15は、飛行時間(Time of flight、TOF)測距方式によって深度情報を取得することができ、別の例では、レーザプロジェクタ14及び画像収集装置15は、構造光方式の測距原理に基づいて深度情報を取得することができる。本願の明細書は、レーザプロジェクタ14及び画像収集装置15が構造光方式の測距原理に基づいて深度情報を取得することを例として説明し、この場合、レーザプロジェクタ14は赤外線レーザプロジェクタであり、画像収集装置15は赤外線カメラである。
画像収集装置15がレーザプロジェクタ14と組み合わせて使用される場合、一例では、画像収集装置15は、ストロボ信号(strobe信号)によってレーザプロジェクタ14の投射タイミングを制御することができる。ここで、strobe信号は、画像収集装置による画像取得のタイミングに基づいて生成され、strobe信号は、ハイレベルとローレベルとが交互に切り替わる電気信号と見なし、レーザプロジェクタ14は、strobeによって示されるレーザ投射タイミングに従って、レーザを投射する。具体的に、プロセッサ20は、I2Cバスを介して画像収集命令を送信して、レーザプロジェクタ14及び画像収集装置15を起動し、レーザプロジェクタ14及び画像収集装置15を動作させることができる。画像収集装置15は、画像収集命令を受信した後、strobe信号を介してスイッチデバイス30を制御する。strobe信号がハイレベルである場合、スイッチデバイス30は、第1のドライバー147に第1のパルス信号(pwn1)を送信し、第1のドライバー147は、第1のパルス信号に基づいて、シーンにレーザを投射するようにレーザ光源140を駆動し、strobe信号がローレベルである場合、スイッチデバイス30は、第1のパルス信号を第1のドライバー147に送信することを停止し、レーザ光源140は、レーザを投射しない。又は、strobe信号がローレベルである場合、スイッチデバイス30は第1のドライバー147に第1のパルス信号を送信し、第1のドライバー147は、第1のパルス信号に基づいて、シーンにレーザを投射するようにレーザ光源140を駆動し、strobe信号がハイレベルである場合、スイッチデバイス30は、第1のパルス信号を第1のドライバー147に送信することを停止し、レーザ光源140は、レーザを投射しない。別の例では、画像収集装置15がレーザプロジェクタ14と組み合わせて使用される場合、strobe信号が必要とされない。この場合、プロセッサ20は、画像収集命令を画像収集装置15に送信するとともに、レーザ投射命令を第1のドライバー147に送信し、画像収集装置15は、画像収集命令を受信した後、収集画像の取得を開始し、第1のドライバー147は、レーザ投射命令を受信すると、レーザ光源140を駆動してレーザを投射する。レーザプロジェクタ14がレーザを投射すると、レーザはスポットを有するレーザパターンを形成し、シーン内の測定対象物に投射される。画像収集装置15は、測定対象物によって反射されたレーザパターンを収集してスペックル画像を取得し、モバイルインダストリープロセッサインターフェース(Mobile Industry Processor Interface、MIPI)を介してスペックル画像をプロセッサ20に送信する。画像収集装置15は、1フレームのスペックル画像をプロセッサ20に送信する毎に、プロセッサ20は、1つのデータストリームを受信する。プロセッサ20は、スペックル画像及びプロセッサ20に予め記憶された参照画像に基づいて深度画像を計算することができる。
いくつかの実施形態では、可視光カメラ40もI2Cバスを介してプロセッサ20に接続され、つまり、メインカメラ41及びサブカメラ42はいずれもI2Cバスを介してプロセッサ20に接続される。可視光カメラ40は、可視光画像を収集することができ、つまり、メインカメラ41及びサブカメラ42はそれぞれ可視光画像を収集することができ、又はメインカメラ41がサブカメラ42と組み合わせて使用され、可視光画像を収集する。言い換えれば、メインカメラ41及びサブカメラ42のうちのいずれか一方または両方は可視光画像を収集することができる。可視光カメラ40(メインカメラ41及び/又はサブカメラ42)は1フレームの可視光画像をプロセッサ20に送信する毎に、プロセッサ20は、1つのデータストリームを受信する。可視光カメラ40は、単独で使用することができる。即ち、利用者が可視光画像のみを取得したい場合、プロセッサ20は、I2Cバスを介して可視光カメラ40(メインカメラ41及びサブカメラ42のうちのいずれか一方または両方)に画像収集命令を送信して、可視光カメラ40を起動して動作させる。可視光カメラ40は、画像収集命令を受信した後、シーンの可視光画像を収集し、モバイルインダストリープロセッサインターフェースを介してプロセッサ20に可視光画像を送信する。可視光カメラ40(メインカメラ41及びサブカメラ42のうちのいずれか一方、又はメインカメラ41及びサブカメラ42)はレーザプロジェクタ14及び画像収集装置15と組み合わせて使用されることもできる。即ち、利用者が、可視光画像及び深度画像を介して三次元画像を取得したい場合、画像収集装置15と可視光カメラ40の動作周波数が同じである場合、画像収集装置15及び可視光カメラ40は、sync信号によってハードウェア同期を実現する。具体的に、プロセッサ20は、I2Cバスを介して画像収集装置15に画像収集命令を送信する。画像収集装置15は、画像収集命令を受信した後、strobe信号を介して、第1のドライバー147に第1のパルス信号(pwn1)を送信するように、スイッチデバイス30を制御することで、第1のドライバー147が、第1のパルス信号に基づいて、レーザ光源140を駆動してレーザを投射する。同時に、画像収集装置15と可視光カメラ40は、sync信号によって同期され、このsync信号は、可視光カメラ40を制御して可視光画像を収集する。
図13及び図15を参照すると、電子機器100は、第1の筐体111の第1の面113に設けられたフラッドライト50をさらに含む。フラッドライト50は、シーンに均一な表面光を投射することができ、フラッドライト50はフラッドライト光源51及び第2のドライバー52を含み、第2のドライバー52は、フラッドライト光源51を駆動して均一な表面光を投射することができる。フラッドライト50によって放出される光は、赤外線または他の不可視光、例えば紫外線などであってもよい。本願では、フラッドライト50が赤外光を放出することを例として説明するが、フラッドライト50から出射される光の形態はこれに限定されない。フラッドライト50はプロセッサ20に接続され、プロセッサ20は、フラッドライト50を駆動するためのイネーブル信号を提供し、具体的に、プロセッサ20は、第2のドライバー52にイネーブル信号を提供することができる。フラッドライト50は、画像収集装置15と組み合わせて、赤外線画像を収集することができる。画像収集装置15がフラッドライト50と組み合わせて使用される場合、一例では、画像収集装置15は、ストロボ信号(strobe信号、このstrobe信号、及びレーザプロジェクタ14を制御するための画像収集装置15のstrobe信号は、2つの独立したstrobe信号である)を介して、フラッドライト50によって投射される赤外光の投射タイミングを制御することができ、strobe信号は、画像収集装置15による画像取得のタイミングに基づいて生成され、strobe信号は、ハイレベルとローレベルとが交互に切り替わる電気信号と見なし、フラッドライト50は、strobeによって示される赤外光投射タイミングに従って、レーザを投射する。具体的に、プロセッサ20は、I2Cバスを介して画像収集装置15に画像収集命令を送信し、画像収集装置15は、画像収集命令を受信した後、strobe信号を介してスイッチデバイス30を制御し、strobe信号がハイレベルである場合、第2のドライバー52は、第2のパルス信号(pwn2)を送信し、第2のドライバー52は、第2のパルス信号に基づいて、赤外光を投射するようにフラッドライト光源51を駆動し、strobe信号がローレベルである場合、スイッチデバイス30は、第2のパルス信号を第2のドライバー52に送信することを停止し、フラッドライト光源51、レーザを投射しない。又は、strobe信号がローレベルである場合、スイッチデバイス30は第2のドライバー52に第2のパルス信号を送信し、第2のドライバー52は、第2のパルス信号に基づいて、赤外光を投射するようにフラッドライト光源51を制御し、strobe信号がハイレベルである場合、スイッチデバイス30は、第2のパルス信号を第2のドライバー52に送信することを停止し、フラッドライト光源51は、赤外光を投射しない。フラッドライト50が赤外光を投射する場合、画像収集装置15は、シーン内の物体によって反射された赤外光を受信して赤外線画像を形成し、モバイルインダストリープロセッサインターフェースを介して赤外線画像をプロセッサ20に送信する。画像収集装置15は、1フレームの赤外線画像をプロセッサ20に送信する毎に、プロセッサ20は、1つのデータストリームを受信する。この赤外線画像は通常、虹彩認識、顔認識などに用いられる。
図2及び図16を参照すると、いくつかの実施形態では、電子機器100は、画像収集装置15をさらに含み、画像収集装置15は、第1の筐体111の第2の面114に設けられ、レーザプロジェクタ14がレーザを投射する場合(レーザプロジェクタ14が第1のモードでレーザを投射する場合、又はレーザプロジェクタ14が第2のモードでレーザを投射する場合)、レーザプロジェクタ14は第1の動作周波数でシーンにレーザを投射し、制御方法は、
画像収集装置15は、第1の動作周波数よりも大きい第2の動作周波数で収集画像を取得するステップ0165と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0166と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0167と、をさらに含む。
つまり、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0161と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0162と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0163と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0164と、
画像収集装置15は、第1の動作周波数よりも大きい第2の動作周波数で収集画像を取得するステップ0165と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0166と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0167と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0161が基本的に上記のステップ051と同じであり、ステップ0162が基本的に上記のステップ052と同じであり、ステップ0163が基本的に上記のステップ053と同じであり、ステップ0164が基本的に上記のステップ054と同じである。画像収集装置15は、ステップ0165を実現し、プロセッサ20はさらにステップ0166とステップ0167を実現することができる。つまり、画像収集装置15は、第2の動作周波数で収集画像を取得し、プロセッサ20はさらに、収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別し、第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算する。
具体的に、画像収集装置15とレーザプロジェクタ14の動作周波数が異なる(即ち第2の動作周波数が第1の動作周波数よりも大きい)場合、例えば、ロック解除、支払い、復号化、及び3次元モデリングなどの使用シナリオにおいて、深度画像を取得する必要がある。一例では、プロセッサ20は、I2Cバスを介して、深度画像を取得するための画像収集命令を、画像収集装置15及び第1のドライバー147に同時に送信する。第1のドライバー147は、画像収集命令を受信した後、第1の動作周波数でシーンに赤外線レーザを投射するように、レーザ光源140を駆動する。画像収集装置15は、画像収集命令を受信した後、第2の動作周波数で、シーン内の物体によって反射された赤外線レーザを収集して、収集画像を取得する。例えば、図17に示すように、実線は、レーザプロジェクタ14がレーザを投射するタイミングを表し、破線は、画像収集装置15が収集画像を取得するタイミング、及び収集画像のフレーム数を表し、一点鎖線は、第1の画像及び第2の画像から得られた第3の画像のフレーム数を表し、図17の上から下は、実線、破線及び一点鎖線の順であり、ここで、第2の動作周波数は、第1の動作周波数の2倍である。図17の実線及び破線を参照すると、画像収集装置15は、レーザプロジェクタ14がレーザを投射していないときに、環境内の赤外光(以下、環境赤外光と呼ぶ)を先に受信して、第Nフレームの収集画像(この場合は第1の画像であり、背景画像とも呼ばれる)を取得し、モバイルインダストリープロセッサインターフェースを介して第Nフレームの収集画像をプロセッサ20に送信する。そして、画像収集装置15は、レーザプロジェクタ14がレーザを投射する場合、環境赤外光、及びレーザプロジェクタ14から出射される赤外線レーザを受信して、第N+1フレームの収集画像(この場合は第2の画像であり、干渉スペックル画像とも呼ばれる)を取得し、モバイルインダストリープロセッサインターフェースを介して、第N+1フレームの収集画像をプロセッサ20に送信する。続いて、画像収集装置15は、レーザプロジェクタ14がレーザを投射していないときに、環境赤外光を受信して、第N+2フレームの収集画像(この場合は第1の画像)を取得し、モバイルインダストリープロセッサインターフェースを介して、第N+2フレームの収集画像をプロセッサ20に送信し、類推により、画像収集装置15は、第1の画像と第2の画像を交互に取得する。
別の例では、プロセッサ20は、I2Cバスを介して、深度画像を取得するための収集命令を画像収集装置15に送信する。画像収集装置15は、画像収集命令を受信した後、strobe信号を介して、第1のドライバー147に第1のパルス信号を送信するようにスイッチを制御し、第1のドライバー147は、第1のパルス信号に基づいて、レーザ光源140を駆動して、第1の動作周波数でレーザを投射する(即ちレーザプロジェクタ14は第1の動作周波数でレーザを投射する)。同時に、画像収集装置15は、第2の動作周波数でシーン内の物体によって反射された赤外線レーザを収集して、収集画像を取得する。図17に示すように、実線は、レーザプロジェクタ14がレーザを投射するタイミングを表し、破線は、画像収集装置15が収集画像を取得するタイミング、及び収集画像のフレーム数を表し、一点鎖線は、第1の画像及び第2の画像から得られた第3の画像のフレーム数を表し、図17の上から下は、実線、破線及び一点鎖線の順であり、ここで、第2の動作周波数は、第1の動作周波数の2倍である。図17の実線及び破線を参照すると、画像収集装置15は、レーザプロジェクタ14がレーザを投射していないときに、環境赤外光を先に受信して、第Nフレームの収集画像(この場合は第1の画像であり、背景画像とも呼ばれる)を取得し、モバイルインダストリープロセッサインターフェースを介して第Nフレームの収集画像をプロセッサ20に送信する。そして、画像収集装置15は、レーザプロジェクタ14がレーザを投射する場合、環境赤外光、及びレーザプロジェクタ14から出射される赤外線レーザを受信して、第N+1フレームの収集画像(この場合は第2の画像であり、干渉スペックル画像とも呼ばれる)を取得し、モバイルインダストリープロセッサインターフェースを介して、第N+1フレームの収集画像をプロセッサ20に送信する。続いて、画像収集装置15は、レーザプロジェクタ14がレーザを投射していないときに、環境赤外光を受信して、第N+2フレームの収集画像(この場合は第1の画像)を取得し、モバイルインダストリープロセッサインターフェースを介して、第N+2フレームの収集画像をプロセッサ20に送信し、類推により、画像収集装置15は、第1の画像と第2の画像を交互に取得する。
なお、画像収集装置15は、収集画像をプロセッサ20に送信すると同時に、収集画像の取得を実行することができる。また、画像収集装置15も、先に第2の画像を取得し、次に第1の画像を取得し、この順で収集画像の取得を交互に行うことができる。また、上記の第2の動作周波数と第1の動作周波数との倍数関係は一例に過ぎず、他の実施例では、第2の動作周波数と第1の動作周波数との倍数関係は三倍、四倍、五倍、又は六倍などであってもよい。
プロセッサ20は、1フレームの収集画像を受信するたびに、受信された収集画像を区別し、収集画像が第1の画像であるか第2の画像であるかを判断する。プロセッサ20は、少なくとも1フレームの第1の画像、及び少なくとも1フレームの第2の画像を受信した後、第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算することができる。具体的に、第1の画像は、レーザプロジェクタ14がレーザを投射していないときに収集されるため、第1の画像を形成する光は、環境赤外光のみを含み、第2の画像は、レーザプロジェクタ14がレーザを投射しているときに収集されるため、第2の画像を形成する光は、環境赤外光と、レーザプロジェクタ14から出射された赤外線レーザとを含む。従って、プロセッサ20は、第1の画像に基づいて、第2の画像における、環境赤外光によって形成された収集画像の部分を除去することができる。これにより、赤外線レーザのみによって形成された収集画像(即ち、赤外線レーザによって形成されたスペックル画像)を取得する。
なお、環境光は、レーザプロジェクタ14から出射される赤外線レーザと同じ波長を有する赤外線を含む(例えば、940nmの環境赤外光を含む)。画像収集装置15は、収集画像を取得する場合、この部分の赤外光も受信する。シーンの明るさが高い場合、画像収集装置15が受信する光において環境赤外光で占められる割合が増加し、収集画像におけるレーザスペックルが目立たなくなり、深度画像の計算に影響を与える。
本願の制御方法は、レーザプロジェクタ14及び画像収集装置15が異なる動作周波数で動作するように制御し、画像収集装置15は、環境赤外光のみによって形成された第1の画像と、環境赤外光及びレーザプロジェクタ14から出射される赤外線レーザによって形成された第2の画像とを収集し、第1の画像に基づいて、第2の画像における、環境赤外光によって形成された画像の部分を除去することができる。これにより、レーザスペックルを区別し、レーザプロジェクタ14から出射される赤外線レーザのみによって形成された収集画像を採用して、深度画像を計算することができる。レーザスペックルのマッチングは影響を受けず、深度情報の部分的または完全な損失を回避できるため、深度画像の精度が向上する。
図2及び図18を参照すると、いくつかの実施形態では、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0181と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0182と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0183と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0184と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0185と、
各フレームの収集画像に画像タイプを追加するステップ01861と、
画像タイプに応じて、第1の画像と第2の画像とを区別するステップ01862と
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0187と、を含む。
図2及び図19を参照すると、いくつかの実施形態では、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0191と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0192と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0193と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0194と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0195と、
各フレームの収集画像の収集時間に応じて、収集時間にレーザプロジェクタ14の動作状態を決定するステップ019611と、
動作状態に基づいて、各フレームの収集画像に画像タイプを追加するステップ019612と、
画像タイプに応じて、第1の画像と第2の画像とを区別するステップ01962と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0197と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0181が基本的に上記のステップ051と同じであり、ステップ0182が基本的に上記のステップ052と同じであり、ステップ0183が基本的に上記のステップ053と同じであり、ステップ0184が基本的に上記のステップ054と同じであり、ステップ0185が基本的に上記のステップ0165と同じであり、ステップ01861及びステップ01862は、上記のステップ0166のサブステップとすることができ、ステップ0187が基本的に上記のステップ0167と同じであり、ステップ0191が基本的に上記のステップ051と同じであり、ステップ0192が基本的に上記のステップ052と同じであり、ステップ0193が基本的に上記のステップ053と同じであり、ステップ0194が基本的に上記のステップ054と同じであり、ステップ0195が基本的に上記のステップ0165と同じであり、ステップ019611とステップ019612は、上記のステップ01861のサブステップとすることができ、ステップ01962が基本的に上記のステップ01862と同じであり、ステップ0197が基本的に上記のステップ0167と同じである。ステップ01861、ステップ01862、ステップ019611、ステップ019612及びステップ01962は、いずれもプロセッサ20によって実現することができる。即ち、プロセッサ20はさらに、各フレームの収集画像に画像タイプを追加し、画像タイプに応じて、第1の画像と第2の画像とを区別する。プロセッサ20は、各フレームの収集画像に画像タイプを追加する場合、具体的に、各フレームの収集画像の収集時間に応じて、収集時間にレーザプロジェクタ14の動作状態を決定し、動作状態に基づいて、各フレームの収集画像に画像タイプを追加する。
具体的に、プロセッサ20は、後続の処理において、画像タイプに従って、第1の画像と第2の画像とを区別するように、画像収集装置15から1フレームの収集画像を受信するたびに、収集画像に画像タイプ(stream_type)を追加する。具体的に、画像収集装置15が収集画像を取得する間、プロセッサ20は、I2Cバスを介してリアルタイムにレーザプロジェクタ14の動作状態を監視する。プロセッサ20は、画像収集装置15から1フレームの収集画像を受信するたびに、先に収集画像の収集時間を取得し、次に収集画像の収集時間に従って、レーザプロジェクタ14の動作状態が、収集画像の収集時にレーザを投射しているか否かを判断し、その判断結果に基づいて、収集画像に画像タイプを追加する。ここで、収集画像の収集時間は、画像収集装置15が各フレームの収集画像を取得する開始時間、終了時間、及び開始時間と終了時間との間の任意の時間などであってもよい。このように、各フレームの収集画像と、当該フレームの収集画像を取得する間にレーザプロジェクタ14の動作状態(レーザを投射しているか否か)との対応を実現し、収集画像のタイプを正確に区別することができる。一例では、画像タイプstream_typeの構造は表1に示すとおりである。
Figure 2022535520000029
表1において、streamが0である場合、この時のデータストリームが赤外光及び/又は赤外線レーザによって形成された画像であることを表す。lightが00の場合、この時のデータストリームが、赤外光及び/又は赤外線レーザ(環境赤外光のみ)を投射するためのデバイスなしで取得されることを表し、プロセッサ20は、収集画像に000という画像タイプを追加し、この収集画像を第1の画像として識別することができる。lightが01の場合、この時のデータストリームは、レーザプロジェクタ14が赤外線レーザ(環境赤外光と赤外線レーザの両方)を投射するときに取得されることを表す。プロセッサ20は、収集画像に001という画像タイプを追加し、この収集画像を第2の画像として識別することができる。次に、プロセッサ20は、stream_typeに従って収集画像の画像タイプを区別することができる。
図2及び図20を参照すると、いくつかの実施形態では、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0201と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0202と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0203と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0204と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0205と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0206と、
第1の画像と第2の画像とに基づいて第3の画像を計算するステップであって、第1の画像の収集時間と第2の画像の収集時間との差が所定の差よりも小さいステップ02071と、
第3の画像と参照画像とに基づいて深度画像を計算するステップ02072と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0201が基本的に上記のステップ051と同じであり、ステップ0202が基本的に上記のステップ052と同じであり、ステップ0203が基本的に上記のステップ053と同じであり、ステップ0204が基本的に上記のステップ054と同じであり、ステップ0205が基本的に上記のステップ0165と同じであり、ステップ0206が基本的に上記のステップ0166と同じであり、ステップ02071とステップ02072は、上記のステップ0167のサブステップとすることができる。ステップ02071及びステップ02072はいずれもプロセッサ20によって実現することができる。即ち、プロセッサ20はさらに、第1の画像と第2の画像とに基づいて第3の画像を計算し、第3の画像と参照画像とに基づいて深度画像を計算する。ここで、第1の画像の収集時間と第2の画像の収集時間との差が所定の差よりも小さい。
深度画像を計算するうちに、プロセッサ20は、先に第1の画像と第2の画像とを区別し、次に収集時間に基づいて、任意のフレームの第2の画像と、この任意のフレームの第2の画像に対応する特定のフレームの第1の画像を選択し、ここで、この特定のフレームの第1の画像の収集時間とこの任意のフレームの第2の画像の収集時間との間の差が、所定の差よりも小さい。続いて、プロセッサ20は、この特定のフレームの第1の画像とこの任意のフレームの第2の画像とに基づいて、第3の画像を計算し、第3の画像は、レーザプロジェクタ14によって出射される赤外線レーザのみによって形成された収集画像であり、実際のスペックル画像とも呼ばれる。具体的に、第1の画像における複数のピクセルポイントと第2の画像における複数のピクセルポイントは1対1で対応しており、第1の画像がP1であり、第2の画像がP2であり、第3の画像がP3である場合、プロセッサ20は、第2の画像におけるピクセルポイントP2i、jのピクセル値から、第1の画像におけるピクセルポイントP1i、jのピクセル値を差し引いて、第3の画像におけるピクセルポイントP3i、jのピクセル値を取得することができる。即ち、P3i、j=P2i、j-P1i、j、i∈N+、j∈N+である。続いて、プロセッサ20は、第3の画像と参照画像に基づいて深度画像を計算し、ここで、第2の画像のフレーム数、第3の画像のフレーム数及び深度画像のフレーム数はすべて等しい。なお、第1の画像の収集時間と第2の画像の収集時間との差が小さいため、第1の画像の環境赤外光の強度は、第2の画像の環境赤外光の強度により近い。第1の画像と第2の画像とに基づいて計算された第3の画像の精度がより高く、深度画像の取得に対する環境赤外光の影響をさらに低減するのに有益である。
いくつかの実施形態では、プロセッサ20はまた、収集画像を処理した後に取得された各データストリームを区別するように、第3の画像及び深度画像に画像タイプを追加することができる。表2に示すとおりである。
Figure 2022535520000030
表2のstreamが0である場合、この時点でのデータストリームが、赤外光及び/又は赤外線レーザによって形成された画像であり、streamが1である場合、この時点でのデータストリームが深度画像であることを表す。lightが11である場合、背景除去処理を表し、背景除去処理は、収集画像から環境赤外光によって形成された部分を除去することを表す。プロセッサ20は、背景除去処理後のデータストリームに011という画像タイプを追加して、このデータストリームを第3の画像として識別することができる。LightがXXである場合、Xは値が制限されていないことを表し、プロセッサ20は、深度計算後に得られたデータストリームに、1XXという画像タイプを追加して、このデータストリームを深度画像として識別することができる。
いくつかの実施形態では、深度画像の計算に関与する第1の画像及び第2の画像では、第1の画像の収集時間は、第2の画像の収集時間の前であってもよいし、第2の画像の収集時間の後であってもよく、ここで限定されない。
いくつかの実施形態では、第1の画像の収集時間と第2の画像の収集時間との差が所定の差よりも小さい場合、第1の画像と第2の画像は、隣接するフレームの画像であってもよいし、隣接しないフレームの画像であってもよい。例えば、第2の動作周波数が第1の動作周波数の2倍である場合、第1の画像と第2の画像との差が所定の差よりも小さい画像は、隣接するフレームの画像である。第2の動作周波数と第1の動作周波数との間の倍数が2倍よりも大きい場合、例えば、第2の動作周波数が第1の動作周波数の3倍である場合、第1の画像と第2の画像との差が所定の差よりも小さい画像は、隣接するフレームの画像であってもよいし、隣接しないフレームの画像(この場合、第1の画像と第2の画像との間に1フレームの第1の画像が存在する)であってもよい。
いくつかの実施形態では、深度画像の計算に関与する第1の画像のフレーム数は複数のフレームであってもよい。例えば、第2の動作周波数が第1の動作周波数の3倍である場合、2フレームの隣接する第1の画像及び当該2フレームの第1の画像に隣接する1フレームの第2の画像を選択して、第3の画像を計算することができる。この場合、プロセッサ20は、先に2フレームの第1の画像に対して融合処理を実行し、例えば、2フレームの第1の画像に対応するピクセルポイントのピクセル値を加算し、次に平均値を取得して融合処理後の第1の画像を取得し、融合処理後の第1の画像及び上記の隣接する1フレームの第2の画像を採用して、第3の画像を計算することができる。
いくつかの実施形態では、プロセッサ20は、複数のフレームの第3の画像を算出し、例えば図17の第(N+1)-Nフレームの第3の画像、第(N+3)-(N+2)フレームの第3の画像、第(N+5)-(N+4)フレームの第3の画像などを算出し、複数のフレームの第3の画像に応じて、複数のフレームの深度画像を算出することができる。もちろん、他の実施形態では、プロセッサ20は、1フレームの第3の画像のみを算出し、1フレームの第3の画像に応じて1フレームの深度画像を算出することもできる。第3の画像のフレーム数は、適用シナリオのセキュリティレベルに応じて決定することができる。具体的に、適用シナリオのセキュリティレベルが高い場合、例えば支払いなどのセキュリティレベルが高い適用シナリオに対して、第3の画像のフレーム数を増やす必要がある。この場合、支払いのセキュリティを向上させるために、支払い動作を実行する前に、複数のフレームの深度画像が、利用者の深度テンプレートを正常に一致させる必要がある。適用シナリオのセキュリティレベルが低い場合、例えば、深度情報に基づくポートレート美化の適用シナリオに対しては、第3の画像のフレーム数が少なくてもよく、例えば、1フレームである。この場合、ポートレート美化には1フレームの深度画像で十分であるため、プロセッサ20の計算量や消費電力を低減し、画像処理の速度を上げることができる。
図2及び図21を参照すると、いくつかの実施形態では、制御方法は、
第3の動作周波数で可視光画像を収集するステップであって、第3の動作周波数が、第2の動作周波数よりも大きい又は小さいステップ0218と、
各フレームの可視光画像及び各フレームの収集画像に収集時間を追加するステップ0219と、
可視光画像の収集時間、収集画像の収集時間及び収集画像の画像タイプに応じて、フレーム同期の可視光画像と第2の画像を決定するステップ0220と、をさらに含む。
つまり、制御方法は、
筐体11の形態及び電子機器100の使用状態を決定するステップ0211と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0212と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0213と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0214と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0215と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0216と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0217と、
第3の動作周波数で可視光画像を収集するステップであって、第3の動作周波数が、第2の動作周波数よりも大きい又は小さいステップ0218と、
各フレームの可視光画像及び各フレームの収集画像に収集時間を追加するステップ0219と、
可視光画像の収集時間、収集画像の収集時間及び収集画像の画像タイプに応じて、フレーム同期の可視光画像と第2の画像を決定するステップ0220とを含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0211が基本的に上記のステップ051と同じであり、ステップ0212が基本的に上記のステップ052と同じであり、ステップ0213が基本的に上記のステップ053と同じであり、ステップ0214が基本的に上記のステップ054と同じであり、ステップ0215が基本的に上記のステップ0165と同じであり、ステップ0216が基本的に上記のステップ0166と同じであり、ステップ0217が基本的に上記のステップ0167と同じである。ステップ0218は、可視光カメラ40(メインカメラ41及びサブカメラ42のうちのいずれか一方、又はメインカメラ41及びサブカメラ42)によって実現することができる。ステップ0219及びステップ0220は、プロセッサ20によって実現することができる。即ち、可視光カメラ40は、第3の動作周波数で可視光画像を収集し、第3の動作周波数が、第2の動作周波数よりも大きい又は小さい。プロセッサ20は、各フレームの可視光画像及び各フレームの収集画像に収集時間を追加し、可視光画像の収集時間、収集画像の収集時間及び収集画像の画像タイプに応じて、フレーム同期の可視光画像と第2の画像を決定する。
いくつかの適用シナリオでは、例えば、シーン内の物体の3次元モデリングが行われる適用シナリオでは、画像収集装置15を介してシーン内の物体の深度情報を取得し、可視光カメラ40を介してシーン内の物体の色情報を取得することで、3次元モデリングが可能となる。この場合、プロセッサ20は、画像収集装置15をオンにして深度画像を取得するとともに、可視光カメラ40をオンにして可視光画像を取得する必要がある。
画像収集装置15が、可視光カメラ40と同じ動作周波数を有する場合、即ち画像収集装置15と可視光カメラ40の両方が第2の動作周波数で動作する場合、プロセッサ20は、I2Cバスを介して画像収集命令を画像収集装置15に送信し、画像収集装置15が画像収集命令を受信した後、画像収集装置15と可視光カメラ40は、sync信号によって同期され、このsync信号は、可視光カメラ40を制御して可視光画像の収集を開始し、画像収集装置15と可視光カメラ40との間のハードウェア同期を実現する。この場合、収集画像のフレーム数は、可視光画像のフレーム数と一致しており、各フレームの収集画像は、各フレームの可視光画像にそれぞれ対応する。
一方、画像収集装置15と可視光カメラ40の動作周波数が異なる場合、即ち画像収集装置15が第2の動作周波数で動作し、可視光カメラ40が第2の動作周波数と等しくない第3の動作周波数で動作する場合、画像収集装置15及び可視光カメラ40は、ハードウェア同期を達成することができない。この場合、プロセッサ20は、ソフトウェア同期により、画像収集装置15と可視光カメラ40とを同期させる必要がある。具体的に、プロセッサ20は、画像収集装置15に接続されたI2Cバスを介して、画像収集命令を画像収集装置15に送信するとともに、可視光カメラ40に接続されたI2Cバスを介して、画像収集命令を可視光カメラ40に送信する。プロセッサ20は、1フレームの収集画像を受信するたびに、各フレームの収集画像に画像タイプを追加して、各フレームの収集画像に収集時間を追加する。また、プロセッサ20は、1フレームの可視光画像を受信するたびに、各フレームの可視光画像に収集時間を追加する。ここで、収集画像の収集時間は、画像収集装置15による各フレームの収集画像を収集する開始時間、終了時間、及び開始時間と終了時間との間の任意の時間などであってもよい。可視光画像の収集時間は、可視光カメラ40による各フレームの可視光画像を収集する開始時間、終了時間、及び開始時間と終了時間との間の任意の時間などであってもよい。その後、深度画像及び可視光画像に基づいてさらなる処理(例えば、3次元モデリング、深度情報によるポートレート美化などの処理)を行う場合、プロセッサ20は、先に可視光画像の収集時間、収集画像の収集時間及び収集画像のタイプに基づいて、フレーム同期の可視光画像と第2の画像を決定することができる。ここで、フレーム同期とは、決定された第2の画像の収集時間と可視光画像の収集時間との差が、予め設定された時間差よりも小さいことを意味し、可視光画像の収集時間は、第2の画像の収集時間の前であってもよいし、第2の画像の収集時間の後であってもよい。その後、プロセッサ20は、決定された第2の画像に基づいて、第1の画像を選択して、さらに第2の画像、第1の画像及び参照画像に基づいて、深度画像を計算する。最後、プロセッサ20は、深度画像と、決定された可視光画像とに基づいて、後続の処理を実行する。
いくつかの実施形態では、プロセッサ20は、先に各フレームの深度画像に収集時間を追加し、次に可視光画像の収集時間と深度画像の収集時間とに基づいて、フレーム同期の可視光画像及び深度画像を決定し、最後にフレーム同期の可視光画像及び深度画像を処理することもできる。ここで、各フレームの深度画像の収集時間は、当該フレームの深度画像に対応する第2の画像の収集時間である。
図22を参照すると、いくつかの実施形態では、収集画像は、赤外線画像をさらに含み、赤外線画像は、フラッドライト50から出射された赤外光を収集する画像収集装置15によって得られる画像である。プロセッサ20は、各フレームの収集画像に画像タイプを追加するとともに、赤外線画像に画像タイプを追加する。一例では、赤外線画像の画像タイプは表3に示すとおりである。
Figure 2022535520000031
表3のstreamが0である場合、この時点でのデータストリームが、赤外光及び/又は赤外線レーザによって形成された画像であることを表す。lightが10の場合、この時点でのデータストリームが、フラッドライト50が赤外光を投射し且つレーザプロジェクタ14がレーザを投射していないときに取得されることを表す。このように、プロセッサ20は、収集画像に010という画像タイプを追加し、これは、この1フレームの収集画像を赤外線画像として識別する。
いくつかの適用シナリオでは、例えば、深度画像と深度テンプレートのマッチング、及び赤外線画像と赤外線テンプレートのマッチングに基づいて、アイデンティティ検証を実現する適用シナリオでは、画像収集装置15は、フラッドライト50及びレーザプロジェクタ14と組み合わせて使用する必要があり、画像収集装置15は、時分割方式で第1の画像、第2の画像及び赤外線画像を取得することができる。図22に示すように、実線は、レーザプロジェクタ14がレーザを投射するタイミングを表し、二点鎖線は、フラッドライト50が赤外光を投射するタイミングを表し、破線は、画像収集装置15が収集画像を取得するタイミング、及び収集画像のフレーム数を表し、一点鎖線は、第1の画像及び第2の画像から得られた第3の画像のフレーム数を表し、図22の上から下は、実線、二点鎖線、破線及び一点鎖線の順であり、ここで、第2の動作周波数は、第1の動作周波数の3倍であり、第2の動作周波数は、第4の動作周波数の3倍である。プロセッサ20は、I2Cバスを介して、リアルタイムにフラッドライト50の動作状態を監視することができる。プロセッサ20は、画像収集装置15から1フレームの収集画像を受信するたびに、先に収集画像の収集時間を取得し、次に収集画像の収集時間に基づいて、フラッドライト50の動作状態が、収集画像の収集時に赤外光を投射しているか否かを判断し、その判断結果に基づいて、収集画像に画像タイプを追加する。その後、プロセッサ20は、赤外線画像の収集時間と第2の画像の収集時間とに基づいて、収集時間の差が、所定の差よりも小さい赤外線画像、及び第2の画像を決定し、さらに、プロセッサ20は、赤外線画像及び深度画像を決定し、この赤外線画像及びこの深度画像を使用して、アイデンティティ検証を行うことができる。
図2及び図23を参照すると、いくつかの実施形態では、制御方法は、
シーンの明るさ及びタイプを取得するステップ0231と、
明るさが明るさ閾値よりも大きく、かつタイプが室外シーンであるか否かを判断するテップ0232と、
そうである場合、筐体11の形態及び電子機器100の使用状態を決定するステップ(ステップ0233)と、をさらに含む。
つまり、制御方法は、
シーンの明るさ及びタイプを取得するステップ0231と、
明るさが明るさ閾値よりも大きく、かつタイプが室外シーンであるか否かを判断するテップ0232と、
そうである場合、筐体11の形態及び電子機器100の使用状態を決定するステップ0233と、
筐体11が折り畳み形態であり且つ電子機器100が第1の使用状態にある場合、レーザプロジェクタ14は第1のモードでレーザを投射するステップ0234と、
筐体11が折り畳み形態であり且つ電子機器100が第2の使用状態にある場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップであって、第2のモードで出射されるレーザのエネルギーが、第1のモードで出射されるレーザのエネルギーよりも大きいステップ0235と、
筐体11が展開形態である場合、レーザプロジェクタ14は第2のモードでレーザを投射するステップ0236と、
画像収集装置15は第2の動作周波数で収集画像を取得するステップであって、第2の動作周波数が第1の動作周波数よりも大きいステップ0237と、
収集画像において、レーザプロジェクタ14がレーザを投射していないときに収集された第1の画像と、レーザプロジェクタ14がレーザを投射しているときに収集された第2の画像とを区別するステップ0238と、
第1の画像、第2の画像及び参照画像に基づいて、深度画像を計算するステップ0239と、を含む。
上記の制御方法は、電子機器100によっても実現することができ、ここで、ステップ0233が基本的に上記のステップ051と同じであり、ステップ0234が基本的に上記のステップ052と同じであり、ステップ0235が基本的に上記のステップ053と同じであり、ステップ0236が基本的に上記のステップ054と同じであり、ステップ0237が基本的に上記のステップ0165と同じであり、ステップ0238が基本的に上記のステップ0166と同じであり、ステップ0239が基本的に上記のステップ0167と同じである。ステップ0231とステップ0232はいずれもプロセッサ20によって実現することができる。即ち、プロセッサ20は、シーンの明るさ及びタイプを取得し、明るさが明るさ閾値よりも大きく、かつタイプが室外シーンであるか否かを判断する。レーザプロジェクタ14は、明るさが明るさ閾値よりも大きく、かつタイプが室外シーンである場合、第1の動作周波数でシーンにレーザを投射する。
具体的に、シーンの明るさは、画像収集装置15によって取得された収集画像又は可視光カメラ40(メインカメラ41とサブカメラ42のうちのいずれか一方、又はメインカメラ41及びサブカメラ42)によって取得された可視光画像を分析することによって得ることができる。又は、シーンの明るさは、光センサによって直接検出してもよく、プロセッサ20は、光センサから、検出された信号を読み取り、シーンの明るさを取得する。シーンのタイプは、画像収集装置15によって取得された収集画像又は可視光カメラ40によって取得された可視光画像を分析することによって得ることができる。例えば、収集画像又は可視光カメラ40によって取得された可視光画像内の物体を分析して、シーンのタイプが室外シーンであるか室内シーンであるかを判断する。シーンのタイプは、地理的位置に基づいて直接決定してもよく、具体的に、プロセッサ20は、グローバル衛星測位システムによるシーンの測位結果を取得し、さらに測位結果に基づいて、シーンのタイプを判断し、例えば、シーンの測位結果が特定のオフィスビルである場合、そのシーンが室内シーンであることを意味し、シーンの測位結果が特定の公園である場合、そのシーンが室外シーンであることを意味し、シーンの測位結果が特定の回路である場合、そのシーンが室外シーンであることを意味する。
なお、シーンの明るさが高い(例えば明るさが明るさ閾値よりも大きい)場合、収集画像における環境赤外光が大きな割合を占めるため、ポイントの認識に大きな影響を与える。この場合、環境赤外光の干渉を取り除く必要がある。一方、シーンの明るさが低い場合、収集画像における環境赤外光の割合が小さいため、ポイントの認識への影響が少なくなり、無視できるようになる。この場合、画像収集装置15及びレーザプロジェクタ14は、同じ動作周波数で動作することができ、プロセッサ20は、画像収集装置15によって取得された収集画像(即ち第2の画像)及び参照画像に基づいて、深度画像を直接計算することができる。また、シーンの明るさが高い場合は、室内灯の強い光が原因である可能性があり、光には赤外光が含まれていないため、スポット認識に大きな影響を与えない。この場合、画像収集装置15及びレーザプロジェクタ14は、同じ動作周波数で動作し、プロセッサ20は、画像収集装置15によって取得された収集画像(即ち第2の画像)と参照画像とに基づいて深度画像を直接計算する。このようにして、画像収集装置15の動作周波数を低減し、画像収集装置15の消費電力を低減することができる。
もちろん、いくつかの実施形態では、制御方法は、シーンの明るさのみに基づいて、ステップ0233を実行するか否かを判断することができる。具体的に、プロセッサ20は、シーンの明るさのみを取得し、シーンの明るさが明るさ閾値よりも大きいかを判断し、レーザプロジェクタ14は、明るさが明るさ閾値よりも大きい場合、第1の動作周波数でシーンにレーザを投射する。
いくつかの実施形態では、プロセッサ20は、各データストリームに状態情報(status)を追加することができる。一例では、表4に示すとおりである。
Figure 2022535520000032
状態情報statusが0である場合、この時点でのデータストリームが、背景除去処理を受けていないことを表し、状態情報statusが1の場合、このデータストリームが、背景除去処理を受けていることを表す。表4において、0000は、第1の画像を表し、0010は、第2の画像を表し、0100は、フラッドライト50がオンになったときに画像収集装置15によって取得された赤外線画像を表し、0111は、第3の画像を表し、1XX1は、背景除去処理後の深度画像を表し、1XX0は、背景除去処理なしの深度画像を表す。このように、各データストリームに状態情報が追加され、プロセッサ20は、各データストリームが背景除去処理を受けたか否かを区別することができる。
いくつかの実施形態では、プロセッサ20は、第1の記憶領域、第2の記憶領域及び論理減算回路を含み、論理減算回路は、第1の記憶領域と第2の記憶領域の両方に接続されている。ここで、第1の記憶領域は、第1の画像を記憶するために使用され、第2の記憶領域は、第2の画像を記憶するために使用され、論理減算回路は、第1の画像及び第2の画像を処理して第3の画像を取得するために使用される。具体的に、論理減算回路は、第1の記憶領域から第1の画像を読み取り、第2の記憶領域から第2の画像を読み取り、第1の画像及び第2の画像を取得した後、第1の画像及び第2の画像に対して減算処理を実行して第3の画像を取得する。論理減算回路はまた、プロセッサ20内の深度計算モジュール(例えば、深度を計算するために専用の集積回路ASICなど)に接続され、論理減算回路は、第3の画像を深度計算モジュールに送信し、深度計算モジュールは、第3の画像と参照画像とに基づいて深度画像を計算する。
本明細書の説明においては、「一実施形態」、「いくつかの実施形態」、「例示的な実施形態」、「例」、「示例」「具体的な例」、又は「いくつかの例」などの用語を参照した説明は、実施形態又は例を参照しながら説明した特定の特徴、構造、材料又は特性が、本願の少なくとも1つの実施形態又は例に含まれることを意味している。本明細書において、上記用語の模式的な表現は同じ実施形態又は例に、必ずしも言及しているというわけではない。また、説明した特定の特徴、構造、材料又は特性は任意の1つ又は複数の実施形態又は例において、適切な方法で組み合わせてもよい。また、相互に矛盾しない場合において、当業者は本明細書に記載された異なる実施例又は例示、及び異なる実施例又は例示の特徴を結合する及び組み合わせることができる。
フローチャートに記載されている、または他の方法で本明細書に記載されているプロセスまたは方法は、そのプロセス内の特定の論理的機能またはステップを実現するための実行可能な命令のコードの1つまたは複数のモジュール、セグメントまたは部分を含むと理解することができ、本願の好ましい実施形態の範囲は他の実施態様を含み、実行の順序は、必ずしも図示または議論されている順序にしたがって機能を実行するわけではなく、関連する機能に従って、ほぼ同時に実行する場合も、逆の順序で実行する場合もある、このことは当業者なら理解するであろう。
以上、本願の実施形態を例示して説明したが、上記の実施形態は例示なものに過ぎず、本出願への制限として理解すべきではない。当業者であれば、本願の原理及び趣旨から逸脱せずに、上記の実施形態に対して様々な変更、修正、置換や変形を行うことができることを理解されたい。

Claims (22)

  1. 電子機器の制御方法であって、前記電子機器は筐体、フレキシブルディスプレイ及びレーザプロジェクタを含み、前記筐体は第1の筐体及び第2の筐体を含み、前記第2の筐体は、前記筐体を選択的に折り畳み形態又は展開形態とするように、前記第1の筐体に回動可能に取り付けられ、前記フレキシブルディスプレイは前記筐体の第1の面に設けられ、前記制御方法は、
    前記筐体の形態及び前記電子機器の使用状態を決定するステップと、
    前記筐体が前記折り畳み形態であり、前記電子機器が第1の使用状態にある場合、前記レーザプロジェクタは第1のモードでレーザを投射するステップと、
    前記筐体が前記折り畳み形態であり、前記電子機器が第2の使用状態にある場合、前記レーザプロジェクタは第2のモードでレーザを投射するステップであって、前記第2のモードで出射される前記レーザのエネルギーが、前記第1のモードで出射される前記レーザのエネルギーよりも大きいステップと、
    前記筐体が前記展開形態である場合、前記レーザプロジェクタは前記第2のモードでレーザを投射するステップと、を含む、
    ことを特徴とする電子機器の制御方法。
  2. 前記レーザプロジェクタは、前記第1の筐体の前記第1の面に背向する第2の面に設けられる、
    ことを特徴とする請求項1に記載の制御方法。
  3. 前記電子機器は、ホールセンサコンポーネントをさらに含み、前記ホールセンサコンポーネントは、第1のセンサ及び第2のセンサを含み、前記第1のセンサは、前記第1の筐体の前記第2の筐体に近い一端に設けられ、前記第2のセンサは、前記第2の筐体の前記第1の筐体に近い一端に設けられ且つ前記第1のセンサに対応し、筐体の形態を決定するステップは、
    前記ホールセンサコンポーネントを介して前記筐体の形態を決定するステップを含む、
    ことを特徴とする請求項1に記載の制御方法。
  4. 前記ホールセンサコンポーネントを介して前記筐体の形態を決定するステップは、
    前記ホールセンサコンポーネントのホール値を取得するステップと、
    前記ホール値が第1の設定値よりも小さい場合、前記筐体が前記展開形態であると決定するステップと、
    前記ホール値が第2の設定値よりも大きい場合、前記筐体が前記折り畳み形態であると決定するステップと、を含む、
    ことを特徴とする請求項3に記載の制御方法。
  5. 前記電子機器は重力センサをさらに含み、前記筐体が折り畳み形態である場合、前記電子機器の使用状態を決定するステップは、
    前記重力センサを介して前記電子機器の使用状態を決定するステップを含む、
    ことを特徴とする請求項1に記載の制御方法。
  6. 前記筐体が折り畳み形態である場合、前記重力センサを介して前記電子機器の使用状態を決定するステップは、
    前記重力センサのz軸の値を取得するステップと、
    前記z軸の値が第1の設定値よりも大きい場合、前記電子機器が前記第1の使用状態にあると決定するステップと、
    前記z軸の値が第2の設定値よりも小さい場合、前記電子機器が前記第2の使用状態にあると決定するステップと、を含む、
    ことを特徴とする請求項5に記載の制御方法。
  7. 前記電子機器は状態選択ボタンをさらに含み、前記筐体が折り畳み形態である場合、前記電子機器の使用状態を決定するステップは、
    前記状態選択ボタンを介して前記レーザプロジェクタの使用状態を決定するステップを含む、
    ことを特徴とする請求項1に記載の制御方法。
  8. 前記レーザプロジェクタは、前記第1のモードで前記レーザを投射するパワーが、前記第2のモードで前記レーザを投射するパワーよりも小さく、及び/又は
    前記レーザプロジェクタは、複数の点光源を含み、複数の前記点光源は独立して制御され、前記レーザプロジェクタは、前記第1のモードでオンにされる前記点光源の数が、前記第2のモードでオンにされる前記点光源の数よりも少ない、
    ことを特徴とする請求項1~7のいずれか一項に記載の制御方法。
  9. 前記電子機器は、前記第1の筐体の前記第1の面に背向する第2の面に設けられる画像収集装置をさらに含み、
    前記レーザプロジェクタは、レーザを投射する場合、第1の動作周波数でシーンに前記レーザを投射し、
    前記制御方法は、
    前記画像収集装置が、前記第1の動作周波数よりも大きい第2の動作周波数で収集画像を取得するステップと、
    前記収集画像において、前記レーザプロジェクタがレーザを投射していないときに収集された第1の画像と、前記レーザプロジェクタがレーザを投射しているときに収集された第2の画像とを区別するステップと、
    前記第1の画像、前記第2の画像及び参照画像に基づいて、深度画像を計算するステップと、をさらに含む、
    ことを特徴とする請求項1~7のいずれか一項に記載の制御方法。
  10. 電子機器であって、前記電子機器は筐体、フレキシブルディスプレイ、レーザプロジェクタ及びプロセッサを含み、前記筐体は第1の筐体及び第2の筐体を含み、前記第2の筐体は、前記筐体を選択的に折り畳み形態又は展開形態とするように、前記第1の筐体に回動可能に取り付けられ、前記フレキシブルディスプレイは前記筐体の第1の面に設けられ、前記プロセッサは前記筐体の形態及び前記電子機器の使用状態を決定し、前記レーザプロジェクタは、前記筐体が前記折り畳み形態であり且つ前記電子機器が第1の使用状態にある場合、第1のモードでレーザを投射し、前記筐体が前記折り畳み形態であり且つ前記電子機器が第2の使用状態にある場合、第2のモードでレーザを投射し、前記第2のモードで出射される前記レーザのエネルギーが、前記第1のモードで出射される前記レーザのエネルギーよりも大きい、
    ことを特徴とする電子機器。
  11. 前記レーザプロジェクタは、前記第1の筐体の前記第1の面に背向する第2の面に設けられる、
    ことを特徴とする請求項10に記載の電子機器。
  12. 前記電子機器は、ホールセンサコンポーネントをさらに含み、前記ホールセンサコンポーネントは、第1のセンサ及び第2のセンサを含み、前記第1のセンサは、前記第1の筐体の前記第2の筐体に近い一端に設けられ、前記第2のセンサは、前記第2の筐体の前記第1の筐体に近い一端に設けられ且つ前記第1のセンサに対応し、前記プロセッサはさらに、前記ホールセンサコンポーネントを介して前記筐体の形態を決定する、
    ことを特徴とする請求項10に記載の電子機器。
  13. 前記プロセッサは、さらに、
    前記ホールセンサコンポーネントのホール値を取得し、
    前記ホール値が第1の設定値よりも小さい場合、前記筐体が前記展開形態であると決定し、
    前記ホール値が第2の設定値よりも大きい場合、前記筐体が前記折り畳み形態であると決定する、
    ことを特徴とする請求項12に記載の電子機器。
  14. 前記電子機器は重力センサをさらに含み、前記筐体が折り畳み形態である場合、前記プロセッサはさらに、前記重力センサを介して前記電子機器の使用状態を決定する、
    ことを特徴とする請求項10に記載の電子機器。
  15. 前記筐体が折り畳み形態である場合、前記プロセッサは、さらに、
    前記重力センサのz軸の値を取得し、
    前記z軸の値が第1の設定値よりも大きい場合、前記電子機器が前記第1の使用状態にあると決定し、
    前記z軸の値が第2の設定値よりも小さい場合、前記電子機器が前記第2の使用状態にあると決定する、
    ことを特徴とする請求項14に記載の電子機器。
  16. 前記電子機器は状態選択ボタンをさらに含み、前記筐体が折り畳み形態である場合、前記プロセッサは、前記状態選択ボタンを介して前記電子機器の使用状態を決定する、
    ことを特徴とする請求項10に記載の電子機器。
  17. 前記レーザプロジェクタは、前記第1のモードで前記レーザを投射するパワーが、前記第2のモードで前記レーザを投射するパワーよりも小さく、及び/又は、
    前記レーザプロジェクタは、複数の点光源を含み、複数の前記点光源は独立して制御され、前記レーザプロジェクタは、前記第1のモードでオンにされる前記点光源の数が、前記第2のモードでオンにされる前記点光源の数よりも少ない、
    ことを特徴とする請求項10~16のいずれか一項に記載の電子機器。
  18. 前記レーザプロジェクタはレーザ光源を含み、前記レーザ光源は複数の点光源を含み、複数の前記点光源は独立して制御され、複数の前記点光源は複数の発光アレイを形成し、複数の前記発光アレイは独立して制御され、複数の前記発光アレイはリング状に配列される、
    ことを特徴とする請求項10~16のいずれか一項に記載の電子機器。
  19. 前記発光アレイをオンにする方法は、前記レーザ光源の中心から遠くなるほど、前記発光アレイは先にオンにされることである、
    ことを特徴とする請求項18に記載の電子機器。
  20. 前記電子機器は、画像収集装置及びプロセッサをさらに含み、前記画像収集装置は、前記第1の筐体の前記第1の面に背向する第2の面に設けられ、前記レーザプロジェクタは、レーザを投射する場合、第1の動作周波数でシーンに前記レーザを投射し、前記画像収集装置は、前記第1の動作周波数よりも大きい第2の動作周波数で収集画像を取得し、前記プロセッサは、
    前記収集画像において、前記レーザプロジェクタがレーザを投射していないときに収集された第1の画像と、前記レーザプロジェクタがレーザを投射しているときに収集された第2の画像とを区別し、
    前記第1の画像、前記第2の画像及び参照画像に基づいて、深度画像を計算する、
    ことを特徴とする請求項10~16のいずれか一項に記載の電子機器。
  21. 前記電子機器は画像収集装置をさらに含み、前記筐体が展開形態である場合、前記レーザプロジェクタは、前記第1の筐体の前記第2の筐体から離れた一端に設けられ、前記レーザプロジェクタと前記画像収集装置との中心を結ぶ線は、前記第1の筐体と前記第2の筐体との中心を結ぶ線に垂直であり、前記筐体が前記折り畳み形態である場合、前記レーザプロジェクタと前記画像収集装置は前記筐体の外に露出する、
    ことを特徴とする請求項10~16のいずれか一項に記載の電子機器。
  22. 前記フレキシブルディスプレイは、前記第2の筐体に設けられるサブディスプレイを含み、前記サブディスプレイは、前記第2の筐体から離れたディスプレイの表面を含み、前記第1の筐体は、本体と突出部とを含み、前記フレキシブルディスプレイ及び前記突出部はそれぞれ、前記本体の背向する両側に位置し、前記筐体が展開形態である場合、前記突出部は、前記本体の前記第2の筐体から離れた一端に位置し、前記レーザプロジェクタは前記突出部に設けられ、前記突出部は、前記本体から離れた突出部の表面を含み、前記筐体が前記折り畳み形態である場合、前記突出部の表面は、前記ディスプレイの表面と面一となっている、
    ことを特徴とする請求項21に記載の電子機器。
JP2021571485A 2019-05-31 2020-04-23 電子機器の制御方法及び電子機器 Active JP7376618B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910470396.9 2019-05-31
CN201910470396.9A CN110213413B (zh) 2019-05-31 2019-05-31 电子装置的控制方法及电子装置
PCT/CN2020/086459 WO2020238506A1 (zh) 2019-05-31 2020-04-23 电子装置的控制方法及电子装置

Publications (2)

Publication Number Publication Date
JP2022535520A true JP2022535520A (ja) 2022-08-09
JP7376618B2 JP7376618B2 (ja) 2023-11-08

Family

ID=67789908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021571485A Active JP7376618B2 (ja) 2019-05-31 2020-04-23 電子機器の制御方法及び電子機器

Country Status (6)

Country Link
US (1) US11838434B2 (ja)
EP (1) EP3968616A4 (ja)
JP (1) JP7376618B2 (ja)
KR (1) KR102599609B1 (ja)
CN (1) CN110213413B (ja)
WO (1) WO2020238506A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019660B (zh) 2019-05-31 2021-07-30 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN110213413B (zh) 2019-05-31 2021-05-14 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN112565521B (zh) * 2019-09-26 2023-03-14 北京小米移动软件有限公司 一种信息处理方法、装置、终端及存储介质
CN113126111B (zh) * 2019-12-30 2024-02-09 Oppo广东移动通信有限公司 飞行时间模组和电子设备
USD977996S1 (en) * 2020-12-18 2023-02-14 Research Products Corporation Heating ventilation and air conditioning controller
USD977343S1 (en) * 2021-03-09 2023-02-07 Research Products Corporation Heating ventilation and air conditioning controller
CN114428534B (zh) * 2022-01-12 2023-11-28 Oppo广东移动通信有限公司 电子设备及其控制方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006245799A (ja) * 2005-03-01 2006-09-14 Nec Saitama Ltd 電子機器、該電子機器における警報出力制御方法及び警報出力制御プログラム
US20080194290A1 (en) * 2005-03-30 2008-08-14 Koninklijke Philips Electronics , N.V. Portable Electronic Device Having A Rotary Camera Unit
US20090322745A1 (en) * 2006-09-21 2009-12-31 Thomson Licensing Method and System for Three-Dimensional Model Acquisition
US20100091178A1 (en) * 2008-10-14 2010-04-15 Marko Eromaki Imaging device housing
EP2178276A2 (en) * 2008-10-20 2010-04-21 LG Electronics Adaptation of recorded or shown image according to the orientation of a mobile terminal
US20110117958A1 (en) * 2009-11-19 2011-05-19 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP2013513179A (ja) * 2009-12-08 2013-04-18 キネテイツク・リミテツド 距離に基づく検知
US20150347833A1 (en) * 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
WO2016157601A1 (ja) * 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US20170075092A1 (en) * 2015-09-15 2017-03-16 Lg Electronics Inc. Mobile terminal
CN107743156A (zh) * 2017-09-29 2018-02-27 努比亚技术有限公司 移动终端、移动终端的控制方法及计算机可读存储介质
CN108594451A (zh) * 2018-03-12 2018-09-28 广东欧珀移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108683795A (zh) * 2018-03-30 2018-10-19 中兴通讯股份有限公司 移动终端及其控制方法和计算机可读存储介质
CN109066288A (zh) * 2018-05-30 2018-12-21 Oppo广东移动通信有限公司 激光投射器的控制系统、终端和激光投射器的控制方法
CN109167855A (zh) * 2018-09-18 2019-01-08 杭州禾声科技有限公司 一种具有柔性折叠屏的智能移动装置
CN208522805U (zh) * 2018-07-02 2019-02-19 Oppo广东移动通信有限公司 折叠式移动终端
CN109391713A (zh) * 2018-12-20 2019-02-26 惠州Tcl移动通信有限公司 一种移动终端

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003060765A (ja) * 2001-08-16 2003-02-28 Nec Corp カメラ付き携帯通信端末
US7443657B2 (en) * 2004-07-21 2008-10-28 Motorola Inc Dual position display in an electronic device
WO2007056110A2 (en) * 2005-11-02 2007-05-18 Microvision, Inc. Image projector with selectable display modes
US20080172197A1 (en) * 2007-01-11 2008-07-17 Motorola, Inc. Single laser multi-color projection display with quantum dot screen
KR101526998B1 (ko) * 2008-10-16 2015-06-08 엘지전자 주식회사 이동통신 단말기 및 그 절전 방법
JP5383276B2 (ja) * 2009-02-25 2014-01-08 京セラ株式会社 携帯電子機器
US20100309391A1 (en) * 2009-06-03 2010-12-09 Honeywood Technologies, Llc Multi-source projection-type display
JP5944093B2 (ja) * 2009-06-26 2016-07-05 京セラ株式会社 携帯電子機器
US8264599B2 (en) * 2010-05-17 2012-09-11 Sunrex Technology Corp. Laptop with pivotal camera and micro-projector and screen as a replacement of display
US9097966B2 (en) * 2010-11-26 2015-08-04 Kyocera Corporation Mobile electronic device for projecting an image
CN103197744A (zh) * 2013-05-02 2013-07-10 李增兴 无边框的电子装置
KR102131827B1 (ko) * 2013-12-03 2020-07-09 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
JP5922639B2 (ja) * 2013-12-07 2016-05-24 レノボ・シンガポール・プライベート・リミテッド 折り畳み式の電子機器、表示システム、および表示方法
CN106170978B (zh) * 2015-12-25 2019-11-05 京东方科技集团股份有限公司 深度图生成装置、方法和非短暂性计算机可读介质
KR102501142B1 (ko) * 2015-12-31 2023-02-17 엘지디스플레이 주식회사 폴더블 표시 장치
US10955921B2 (en) * 2016-08-23 2021-03-23 Motorola Mobility Llc Electronic device with optical user input modes and localized haptic response, and corresponding systems and methods
KR20180104970A (ko) * 2017-03-14 2018-09-27 엘지전자 주식회사 단말기 및 그 제어 방법
CN107172290B (zh) * 2017-06-02 2021-01-12 维沃移动通信有限公司 一种拍照控制方法和装置
CN107331314A (zh) * 2017-08-23 2017-11-07 京东方科技集团股份有限公司 一种显示装置
CN107660097B (zh) * 2017-08-23 2020-02-18 Oppo广东移动通信有限公司 电子组件及电子装置
CN107613196A (zh) 2017-09-05 2018-01-19 珠海格力电器股份有限公司 一种自拍方法及其装置、电子设备
CN107896274B (zh) * 2017-10-27 2020-08-21 Oppo广东移动通信有限公司 红外发射器控制方法、终端及计算机可读存储介质
CN110045501A (zh) * 2018-01-09 2019-07-23 瑞轩科技股份有限公司 显示装置组件
CN108376251B (zh) * 2018-02-27 2020-04-17 Oppo广东移动通信有限公司 控制方法、控制装置、终端、计算机设备和存储介质
CN108227361B (zh) * 2018-03-12 2020-05-26 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108333860B (zh) * 2018-03-12 2020-01-10 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN111474818B (zh) * 2018-03-12 2022-05-20 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108366148A (zh) 2018-05-25 2018-08-03 Oppo广东移动通信有限公司 可折叠装置
CN208424468U (zh) * 2018-07-13 2019-01-22 Oppo广东移动通信有限公司 电子设备
CN109451105A (zh) * 2018-11-16 2019-03-08 Oppo广东移动通信有限公司 电子装置、控制方法及控制装置
CN109327575B (zh) * 2018-11-16 2020-01-17 Oppo广东移动通信有限公司 电子装置、电子装置的控制方法及控制装置
CN109327576B (zh) * 2018-11-16 2021-02-02 Oppo广东移动通信有限公司 电子装置及其控制方法和控制装置
CN110213413B (zh) * 2019-05-31 2021-05-14 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN112019660B (zh) * 2019-05-31 2021-07-30 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN112019674B (zh) * 2019-05-31 2021-10-15 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
US11496664B2 (en) * 2020-11-19 2022-11-08 Motorola Mobility Llc Electronic devices and corresponding methods for modifying voice coil motor drive signals in response to influencing magnectic fields from device operating conditions

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006245799A (ja) * 2005-03-01 2006-09-14 Nec Saitama Ltd 電子機器、該電子機器における警報出力制御方法及び警報出力制御プログラム
US20080194290A1 (en) * 2005-03-30 2008-08-14 Koninklijke Philips Electronics , N.V. Portable Electronic Device Having A Rotary Camera Unit
US20090322745A1 (en) * 2006-09-21 2009-12-31 Thomson Licensing Method and System for Three-Dimensional Model Acquisition
US20100091178A1 (en) * 2008-10-14 2010-04-15 Marko Eromaki Imaging device housing
EP2178276A2 (en) * 2008-10-20 2010-04-21 LG Electronics Adaptation of recorded or shown image according to the orientation of a mobile terminal
US20110117958A1 (en) * 2009-11-19 2011-05-19 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP2013513179A (ja) * 2009-12-08 2013-04-18 キネテイツク・リミテツド 距離に基づく検知
US20150347833A1 (en) * 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
WO2016157601A1 (ja) * 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US20170075092A1 (en) * 2015-09-15 2017-03-16 Lg Electronics Inc. Mobile terminal
CN107743156A (zh) * 2017-09-29 2018-02-27 努比亚技术有限公司 移动终端、移动终端的控制方法及计算机可读存储介质
CN108594451A (zh) * 2018-03-12 2018-09-28 广东欧珀移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108683795A (zh) * 2018-03-30 2018-10-19 中兴通讯股份有限公司 移动终端及其控制方法和计算机可读存储介质
CN109066288A (zh) * 2018-05-30 2018-12-21 Oppo广东移动通信有限公司 激光投射器的控制系统、终端和激光投射器的控制方法
CN208522805U (zh) * 2018-07-02 2019-02-19 Oppo广东移动通信有限公司 折叠式移动终端
CN109167855A (zh) * 2018-09-18 2019-01-08 杭州禾声科技有限公司 一种具有柔性折叠屏的智能移动装置
CN109391713A (zh) * 2018-12-20 2019-02-26 惠州Tcl移动通信有限公司 一种移动终端

Also Published As

Publication number Publication date
EP3968616A4 (en) 2022-06-29
KR20220002637A (ko) 2022-01-06
JP7376618B2 (ja) 2023-11-08
CN110213413A (zh) 2019-09-06
CN110213413B (zh) 2021-05-14
US20220086268A1 (en) 2022-03-17
EP3968616A1 (en) 2022-03-16
KR102599609B1 (ko) 2023-11-06
WO2020238506A1 (zh) 2020-12-03
US11838434B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
JP7376618B2 (ja) 電子機器の制御方法及び電子機器
JP5814566B2 (ja) 撮像装置、撮像方法及び撮像装置の制御プログラム
JP4707034B2 (ja) 画像処理方法、入力インタフェース装置
AU2020417796B2 (en) System and method of capturing and generating panoramic three-dimensional images
US9160931B2 (en) Modifying captured image based on user viewpoint
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
JP2018511098A (ja) 複合現実システム
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
WO2016108720A1 (ru) Способ и устройство для отображения трехмерных объектов
US20220086266A1 (en) Control Method of Electronic Device and Electronic Device
CN110062145B (zh) 深度相机、电子设备及图像获取方法
US11947045B2 (en) Controlling method for electronic device, and electronic device
WO2020238481A1 (zh) 图像获取方法、图像获取装置、电子设备和可读存储介质
US20240031551A1 (en) Image capturing apparatus for capturing a plurality of eyeball images, image capturing method for image capturing apparatus, and storage medium
JP6805350B2 (ja) 撮像素子、撮像装置、および距離画像の取得方法
US20210103730A1 (en) Masking method for augmented reality effects
JP2019114822A (ja) 画像処理装置
WO2020087486A1 (zh) 深度图像处理方法、深度图像处理装置和电子装置
JP2021061600A (ja) 携帯情報端末

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231026

R150 Certificate of patent or registration of utility model

Ref document number: 7376618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150